中国域名分类库
覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站。每个域名都有状态,已分类的域名带网址过滤分类和IAB内容分类。离线部署,每日更新。
- 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
- 国家、网站语言、中国人气分组与全球人气分组
- 每日更新文件,每月一次全量刷新
- CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
为什么“收录了多少亿域名”不能作为主要依据
域名总数容易比较,所以常被放在宣传的第一行。但对一家企业来说,总数和过滤效果之间隔着好几层。
总数里有大量空域名
很多注册了的域名没有网站,或者只是停放待售。它们算进总数,却不会出现在员工的访问记录里。
访问集中在少数网站
员工的绝大多数访问落在几千个常用域名上。这些域名的类别准不准,比长尾里多几千万条记录更重要。
各国覆盖并不均匀
一份以英文网站为主的url库,总数可能很大,但对 .cn、中文后缀和境内托管网站的收录可能很少。
有记录不等于类别可用
如果类别太粗,或者和贵司的策略口径对不上,即使每个域名都有记录,也很难据此执行策略。
更好的做法是反过来:从贵司自己的访问记录出发,看候选数据对这些域名能给出什么。下面的方法就是围绕这个思路设计的。
评估前的五项准备
准备工作决定评估结果是否可信。整个过程不需要专门的工具,导出日志后用表格软件或简单的脚本就能完成。
导出访问记录
从DNS服务器、代理、防火墙或上网行为管理设备导出最近一个月的访问记录,保留主机名和访问次数即可,不需要员工身份。
归并到根域名
把 www.example.com.cn、m.example.com.cn 归并为 example.com.cn,再按访问次数从高到低排序。
分成三组样本
访问量最高的前500个域名;从其余域名中随机抽取500个;近期新出现的域名。三组分别反映常用网站、长尾网站和新网站。
准备类别对照表
把候选数据的类别和贵司策略里的类别对应起来。名称不同但含义相同的,不应判为错误。
写好判定规则
事先约定什么算“对”:主要类别对才算对,还是任何一个标签对就算对。规则定在前面,结果才有可比性。
覆盖率:员工访问的网站有没有类别
覆盖率要分开算,至少算三个数。只给一个笼统的百分比,往往会掩盖问题。
按域名计算的覆盖率
有类别的域名数 ÷ 样本中的域名总数。它反映url库对不同网站的收录面,长尾样本上的结果最能看出差距。
按访问次数加权的覆盖率
有类别的域名的访问次数之和 ÷ 全部访问次数。它最接近员工的实际感受:大部分访问能不能被正确处理。
有效覆盖率
先去掉确实没有网站的域名(无网站、停放待售),再计算覆盖率。这样“没有网站”和“没有收录”就不会混在一起。
| 查询结果 | 怎样计入 | 说明 |
|---|---|---|
| 有类别 | 计入覆盖 | 再进入准确率抽查 |
| 停放或待售 | 单独统计 | url库能识别出来,本身就是有用的信息 |
| 无网站 | 从有效覆盖率的分母中去掉 | 没有网站的域名不需要类别 |
| 未收录 | 计入未覆盖 | 这是真正的空白,需要补充或用其他策略兜底 |
一个假设的例子:假设样本有1,000个域名,其中有类别的800个、停放待售50个、无网站50个、未收录100个。按域名计算的覆盖率是80%;去掉无网站的50个后,有效覆盖率约为84%(800 ÷ 950)。如果未收录的100个域名合计只占访问次数的很小一部分,加权覆盖率会明显更高。
中国企业还应单独看中文网站的覆盖:.cn及其二级后缀、.中国 等中文后缀,以及服务器在中国大陆的其他后缀网站。这部分正是很多以英文网站为主的url库的短板。
准确率:类别是否符合网站的实际用途
准确率只能靠人工抽查。抽查不必很多,但要随机、要盲评,并且要按类别分开看。
随机抽样
从有类别的结果中,每组随机抽取100到200个域名。不要只挑熟悉的大网站。
盲评
两位同事各自打开网站,判断它的主要用途,再与url库的类别对比。两人意见不同的,再一起复核。
按类别统计
分别统计每个类别的准确率,特别是贵司要拦截的类别,以及要放行的业务类别。
| 错误类型 | 含义 | 对企业的影响 | 重点检查的类别 |
|---|---|---|---|
| 误拦 | 正常网站被归入要拦截的类别 | 影响工作,员工投诉,需要不断加白名单 | 招聘、网盘、社交、流媒体等常被拦截的类别 |
| 漏拦 | 应拦截的网站被归入放行的类别 | 策略形同虚设,风险网站可以访问 | 恶意与钓鱼、赌博、成人内容、停放域名 |
| 粒度不足 | 类别对,但太粗,无法区分 | 只能整类放行或整类拦截 | 网盘与普通下载、招聘与企业官网 |
多标签的网站怎么判?门户网站可能同时有新闻、搜索和购物三个类别。判定时看两点:主要类别是否合理,以及贵司策略关心的那个类别是否在标签里。单标签的数据在这类网站上天然吃亏,评估时应记录下来。
更新:新网站、改版和停放多快被反映出来
url库的质量会随时间下降。评估更新能力,就是评估这份数据半年后、一年后还好不好用。
新域名多快进来
看近期新出现的那组样本。没有类别的新域名,是否至少有一个可以单独处理的状态。
改版网站多久复查
网站换了内容,类别是否跟着变。可以挑几个您知道已经改版或转型的网站对比。
过期与停放
域名过期后被停放或转卖,旧类别是否会被替换为停放状态,而不是一直沿用原来的企业类别。
更新的频率与形式
每天一份更新文件,还是每季度一次?增量文件之外,是否定期提供全量刷新,用来校准累积的差异。
更新文件是否易用
更新文件要能被您的系统自动处理:格式稳定,新增、修改、删除写得清楚。
到期后会怎样
授权到期后,已交付的数据能否继续使用,续订后更新能否无缝衔接,需要事先在合同中写清楚。
可用性:数据能不能顺利接进您的系统
再好的数据,接不进系统也没有用。下面这些问题,往往在采购后才暴露出来。
| 检查项 | 要问的问题 | 为什么重要 |
|---|---|---|
| 交付格式 | 是否只有CSV,还是另有可以直接查询的格式 | 终端和网关需要程序能直接打开的格式,并且查询要快 |
| 查询速度 | 单个线程每秒能查多少次,表变大后会慢多少 | 决定能否在终端和高流量网关上使用 |
| 离线使用 | 查询是否需要连接对方的服务器 | 影响速度、稳定性,以及访问记录是否离开公司 |
| 主机名级别 | 能否区分同一域名下的网站、登录、接口和下载主机 | 加密流量中只看到主机名时,策略可以更细 |
| 字段说明 | 是否有完整的数据字典和样例 | 决定开发对接要花多少时间 |
| 授权范围 | 是否限制设备或终端数量,能否用于多个系统 | 决定以后扩容时的成本 |
| 续费价格 | 第二年起价格是否变化 | 决定长期成本是否可预期 |
一张可以直接使用的评分表
每项按1到5分打分,再乘以权重。权重是建议值,贵司可以按自己的重点调整,例如只做终端过滤时,可以提高“可用性”的权重。
| 维度 | 检查内容 | 建议权重 | 怎样检查 |
|---|---|---|---|
| 覆盖率 | 常用组、长尾组、新域名组;中文网站单独看 | 30% | 用访问记录样本计算三个覆盖率 |
| 准确率 | 主要类别是否合理;要拦截和要放行的类别分开看 | 30% | 随机抽样,两人盲评 |
| 分类粒度 | 类别是否够细,是否多标签,是否有状态 | 10% | 对照贵司策略,看能否一一表达 |
| 更新 | 更新频率、全量刷新、新域名的处理方式 | 15% | 查看更新说明和更新文件样例 |
| 可用性 | 格式、查询速度、离线、主机名级别 | 10% | 在测试环境中接入样例数据 |
| 授权与价格 | 设备数量、续费价格、交付时间 | 5% | 逐条核对合同条款 |
不同用途,评估的侧重点不同
| 用途 | 最该看的 | 可以放宽的 |
|---|---|---|
| 终端离线过滤 | 查询速度、文件大小、能否只加载热门网站 | IAB分类的层级深度 |
| 出口网关与防火墙 | 常用网站的准确率、主机名级别、每日更新 | 长尾网站的细分类别 |
| DNS过滤 | 域名覆盖率、停放与新域名的识别 | 网址路径级别的分类 |
| 集成进自己的产品 | 授权范围、格式稳定性、数据字典是否完整 | 某个单一部门的策略需求 |
| 统计与研究 | IAB分类、国家和人气分组字段 | 查询速度 |
评估周期不必太长。导出日志和抽样大约需要几天,人工抽查再用几天,两周左右通常就能得出结论。结论里应写明样本来源、判定规则和每个维度的得分,方便以后续订时用同样的方法再做一次比较。
评估url库时最常见的七个陷阱
这些陷阱会让评估结果看起来很好,上线后却效果平平。
只用热门网站测试
几乎所有url库都能分好最有名的几百个网站。差距在长尾和新网站上。
把停放域名当作覆盖
给停放域名硬套一个企业类别,覆盖率好看了,策略却会出错。
类别名称不同就判错
“网盘”和“云存储”说的是同一件事。先做对照表,再判断对错。
样本太小
二三十个域名的抽查,偶然性太大。每组至少一百个,结论才站得住。
只看一次快照
评估时的数据好,不代表半年后还好。更新机制和全量刷新同样要评。
忽视接入成本
只有CSV、没有数据字典、查询太慢,开发和运维的时间成本会超过数据本身。
只看首年价格
首年优惠、次年涨价,或者按终端数量计费,都会让长期成本难以预计。
用同一张清单看我们的中国域名分类库
下表用上面的检查项,逐条列出我们的数据是怎样做的,方便您放进自己的比较表里。
| 检查项 | 中国域名分类库 |
|---|---|
| 覆盖范围 | .cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站 |
| 状态 | 每个域名一个状态:已分类、停放或待售、无网站、无内容、尚未检测 |
| 分类 | 58个网址过滤分类,每个域名1至3个;同时带IAB内容分类2.2与3.1,最多四级 |
| 其他字段 | 国家、网站语言、中国人气分组与全球人气分组 |
| 更新 | 每日更新文件,每月一次全量刷新 |
| 格式 | CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码 |
| 使用方式 | 离线查询,不连接我们的服务器,文件中不含个人数据 |
| 主机名级别 | 由主机名(SNI)分类库提供,每个主机名带一个角色,并附离线分类引擎 |
| 授权 | 按年授权,每年同价,不限终端数量;付款到账后一个工作日内交付 |
| 样例 | 样例下载页提供1000行样例数据和字段说明 |
中国域名分类库与主机名(SNI)分类库
只需要域名分类时选中国域名分类库;需要在加密流量中区分登录、接口、下载等主机时,选主机名(SNI)分类库。
中国域名分类库
Chinese Domain Database
约人民币6.6万元
- 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
- 国家、网站语言、中国人气分组与全球人气分组
- 每日更新文件,每月一次全量刷新
- CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
- 离线使用:查询在贵司内部完成,不连接我们的服务器
每年同价,不限终端数量
询价与咨询
告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。
- 按年度授权,每年同价
- 付款到账后一个工作日内交付文件和查询工具
- 可开具形式发票,可签署贵司的采购合同
- 欧盟公司直接签约,数据在您的网络内离线使用
常见问题
url分类数据库是什么工具?
url分类数据库是一份把域名和网址对应到网站类别的数据,本身不是一个独立的软件。上网行为管理设备、防火墙、DNS服务器、终端软件和自研系统查询它,判断网站属于哪一类,再按策略放行、拦截或记录。
评估url库最重要的指标是什么?
覆盖率和准确率最重要,其次是更新能力和可用性。覆盖率要按域名、按访问次数加权和去掉无网站域名后分别计算;准确率要随机抽样、两人盲评,并按类别分开统计。
覆盖率怎么计算才合理?
建议算三个数:有类别的域名占样本域名的比例;有类别的域名的访问次数占全部访问次数的比例;去掉无网站和停放域名之后的有效覆盖率。样本应包括常用网站、随机抽取的长尾网站和近期新出现的域名三组。
抽查准确率需要多少个域名?
每组样本建议抽查100到200个有类别的域名。样本太小,偶然性太大;同时要随机抽取,不要只挑熟悉的大网站,并且按要拦截和要放行的类别分别统计。
为什么不能只比较域名总数?
总数里包含大量没有网站或停放待售的域名,而员工的访问集中在少数常用网站上。各国网站的收录也不均匀。总数大,不代表贵司员工访问的网站都有准确的类别。
url库多久更新一次比较合适?
建议每天更新,并定期做全量刷新。每天都有新网站出现,也有网站改版、过期或停放。我们的中国域名分类库提供每日更新文件和每月一次全量刷新。
评估时要关注哪些授权条款?
重点看是否限制设备或终端数量、能否在多个系统上使用、第二年起价格是否变化、授权到期后数据怎样处理,以及付款后多久交付。我们的授权按年计,每年同价,不限终端数量,付款到账后一个工作日内交付。
怎样查看你们数据的字段和格式?
样例下载页提供1000行样例数据,包含真实的域名、状态、网址过滤分类、IAB内容分类、国家和人气分组等字段,可以用表格软件直接打开,也可以导入测试环境检查对接方式。