跳到正文

如何评估URL分类库:准确率、覆盖率、更新

采购或更换url库时,宣传材料里的“域名总数”说明不了多少问题。真正决定过滤效果的是三件事:员工常访问的网站有没有类别,类别对不对,新网站多快能进来。本文给出一套用贵司自己的访问记录就能完成的评估方法。

覆盖率员工访问的网站,有多少能查到类别
准确率查到的类别,有多少符合网站的实际用途
更新新网站、改版网站和停放域名多快被反映出来
可用性格式、查询速度、授权条款能否配合您的系统
正在比较几份URL分类库?

中国域名分类库

覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站。每个域名都有状态,已分类的域名带网址过滤分类和IAB内容分类。离线部署,每日更新。

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
9,900 美元/年约人民币6.6万元,每年同价,不限终端数量
查看价格与授权提交询价

下载1000行样例数据

先说误区

为什么“收录了多少亿域名”不能作为主要依据

域名总数容易比较,所以常被放在宣传的第一行。但对一家企业来说,总数和过滤效果之间隔着好几层。

总数里有大量空域名

很多注册了的域名没有网站,或者只是停放待售。它们算进总数,却不会出现在员工的访问记录里。

访问集中在少数网站

员工的绝大多数访问落在几千个常用域名上。这些域名的类别准不准,比长尾里多几千万条记录更重要。

各国覆盖并不均匀

一份以英文网站为主的url库,总数可能很大,但对 .cn、中文后缀和境内托管网站的收录可能很少。

有记录不等于类别可用

如果类别太粗,或者和贵司的策略口径对不上,即使每个域名都有记录,也很难据此执行策略。

更好的做法是反过来:从贵司自己的访问记录出发,看候选数据对这些域名能给出什么。下面的方法就是围绕这个思路设计的。

准备

评估前的五项准备

准备工作决定评估结果是否可信。整个过程不需要专门的工具,导出日志后用表格软件或简单的脚本就能完成。

  1. 导出访问记录

    从DNS服务器、代理、防火墙或上网行为管理设备导出最近一个月的访问记录,保留主机名和访问次数即可,不需要员工身份。

  2. 归并到根域名

    把 www.example.com.cn、m.example.com.cn 归并为 example.com.cn,再按访问次数从高到低排序。

  3. 分成三组样本

    访问量最高的前500个域名;从其余域名中随机抽取500个;近期新出现的域名。三组分别反映常用网站、长尾网站和新网站。

  4. 准备类别对照表

    把候选数据的类别和贵司策略里的类别对应起来。名称不同但含义相同的,不应判为错误。

  5. 写好判定规则

    事先约定什么算“对”:主要类别对才算对,还是任何一个标签对就算对。规则定在前面,结果才有可比性。

指标一

覆盖率:员工访问的网站有没有类别

覆盖率要分开算,至少算三个数。只给一个笼统的百分比,往往会掩盖问题。

按域名计算的覆盖率

有类别的域名数 ÷ 样本中的域名总数。它反映url库对不同网站的收录面,长尾样本上的结果最能看出差距。

按访问次数加权的覆盖率

有类别的域名的访问次数之和 ÷ 全部访问次数。它最接近员工的实际感受:大部分访问能不能被正确处理。

有效覆盖率

先去掉确实没有网站的域名(无网站、停放待售),再计算覆盖率。这样“没有网站”和“没有收录”就不会混在一起。

查询结果怎样计入说明
有类别计入覆盖再进入准确率抽查
停放或待售单独统计url库能识别出来,本身就是有用的信息
无网站从有效覆盖率的分母中去掉没有网站的域名不需要类别
未收录计入未覆盖这是真正的空白,需要补充或用其他策略兜底

一个假设的例子:假设样本有1,000个域名,其中有类别的800个、停放待售50个、无网站50个、未收录100个。按域名计算的覆盖率是80%;去掉无网站的50个后,有效覆盖率约为84%(800 ÷ 950)。如果未收录的100个域名合计只占访问次数的很小一部分,加权覆盖率会明显更高。

中国企业还应单独看中文网站的覆盖:.cn及其二级后缀、.中国 等中文后缀,以及服务器在中国大陆的其他后缀网站。这部分正是很多以英文网站为主的url库的短板。

指标二

准确率:类别是否符合网站的实际用途

准确率只能靠人工抽查。抽查不必很多,但要随机、要盲评,并且要按类别分开看。

  1. 随机抽样

    从有类别的结果中,每组随机抽取100到200个域名。不要只挑熟悉的大网站。

  2. 盲评

    两位同事各自打开网站,判断它的主要用途,再与url库的类别对比。两人意见不同的,再一起复核。

  3. 按类别统计

    分别统计每个类别的准确率,特别是贵司要拦截的类别,以及要放行的业务类别。

错误类型含义对企业的影响重点检查的类别
误拦正常网站被归入要拦截的类别影响工作,员工投诉,需要不断加白名单招聘、网盘、社交、流媒体等常被拦截的类别
漏拦应拦截的网站被归入放行的类别策略形同虚设,风险网站可以访问恶意与钓鱼、赌博、成人内容、停放域名
粒度不足类别对,但太粗,无法区分只能整类放行或整类拦截网盘与普通下载、招聘与企业官网

多标签的网站怎么判?门户网站可能同时有新闻、搜索和购物三个类别。判定时看两点:主要类别是否合理,以及贵司策略关心的那个类别是否在标签里。单标签的数据在这类网站上天然吃亏,评估时应记录下来。

指标三

更新:新网站、改版和停放多快被反映出来

url库的质量会随时间下降。评估更新能力,就是评估这份数据半年后、一年后还好不好用。

新域名多快进来

看近期新出现的那组样本。没有类别的新域名,是否至少有一个可以单独处理的状态。

改版网站多久复查

网站换了内容,类别是否跟着变。可以挑几个您知道已经改版或转型的网站对比。

过期与停放

域名过期后被停放或转卖,旧类别是否会被替换为停放状态,而不是一直沿用原来的企业类别。

更新的频率与形式

每天一份更新文件,还是每季度一次?增量文件之外,是否定期提供全量刷新,用来校准累积的差异。

更新文件是否易用

更新文件要能被您的系统自动处理:格式稳定,新增、修改、删除写得清楚。

到期后会怎样

授权到期后,已交付的数据能否继续使用,续订后更新能否无缝衔接,需要事先在合同中写清楚。

指标四

可用性:数据能不能顺利接进您的系统

再好的数据,接不进系统也没有用。下面这些问题,往往在采购后才暴露出来。

检查项要问的问题为什么重要
交付格式是否只有CSV,还是另有可以直接查询的格式终端和网关需要程序能直接打开的格式,并且查询要快
查询速度单个线程每秒能查多少次,表变大后会慢多少决定能否在终端和高流量网关上使用
离线使用查询是否需要连接对方的服务器影响速度、稳定性,以及访问记录是否离开公司
主机名级别能否区分同一域名下的网站、登录、接口和下载主机加密流量中只看到主机名时,策略可以更细
字段说明是否有完整的数据字典和样例决定开发对接要花多少时间
授权范围是否限制设备或终端数量,能否用于多个系统决定以后扩容时的成本
续费价格第二年起价格是否变化决定长期成本是否可预期

查询速度的具体测法和我们的实测结果,见离线查询性能。主机名级别分类的原理,见SNI是什么。

评分表

一张可以直接使用的评分表

每项按1到5分打分,再乘以权重。权重是建议值,贵司可以按自己的重点调整,例如只做终端过滤时,可以提高“可用性”的权重。

维度检查内容建议权重怎样检查
覆盖率常用组、长尾组、新域名组;中文网站单独看30%用访问记录样本计算三个覆盖率
准确率主要类别是否合理;要拦截和要放行的类别分开看30%随机抽样,两人盲评
分类粒度类别是否够细,是否多标签,是否有状态10%对照贵司策略,看能否一一表达
更新更新频率、全量刷新、新域名的处理方式15%查看更新说明和更新文件样例
可用性格式、查询速度、离线、主机名级别10%在测试环境中接入样例数据
授权与价格设备数量、续费价格、交付时间5%逐条核对合同条款

不同用途,评估的侧重点不同

用途最该看的可以放宽的
终端离线过滤查询速度、文件大小、能否只加载热门网站IAB分类的层级深度
出口网关与防火墙常用网站的准确率、主机名级别、每日更新长尾网站的细分类别
DNS过滤域名覆盖率、停放与新域名的识别网址路径级别的分类
集成进自己的产品授权范围、格式稳定性、数据字典是否完整某个单一部门的策略需求
统计与研究IAB分类、国家和人气分组字段查询速度

评估周期不必太长。导出日志和抽样大约需要几天,人工抽查再用几天,两周左右通常就能得出结论。结论里应写明样本来源、判定规则和每个维度的得分,方便以后续订时用同样的方法再做一次比较。

常见陷阱

评估url库时最常见的七个陷阱

这些陷阱会让评估结果看起来很好,上线后却效果平平。

1

只用热门网站测试

几乎所有url库都能分好最有名的几百个网站。差距在长尾和新网站上。

2

把停放域名当作覆盖

给停放域名硬套一个企业类别,覆盖率好看了,策略却会出错。

3

类别名称不同就判错

“网盘”和“云存储”说的是同一件事。先做对照表,再判断对错。

4

样本太小

二三十个域名的抽查,偶然性太大。每组至少一百个,结论才站得住。

5

只看一次快照

评估时的数据好,不代表半年后还好。更新机制和全量刷新同样要评。

6

忽视接入成本

只有CSV、没有数据字典、查询太慢,开发和运维的时间成本会超过数据本身。

7

只看首年价格

首年优惠、次年涨价,或者按终端数量计费,都会让长期成本难以预计。

对照

用同一张清单看我们的中国域名分类库

下表用上面的检查项,逐条列出我们的数据是怎样做的,方便您放进自己的比较表里。

检查项中国域名分类库
覆盖范围.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站
状态每个域名一个状态:已分类、停放或待售、无网站、无内容、尚未检测
分类58个网址过滤分类,每个域名1至3个;同时带IAB内容分类2.2与3.1,最多四级
其他字段国家、网站语言、中国人气分组与全球人气分组
更新每日更新文件,每月一次全量刷新
格式CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
使用方式离线查询,不连接我们的服务器,文件中不含个人数据
主机名级别由主机名(SNI)分类库提供,每个主机名带一个角色,并附离线分类引擎
授权按年授权,每年同价,不限终端数量;付款到账后一个工作日内交付
样例样例下载页提供1000行样例数据和字段说明

想先弄清url库的基本概念,可以读url库是什么意思;想了解类别是怎样划分的,可以读网站分类有哪些。

价格

中国域名分类库与主机名(SNI)分类库

只需要域名分类时选中国域名分类库;需要在加密流量中区分登录、接口、下载等主机时,选主机名(SNI)分类库。

域名级别

中国域名分类库

Chinese Domain Database

9,900 美元/年

约人民币6.6万元

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
  • 离线使用:查询在贵司内部完成,不连接我们的服务器

每年同价,不限终端数量

主机名级别

主机名(SNI)分类库

Host-name (SNI) Database

14,900 美元/年

约人民币10万元

  • 包含中国域名分类库的全部字段和更新
  • 主机名记录:分类加角色,例如网站、登录、接口、CDN、邮件、下载与更新
  • 离线分类引擎,用于尚未收录的主机名
  • 加密流量中只看到主机名(SNI)时也能按角色制定策略
  • 每日更新文件,每月一次全量刷新

每年同价,不限终端数量

所有产品和授权条款见价格页,公司信息见关于我们。

询价与咨询

告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。

  • 按年度授权,每年同价
  • 付款到账后一个工作日内交付文件和查询工具
  • 可开具形式发票,可签署贵司的采购合同
  • 欧盟公司直接签约,数据在您的网络内离线使用

我们只用这些信息回复您的询价,不发送营销邮件,也不向第三方提供。

常见问题

url分类数据库是什么工具?

url分类数据库是一份把域名和网址对应到网站类别的数据,本身不是一个独立的软件。上网行为管理设备、防火墙、DNS服务器、终端软件和自研系统查询它,判断网站属于哪一类,再按策略放行、拦截或记录。

评估url库最重要的指标是什么?

覆盖率和准确率最重要,其次是更新能力和可用性。覆盖率要按域名、按访问次数加权和去掉无网站域名后分别计算;准确率要随机抽样、两人盲评,并按类别分开统计。

覆盖率怎么计算才合理?

建议算三个数:有类别的域名占样本域名的比例;有类别的域名的访问次数占全部访问次数的比例;去掉无网站和停放域名之后的有效覆盖率。样本应包括常用网站、随机抽取的长尾网站和近期新出现的域名三组。

抽查准确率需要多少个域名?

每组样本建议抽查100到200个有类别的域名。样本太小,偶然性太大;同时要随机抽取,不要只挑熟悉的大网站,并且按要拦截和要放行的类别分别统计。

为什么不能只比较域名总数?

总数里包含大量没有网站或停放待售的域名,而员工的访问集中在少数常用网站上。各国网站的收录也不均匀。总数大,不代表贵司员工访问的网站都有准确的类别。

url库多久更新一次比较合适?

建议每天更新,并定期做全量刷新。每天都有新网站出现,也有网站改版、过期或停放。我们的中国域名分类库提供每日更新文件和每月一次全量刷新。

评估时要关注哪些授权条款?

重点看是否限制设备或终端数量、能否在多个系统上使用、第二年起价格是否变化、授权到期后数据怎样处理,以及付款后多久交付。我们的授权按年计,每年同价,不限终端数量,付款到账后一个工作日内交付。

怎样查看你们数据的字段和格式?

样例下载页提供1000行样例数据,包含真实的域名、状态、网址过滤分类、IAB内容分类、国家和人气分组等字段,可以用表格软件直接打开,也可以导入测试环境检查对接方式。