中国域名分类库
覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站。每个域名都有状态,已分类的域名带网址过滤分类和IAB内容分类。离线部署,每日更新。
- 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
- 国家、网站语言、中国人气分组与全球人气分组
- 每日更新文件,每月一次全量刷新
- CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
离线查询是什么:url分类数据库的工作原理
离线查询的意思是:分类数据以文件形式放在您自己的服务器、网关或电脑上,程序直接在本地读取,不经过网络。每次查询只是一次本地的数据查找。
联网查询接口
- 不需要在本地存放数据
- 每次查询都要经过网络往返,耗时远高于本地查找
- 网络中断或接口限流时,查询就会失败或变慢
- 访问过的域名会发送到外部服务
- 查询量越大,费用和延迟越难控制
本地离线查询
- 一次查询只需几微秒,内存映射表约0.12微秒
- 断网时照常工作,适合终端和隔离网络
- 访问记录留在贵司内部,不发送给我们
- 查询次数不限,不随流量增加费用
- 每天用更新文件刷新数据即可
- 需要在本地存放数据文件,并安排每日更新
离线查询的过程和设备在线查询时一样:取出主机名,先查完整主机名,查不到再逐级退到根域名。url库的基本概念见url库是什么意思。
我们是怎样测试的
速度数字只有在测试条件写清楚时才有意义。下面是这次测试的全部条件,您可以在自己的硬件上用同样的方法复现。
| 条件 | 本次测试 |
|---|---|
| 线程 | 单个线程,只用一个处理器核心 |
| 服务器 | 一台普通的12核服务器 |
| 查询数量 | 每种格式100万次查询,每种格式测两次 |
| 每次查询的内容 | 输入一个主机名,先查完整主机名,查不到再逐级去掉最左边的一级,直到找到或只剩两级 |
| 预热 | 正式计时前先执行2万次查询,再开始计时 |
| 计时范围 | 只计查询本身,不含打开文件的时间(三种格式打开文件都不到1毫秒) |
| 代码 | C语言实现,三种格式使用同一套查询逻辑 |
中国域名表
约75万行中国域名。100万次查询中八成能查到。
大表
1,575万行域名,用来观察表变大以后速度怎样变化。
主机名表
1,786万行中国主机名和域名。查询中六成是表里的主机名,两成是表里没有的新主机名,两成是未知域名。
测试结果:三种格式,三种表
下表列出每种格式两次测试的结果。每秒查询次数四舍五入到万,平均耗时为每次查询的微秒数。
中国域名表(约75万行)
| 格式 | 第一次 | 第二次 | 平均每次耗时 | 文件大小 |
|---|---|---|---|---|
| SQLite | 约17万次/秒 | 约17万次/秒 | 约5.9微秒 | 27.4MB |
| LMDB | 约130万次/秒 | 约135万次/秒 | 约0.75微秒 | 约41MB |
| 内存映射查询表 | 约823万次/秒 | 约842万次/秒 | 约0.12微秒 | 11.4MB |
大表(1,575万行域名)
| 格式 | 第一次 | 第二次 | 内存映射文件大小 |
|---|---|---|---|
| SQLite | 约16万次/秒 | 约16万次/秒 | 240.3MB |
| LMDB | 约128万次/秒 | 约128万次/秒 | |
| 内存映射查询表 | 约330万次/秒 | 约318万次/秒 |
主机名表(1,786万行)
| 格式 | 第一次 | 第二次 | 平均每次耗时 | 文件大小 |
|---|---|---|---|---|
| SQLite | 约16万次/秒 | 约17万次/秒 | 约6.1微秒 | 约1,616MB |
| LMDB | 约80万次/秒 | 约82万次/秒 | 约1.24微秒 | 约2,689MB |
| 内存映射查询表 | 约389万次/秒 | 约397万次/秒 | 约0.25微秒 | 272.6MB |
怎样读这些数字:表越大,内存映射表的速度越低,因为数据超出了处理器缓存,查找时要更多地访问内存。SQLite的速度几乎不受表大小影响,但始终最慢。实际速度还取决于您的硬件和查询分布,以上是我们在自己服务器上的结果。
内存映射查询表为什么这么快
内存映射查询表是为“只读、查得多、改得少”的场景设计的。它快,不是因为用了什么特殊硬件,而是因为省掉了查询之外的几乎所有工作。
文件就是数据结构
文件的内容直接就是一张查找表。程序打开文件后不需要解析、导入或建立索引,第一次查询就能开始。
一次定位,不用遍历
按主机名直接算出它在表中的位置,通常一两次内存读取就能得到结果,而不是在有序数据里一层层查找。
每条记录很小
表里只存查找需要的内容,类别名称单独存放。记录越小,处理器缓存里放得越多,查得就越快。
只读,所以可以共享
查询时不加锁、不写入。多个线程和进程可以同时读同一份文件,速度随线程数增加。
SQLite和LMDB是通用的数据库,要处理事务、页面和索引,所以每次查询的开销更大。它们的优势在于通用和易用:前者可以用SQL筛选,后者适合多个进程同时读写的服务。
哪些因素会影响您系统里的查询速度
同一份数据,在不同的机器和不同的流量下,速度可能差别很大。下表列出主要因素,便于您估算自己环境中的结果。
| 因素 | 影响 | 建议 |
|---|---|---|
| 表的大小 | 表越大,越难全部留在处理器缓存里,内存映射表的速度会下降 | 终端上只加载需要的范围,例如热门网站或要拦截的类别 |
| 主机名的层级 | 层级越多,查不到时要逐级查找的次数越多 | 主机名级别的数据能在第一次就查到,减少逐级查找 |
| 命中率 | 查不到的主机名要一直查到根域名,比直接查到多花几次查找 | 流量中未收录的域名越少,平均速度越高 |
| 首次读取 | 文件刚打开时数据还不在内存里,最初的查询会慢一些 | 服务启动后先执行少量查询预热 |
| 硬件 | 处理器缓存和内存速度直接影响结果 | 在目标硬件上用自己的查询清单实测 |
| 线程数 | 只读文件可以并行查询,总吞吐量随线程增加 | 高流量网关按处理器核心数开多个查询线程 |
在自己的环境中复现这项测试
最可靠的数字,是在贵司自己的硬件上、用贵司自己的访问记录测出来的。按下面五步,就能得到可以和本页对比的结果。
准备查询清单
从DNS或网关日志中导出一段时间内的主机名,保留重复,这样清单的分布和真实流量一致。
载入数据文件
用随数据提供的参考代码打开查询表,记录打开文件所用的时间。
预热
先执行一小部分查询,让操作系统把常用的数据页载入内存。
计时
对整份清单计时,算出每秒查询次数和平均每次耗时,同时统计查到的比例。
重复并记录条件
每种格式至少测两次,记下处理器型号、线程数、表的行数和文件大小。
这些速度在实际系统里意味着什么
把单次耗时换算成占用的处理器时间,更容易判断哪种格式适合您的系统。下面的数字都是按上表的平均耗时直接计算的。
| 每秒查询量 | 内存映射表(0.12微秒/次) | LMDB(0.75微秒/次) | SQLite(5.9微秒/次) |
|---|---|---|---|
| 每秒1千次 | 约占单线程0.01%的时间 | 约0.08% | 约0.6% |
| 每秒1万次 | 约0.12% | 约0.75% | 约5.9% |
| 每秒10万次 | 约1.2% | 约7.5% | 约59% |
| 每秒100万次 | 约12% | 约75% | 单线程不够用 |
终端电脑
一台电脑每秒的新连接很少。三种格式都绰绰有余,选文件最小、占内存最少的内存映射表即可。
出口网关
上千人共用一个出口时,每秒的查询量可能达到数万次。LMDB或内存映射表都能轻松承担。
运营商与平台
每秒数十万次以上的查询,建议使用内存映射表,并按处理器核心数开多个线程,各线程共享同一份只读文件。
四种交付格式,各适合什么场景
我们的中国域名分类库和主机名(SNI)分类库都提供下面四种格式,附C语言参考代码。可以在不同系统上用不同格式,内容完全一致。
| 格式 | 适合 | 优点 | 注意 |
|---|---|---|---|
| CSV | 导入数据库、表格软件、数据分析 | 通用,人可以直接阅读 | 不适合直接用于实时查询 |
| SQLite | 后台系统、报表、需要用SQL筛选时 | 单个文件,几乎所有语言都能读取 | 查询最慢,文件较大 |
| LMDB | 多个进程同时查询的服务器和网关 | 速度快,多进程读取安全 | 主机名数据的文件较大 |
| 内存映射查询表 | 终端软件、高流量网关、嵌入自己的产品 | 最快,文件最小,按需载入内存 | 只读文件,更新时整体替换 |
每天生成新文件
用每日更新文件生成新版本的查询表,写到一个新文件里。
整体替换
新文件写完后,用一次重命名替换旧文件,查询程序不会读到写了一半的数据。
重新打开
查询程序在下一次检查时打开新文件,旧文件在没有程序使用后释放,整个过程不中断服务。
不同位置的部署示例
同一份数据可以同时用在网关、DNS服务器、终端和后台系统上。下表是常见的搭配方式,您可以按自己的网络结构组合。
| 部署位置 | 推荐格式 | 查询时机 | 更新方式 |
|---|---|---|---|
| 员工电脑上的过滤软件 | 内存映射查询表 | 浏览器或应用发起连接时 | 每天下发新文件,软件重新打开 |
| 出口网关、代理服务器 | 内存映射查询表或LMDB | 读取SNI或HTTP请求头之后 | 每天在网关上替换文件 |
| 公司DNS服务器 | 内存映射查询表或LMDB | 收到域名解析请求时 | 每天替换文件,解析服务不中断 |
| 日志分析与报表系统 | SQLite或CSV | 批量处理前一天的日志时 | 每天导入更新文件 |
| 自己的安全产品 | 内存映射查询表,配合参考代码 | 产品自身的检测流程中 | 随产品的更新机制分发 |
在多个位置使用同一份数据,好处是分类口径一致:网关拦截的类别,和报表里统计的类别是同一个,不会出现“网关说是购物、报表说是商业”的情况。
终端资源有限时,还能怎样优化
内存映射表是四种格式中文件最小的一种。如果终端资源仍然紧张,或者要部署在小型设备上,可以用下面的办法。
按人气分组只加载热门网站
数据中有中国人气分组和全球人气分组。终端可以只加载人气较高的网站,其余交给网关或DNS服务器处理。
只保留需要的类别
如果终端只负责拦截少数几个类别,可以只把这些类别的域名生成查询表,文件会小得多。
让操作系统管理内存
内存映射表按需载入,没有用到的部分不占物理内存。不需要把整个文件读进程序。
多线程共享一份文件
同一台机器上的多个线程或进程可以共享同一份只读文件,内存只占一份。
主机名级别的数据和SNI的原理,见SNI是什么。比较几份url库时如何评估格式和速度,见如何评估URL分类库。
中国域名分类库与主机名(SNI)分类库
两份数据都以文件交付,提供四种格式和C语言参考代码,在您的系统中离线查询。按年授权,每年同价,不限终端数量。
中国域名分类库
Chinese Domain Database
约人民币6.6万元
- 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
- 国家、网站语言、中国人气分组与全球人气分组
- 每日更新文件,每月一次全量刷新
- CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
- 离线使用:查询在贵司内部完成,不连接我们的服务器
每年同价,不限终端数量
询价与咨询
告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。
- 按年度授权,每年同价
- 付款到账后一个工作日内交付文件和查询工具
- 可开具形式发票,可签署贵司的采购合同
- 欧盟公司直接签约,数据在您的网络内离线使用
常见问题
离线查询一次域名需要多长时间?
在我们的测试中,单个线程查询约75万行的中国域名表,内存映射查询表平均每次约0.12微秒,相当于每秒约830万次;LMDB约0.75微秒;SQLite约5.9微秒。实际速度取决于硬件、表的大小和查询分布。
每秒830万次是怎样测出来的?
在一台12核服务器上用单个线程,对同一组100万个查询计时,每次查询从完整主机名逐级退到根域名。内存映射查询表两次测试分别为每秒约823万次和842万次,平均约830万次。计时不含打开文件的时间,打开文件不到1毫秒。
主机名数据查询有多快?
主机名表有1,786万行,内存映射查询表两次测试分别为每秒约389万次和397万次,平均每次约0.25微秒;LMDB约每秒80万次;SQLite约每秒16万至17万次。主机名表比域名表大得多,所以速度较低。
url分类数据库的原理是什么?
原理是把域名或主机名和网站类别存成一张可以快速查找的表。设备拿到要访问的主机名后,先查完整主机名,查不到再逐级退到上一级域名,找到类别后按策略放行、拦截或记录。离线查询时,这张表就放在您自己的系统里。
应该选哪种格式?
终端软件、高流量网关和嵌入自己的产品时,选内存映射查询表;多个进程同时查询的服务器可以选LMDB;需要用SQL筛选和做报表时选SQLite;导入数据库或做分析时用CSV。四种格式内容一致,可以同时使用。
离线查询会把访问记录发给你们吗?
不会。数据文件放在贵司的系统里,查询在本地完成,不连接我们的服务器,也不回传任何数据。文件本身只有域名、主机名和网站类别等网站层面的信息,不含个人数据。
每天更新数据时需要停止服务吗?
不需要。常见做法是用每日更新文件生成新版本的查询表,写成一个新文件,再用一次重命名替换旧文件,查询程序重新打开即可。内存映射表是只读文件,替换过程中不会读到不完整的数据。
为什么表越大,查询越慢?
表小的时候,大部分数据可以留在处理器缓存里,查找非常快;表变大后,更多查找要访问内存,速度随之下降。在我们的测试中,约75万行的域名表约每秒830万次,1,575万行的大表约每秒318万至330万次,仍然远快于SQLite和LMDB。
LMDB和内存映射查询表有什么区别?
两者都通过内存映射读取文件,但LMDB是通用的键值数据库,支持写入和事务,适合多个进程共同维护的服务;内存映射查询表是专门为只读查找设计的,文件更小、查询更快,更新时整体替换文件。
终端内存不够时怎么办?
内存映射查询表按需载入内存,没有用到的部分不占物理内存。还可以按人气分组只加载热门网站,或者只生成需要拦截的类别的查询表,让文件变得更小。