跳到正文

离线查询性能:每秒830万次

把URL分类库放在自己的系统里离线查询,一次查询要多长时间?我们用同一组100万个查询,在单个处理器线程上测试了三种格式。内存映射查询表查询中国域名,两次测试分别为每秒823万次和842万次,平均约830万次。

约830万次/秒中国域名,内存映射查询表,单个线程
约0.12微秒平均每次域名查询的耗时
约390万至400万次/秒主机名数据,1,786万行,单个线程
0次查询时连接我们服务器的次数
需要能在终端和网关上离线查询的数据?

中国域名分类库

覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站。每个域名都有状态,已分类的域名带网址过滤分类和IAB内容分类。离线部署,每日更新。

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
9,900 美元/年约人民币6.6万元,每年同价,不限终端数量
查看价格与授权提交询价

下载1000行样例数据

原理

离线查询是什么:url分类数据库的工作原理

离线查询的意思是:分类数据以文件形式放在您自己的服务器、网关或电脑上,程序直接在本地读取,不经过网络。每次查询只是一次本地的数据查找。

联网查询接口

  • 不需要在本地存放数据
  • 每次查询都要经过网络往返,耗时远高于本地查找
  • 网络中断或接口限流时,查询就会失败或变慢
  • 访问过的域名会发送到外部服务
  • 查询量越大,费用和延迟越难控制

本地离线查询

  • 一次查询只需几微秒,内存映射表约0.12微秒
  • 断网时照常工作,适合终端和隔离网络
  • 访问记录留在贵司内部,不发送给我们
  • 查询次数不限,不随流量增加费用
  • 每天用更新文件刷新数据即可
  • 需要在本地存放数据文件,并安排每日更新

离线查询的过程和设备在线查询时一样:取出主机名,先查完整主机名,查不到再逐级退到根域名。url库的基本概念见url库是什么意思。

测试方法

我们是怎样测试的

速度数字只有在测试条件写清楚时才有意义。下面是这次测试的全部条件,您可以在自己的硬件上用同样的方法复现。

条件本次测试
线程单个线程,只用一个处理器核心
服务器一台普通的12核服务器
查询数量每种格式100万次查询,每种格式测两次
每次查询的内容输入一个主机名,先查完整主机名,查不到再逐级去掉最左边的一级,直到找到或只剩两级
预热正式计时前先执行2万次查询,再开始计时
计时范围只计查询本身,不含打开文件的时间(三种格式打开文件都不到1毫秒)
代码C语言实现,三种格式使用同一套查询逻辑

中国域名表

约75万行中国域名。100万次查询中八成能查到。

大表

1,575万行域名,用来观察表变大以后速度怎样变化。

主机名表

1,786万行中国主机名和域名。查询中六成是表里的主机名,两成是表里没有的新主机名,两成是未知域名。

结果

测试结果:三种格式,三种表

下表列出每种格式两次测试的结果。每秒查询次数四舍五入到万,平均耗时为每次查询的微秒数。

中国域名表(约75万行)

格式第一次第二次平均每次耗时文件大小
SQLite约17万次/秒约17万次/秒约5.9微秒27.4MB
LMDB约130万次/秒约135万次/秒约0.75微秒约41MB
内存映射查询表约823万次/秒约842万次/秒约0.12微秒11.4MB
SQLite17万
LMDB约132万
内存映射约830万次/秒

大表(1,575万行域名)

格式第一次第二次内存映射文件大小
SQLite约16万次/秒约16万次/秒240.3MB
LMDB约128万次/秒约128万次/秒
内存映射查询表约330万次/秒约318万次/秒

主机名表(1,786万行)

格式第一次第二次平均每次耗时文件大小
SQLite约16万次/秒约17万次/秒约6.1微秒约1,616MB
LMDB约80万次/秒约82万次/秒约1.24微秒约2,689MB
内存映射查询表约389万次/秒约397万次/秒约0.25微秒272.6MB

怎样读这些数字:表越大,内存映射表的速度越低,因为数据超出了处理器缓存,查找时要更多地访问内存。SQLite的速度几乎不受表大小影响,但始终最慢。实际速度还取决于您的硬件和查询分布,以上是我们在自己服务器上的结果。

为什么快

内存映射查询表为什么这么快

内存映射查询表是为“只读、查得多、改得少”的场景设计的。它快,不是因为用了什么特殊硬件,而是因为省掉了查询之外的几乎所有工作。

文件就是数据结构

文件的内容直接就是一张查找表。程序打开文件后不需要解析、导入或建立索引,第一次查询就能开始。

一次定位,不用遍历

按主机名直接算出它在表中的位置,通常一两次内存读取就能得到结果,而不是在有序数据里一层层查找。

每条记录很小

表里只存查找需要的内容,类别名称单独存放。记录越小,处理器缓存里放得越多,查得就越快。

只读,所以可以共享

查询时不加锁、不写入。多个线程和进程可以同时读同一份文件,速度随线程数增加。

SQLite和LMDB是通用的数据库,要处理事务、页面和索引,所以每次查询的开销更大。它们的优势在于通用和易用:前者可以用SQL筛选,后者适合多个进程同时读写的服务。

影响因素

哪些因素会影响您系统里的查询速度

同一份数据,在不同的机器和不同的流量下,速度可能差别很大。下表列出主要因素,便于您估算自己环境中的结果。

因素影响建议
表的大小表越大,越难全部留在处理器缓存里,内存映射表的速度会下降终端上只加载需要的范围,例如热门网站或要拦截的类别
主机名的层级层级越多,查不到时要逐级查找的次数越多主机名级别的数据能在第一次就查到,减少逐级查找
命中率查不到的主机名要一直查到根域名,比直接查到多花几次查找流量中未收录的域名越少,平均速度越高
首次读取文件刚打开时数据还不在内存里,最初的查询会慢一些服务启动后先执行少量查询预热
硬件处理器缓存和内存速度直接影响结果在目标硬件上用自己的查询清单实测
线程数只读文件可以并行查询,总吞吐量随线程增加高流量网关按处理器核心数开多个查询线程
复现

在自己的环境中复现这项测试

最可靠的数字,是在贵司自己的硬件上、用贵司自己的访问记录测出来的。按下面五步,就能得到可以和本页对比的结果。

  1. 准备查询清单

    从DNS或网关日志中导出一段时间内的主机名,保留重复,这样清单的分布和真实流量一致。

  2. 载入数据文件

    用随数据提供的参考代码打开查询表,记录打开文件所用的时间。

  3. 预热

    先执行一小部分查询,让操作系统把常用的数据页载入内存。

  4. 计时

    对整份清单计时,算出每秒查询次数和平均每次耗时,同时统计查到的比例。

  5. 重复并记录条件

    每种格式至少测两次,记下处理器型号、线程数、表的行数和文件大小。

换算

这些速度在实际系统里意味着什么

把单次耗时换算成占用的处理器时间,更容易判断哪种格式适合您的系统。下面的数字都是按上表的平均耗时直接计算的。

每秒查询量内存映射表(0.12微秒/次)LMDB(0.75微秒/次)SQLite(5.9微秒/次)
每秒1千次约占单线程0.01%的时间约0.08%约0.6%
每秒1万次约0.12%约0.75%约5.9%
每秒10万次约1.2%约7.5%约59%
每秒100万次约12%约75%单线程不够用

终端电脑

一台电脑每秒的新连接很少。三种格式都绰绰有余,选文件最小、占内存最少的内存映射表即可。

出口网关

上千人共用一个出口时,每秒的查询量可能达到数万次。LMDB或内存映射表都能轻松承担。

运营商与平台

每秒数十万次以上的查询,建议使用内存映射表,并按处理器核心数开多个线程,各线程共享同一份只读文件。

格式选择

四种交付格式,各适合什么场景

我们的中国域名分类库和主机名(SNI)分类库都提供下面四种格式,附C语言参考代码。可以在不同系统上用不同格式,内容完全一致。

格式适合优点注意
CSV导入数据库、表格软件、数据分析通用,人可以直接阅读不适合直接用于实时查询
SQLite后台系统、报表、需要用SQL筛选时单个文件,几乎所有语言都能读取查询最慢,文件较大
LMDB多个进程同时查询的服务器和网关速度快,多进程读取安全主机名数据的文件较大
内存映射查询表终端软件、高流量网关、嵌入自己的产品最快,文件最小,按需载入内存只读文件,更新时整体替换
  1. 每天生成新文件

    用每日更新文件生成新版本的查询表,写到一个新文件里。

  2. 整体替换

    新文件写完后,用一次重命名替换旧文件,查询程序不会读到写了一半的数据。

  3. 重新打开

    查询程序在下一次检查时打开新文件,旧文件在没有程序使用后释放,整个过程不中断服务。

部署示例

不同位置的部署示例

同一份数据可以同时用在网关、DNS服务器、终端和后台系统上。下表是常见的搭配方式,您可以按自己的网络结构组合。

部署位置推荐格式查询时机更新方式
员工电脑上的过滤软件内存映射查询表浏览器或应用发起连接时每天下发新文件,软件重新打开
出口网关、代理服务器内存映射查询表或LMDB读取SNI或HTTP请求头之后每天在网关上替换文件
公司DNS服务器内存映射查询表或LMDB收到域名解析请求时每天替换文件,解析服务不中断
日志分析与报表系统SQLite或CSV批量处理前一天的日志时每天导入更新文件
自己的安全产品内存映射查询表,配合参考代码产品自身的检测流程中随产品的更新机制分发

在多个位置使用同一份数据,好处是分类口径一致:网关拦截的类别,和报表里统计的类别是同一个,不会出现“网关说是购物、报表说是商业”的情况。

终端资源

终端资源有限时,还能怎样优化

内存映射表是四种格式中文件最小的一种。如果终端资源仍然紧张,或者要部署在小型设备上,可以用下面的办法。

按人气分组只加载热门网站

数据中有中国人气分组和全球人气分组。终端可以只加载人气较高的网站,其余交给网关或DNS服务器处理。

只保留需要的类别

如果终端只负责拦截少数几个类别,可以只把这些类别的域名生成查询表,文件会小得多。

让操作系统管理内存

内存映射表按需载入,没有用到的部分不占物理内存。不需要把整个文件读进程序。

多线程共享一份文件

同一台机器上的多个线程或进程可以共享同一份只读文件,内存只占一份。

主机名级别的数据和SNI的原理,见SNI是什么。比较几份url库时如何评估格式和速度,见如何评估URL分类库。

价格

中国域名分类库与主机名(SNI)分类库

两份数据都以文件交付,提供四种格式和C语言参考代码,在您的系统中离线查询。按年授权,每年同价,不限终端数量。

域名查询约830万次/秒

中国域名分类库

Chinese Domain Database

9,900 美元/年

约人民币6.6万元

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
  • 离线使用:查询在贵司内部完成,不连接我们的服务器

每年同价,不限终端数量

主机名查询约390万次/秒

主机名(SNI)分类库

Host-name (SNI) Database

14,900 美元/年

约人民币10万元

  • 包含中国域名分类库的全部字段和更新
  • 主机名记录:分类加角色,例如网站、登录、接口、CDN、邮件、下载与更新
  • 离线分类引擎,用于尚未收录的主机名
  • 加密流量中只看到主机名(SNI)时也能按角色制定策略
  • 每日更新文件,每月一次全量刷新

每年同价,不限终端数量

完整条款见价格页。网站类别的划分方法见网站分类有哪些。

询价与咨询

告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。

  • 按年度授权,每年同价
  • 付款到账后一个工作日内交付文件和查询工具
  • 可开具形式发票,可签署贵司的采购合同
  • 欧盟公司直接签约,数据在您的网络内离线使用

我们只用这些信息回复您的询价,不发送营销邮件,也不向第三方提供。

常见问题

离线查询一次域名需要多长时间?

在我们的测试中,单个线程查询约75万行的中国域名表,内存映射查询表平均每次约0.12微秒,相当于每秒约830万次;LMDB约0.75微秒;SQLite约5.9微秒。实际速度取决于硬件、表的大小和查询分布。

每秒830万次是怎样测出来的?

在一台12核服务器上用单个线程,对同一组100万个查询计时,每次查询从完整主机名逐级退到根域名。内存映射查询表两次测试分别为每秒约823万次和842万次,平均约830万次。计时不含打开文件的时间,打开文件不到1毫秒。

主机名数据查询有多快?

主机名表有1,786万行,内存映射查询表两次测试分别为每秒约389万次和397万次,平均每次约0.25微秒;LMDB约每秒80万次;SQLite约每秒16万至17万次。主机名表比域名表大得多,所以速度较低。

url分类数据库的原理是什么?

原理是把域名或主机名和网站类别存成一张可以快速查找的表。设备拿到要访问的主机名后,先查完整主机名,查不到再逐级退到上一级域名,找到类别后按策略放行、拦截或记录。离线查询时,这张表就放在您自己的系统里。

应该选哪种格式?

终端软件、高流量网关和嵌入自己的产品时,选内存映射查询表;多个进程同时查询的服务器可以选LMDB;需要用SQL筛选和做报表时选SQLite;导入数据库或做分析时用CSV。四种格式内容一致,可以同时使用。

离线查询会把访问记录发给你们吗?

不会。数据文件放在贵司的系统里,查询在本地完成,不连接我们的服务器,也不回传任何数据。文件本身只有域名、主机名和网站类别等网站层面的信息,不含个人数据。

每天更新数据时需要停止服务吗?

不需要。常见做法是用每日更新文件生成新版本的查询表,写成一个新文件,再用一次重命名替换旧文件,查询程序重新打开即可。内存映射表是只读文件,替换过程中不会读到不完整的数据。

为什么表越大,查询越慢?

表小的时候,大部分数据可以留在处理器缓存里,查找非常快;表变大后,更多查找要访问内存,速度随之下降。在我们的测试中,约75万行的域名表约每秒830万次,1,575万行的大表约每秒318万至330万次,仍然远快于SQLite和LMDB。

LMDB和内存映射查询表有什么区别?

两者都通过内存映射读取文件,但LMDB是通用的键值数据库,支持写入和事务,适合多个进程共同维护的服务;内存映射查询表是专门为只读查找设计的,文件更小、查询更快,更新时整体替换文件。

终端内存不够时怎么办?

内存映射查询表按需载入内存,没有用到的部分不占物理内存。还可以按人气分组只加载热门网站,或者只生成需要拦截的类别的查询表,让文件变得更小。