中国域名分类库
覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站。每个域名都有状态,已分类的域名带网址过滤分类和IAB内容分类。离线部署,每日更新。
- 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
- 国家、网站语言、中国人气分组与全球人气分组
- 每日更新文件,每月一次全量刷新
- CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
为什么网关和DNS过滤管不到终端
网关和DNS过滤只能管理经过公司网络的流量。下面这些情况,在移动办公普遍的企业里每天都在发生。
居家办公
电脑连的是家里的宽带,流量直接出去,不经过公司出口,网关上的类别规则完全不起作用。
出差和外部网络
酒店、机场、客户现场的网络各不相同,公司无法控制这些网络上的DNS和出口。
手机热点
在办公室里打开手机热点,电脑就绕开了公司网络,网关看不到这部分访问。
加密DNS
浏览器或系统启用了加密DNS并直接使用外部服务器时,公司的DNS过滤看不到这些查询。
云端查询慢
终端每访问一个网站就向境外的云端查询类别,跨境网络慢或中断时,页面打开变慢,规则也可能失效。
访问记录外传
云端查询意味着每一次访问的域名都要发给外部服务,这和很多企业的数据规定不一致。
| 对比项 | 每次向云端查询类别 | 本机离线查询 |
|---|---|---|
| 每次查询的耗时 | 取决于网络,跨境时更慢 | 微秒级,内存映射查询表约每秒830万次 |
| 断网或网络不稳定时 | 无法判断类别 | 照常执行规则 |
| 访问的域名是否外传 | 每次都发送给外部服务 | 不离开电脑 |
| 费用和查询次数的关系 | 常按次数或用户计费 | 不计次数,按年授权 |
| 数据更新 | 由服务方实时更新 | 每天加载更新文件 |
终端离线过滤怎样在一台电脑上工作
无论是自研的终端软件,还是已有的终端管控软件,按类别过滤的流程都可以概括为五步,全部在本机完成。
取得主机名
从DNS查询、浏览器请求或系统网络过滤接口中读到要访问的主机名。
统一格式
转成小写,去掉端口和末尾的点,中文域名转成编码形式。
本机查表
先查完整主机名,查不到逐级退到根域名,取得类别和状态。
执行动作
按策略放行、拦截或显示提醒页,白名单和黑名单优先。
记录
在本机记录域名、类别和动作,按公司规定汇总上报。
| 终端上的拦截方式 | 能看到什么 | 覆盖范围 | 需要注意 |
|---|---|---|---|
| 本机DNS拦截 | 每次域名解析 | 所有使用系统DNS的程序 | 程序自带加密DNS时需要额外设置 |
| 浏览器扩展 | 浏览器中的网址 | 只限安装了扩展的浏览器 | 其他浏览器和桌面程序不受管理 |
| 系统网络过滤接口 | 连接的主机名,包括加密连接中的SNI | 本机所有程序的连接 | 需要系统权限和签名,开发工作量较大 |
Windows电脑
Windows提供Windows筛选平台(WFP),这是一组用于构建网络过滤程序的接口和系统服务,终端软件常用它在本机检查和拦截连接。
Mac电脑
macOS的网络扩展提供内容过滤功能,在设备上检查经过网络协议栈的内容,并决定放行或拦截。
我们提供的是分类数据和查询代码,不限定贵司使用哪一种终端软件。多数终端管控软件支持导入域名列表;自研软件可以直接调用我们的查询格式。
终端上用哪种格式:速度、大小和用法
中国域名分类库提供四种格式,每种都附C语言参考代码。终端软件最常用的是内存映射查询表:启动时直接映射文件,不需要先把数据读进内存。
| 格式 | 单线程查询速度 | 在终端上的用法 |
|---|---|---|
| 内存映射查询表 | 每秒约830万个域名 | 终端过滤最常用的格式,占用小,查询快,适合在每次连接时查询 |
| LMDB | 每秒约140万个域名 | 需要在本机同时保存自定义规则或例外时使用 |
| SQLite | 每秒约17万个域名 | 本机的报表和管理界面,不适合放在每次连接的路径上 |
| CSV | 不用于实时查询 | 导入现有终端管控软件的域名列表 |
对上网速度的影响
打开一个网页通常只需要几十次查询。即使用最慢的格式,每个网页增加的时间也远低于一毫秒。
只加载需要的部分
资源有限的终端,可以按中国人气分组只加载热门网站,或只加载要拦截的类别,文件更小。
状态也一起查到
查询结果除了类别,还有已分类、停放或待售、无网站、无内容、尚未检测五种状态,可以分别设定动作。
几千台电脑,每天怎样更新数据
终端离线过滤的关键是更新。下面是常见的分发方式,由贵司的一台服务器统一下载,再分发给终端,电脑不需要直接连接我们。
中心服务器下载
贵司内部的一台服务器每天下载更新文件,并核对每个文件附带的校验值,确认文件完整。
生成终端文件
在服务器上把更新合并进查询表,按需要生成全量版本或只含热门网站的精简版本。
通过现有渠道分发
用终端管控软件、软件分发系统或内部文件服务器把新文件推送到电脑,不需要另建通道。
终端无缝切换
终端下载完新文件后,先校验,再切换到新文件,旧文件保留到切换成功,过滤不会中断。
离线电脑回来补齐
长时间离线的电脑在下次连上公司网络或互联网时取回最新文件,期间继续用已有的数据执行规则。
每日更新文件包含新增、类别变化和删除的记录;每月一次全量刷新,用来校准长期累积的差异。
在公司和不在公司,规则要不要一样
终端过滤可以按电脑所处的网络调整规则。下表是企业常见的做法,可以和办公网的网关策略配合使用。
| 情况 | 常见做法 | 原因 |
|---|---|---|
| 在办公网内 | 终端只记录,拦截交给网关或DNS | 避免两层规则重复拦截,排查问题更简单 |
| 居家办公 | 终端执行和办公网相同的类别规则 | 员工在哪里工作,规则都一样 |
| 出差和公共网络 | 额外拦截恶意、钓鱼和新出现的域名 | 公共网络上的仿冒页面更常见 |
| 完全断网 | 继续用本机数据执行规则和记录 | 恢复联网后再上报日志 |
| 访问被拦截的业务网站 | 提醒页上提供申请入口 | 白名单统一下发,各终端同时生效 |
办公网内的统一过滤可以放在DNS服务器上,做法见企业DNS过滤;整体的员工上网管理思路,见不加硬件,管理员工上网行为。
终端上网管控系统有哪些做法
市面上的终端上网管控大体有三类做法。无论选哪一类,按网站类别过滤都离不开一份覆盖中文网站、能离线查询的数据。
现有终端管控软件
- 已经部署,员工不用再装新软件
- 通常支持导入域名列表
- 自带的分类可能缺少中文网站
终端安全软件的网址模块
- 和防病毒等功能一起管理
- 分类常依赖云端查询
- 访问记录可能发往外部
自研或定制的终端程序
- 直接调用内存映射查询表
- 规则、提醒页和日志完全自定
- 适合有开发能力的企业和软件厂商
软件厂商要把分类数据集成进自己的终端产品,提供给客户使用,需要OEM授权,见在您的产品中集成URL分类库。
终端过滤上线后的常见问题和处理
终端上的问题往往比网关上更分散。下表列出上线头几周最常见的情况,大多可以通过白名单和更新设置解决。
| 现象 | 常见原因 | 处理办法 |
|---|---|---|
| 某个办公软件无法登录或更新 | 它的登录或下载主机所在的域名属于被拦截的类别 | 在日志中找到被拦截的主机名,只放行这个主机名 |
| 部分电脑规则不生效 | 终端文件没有更新,或程序使用了自带的加密DNS | 检查文件版本和校验值,统一程序的DNS设置 |
| 同一个网站,有的电脑拦、有的不拦 | 不同电脑加载的数据版本或精简范围不同 | 统一分发同一版本,精简版本按部门明确范围 |
| 新开的网站没有被拦截 | 网站刚出现,状态还是尚未检测 | 对尚未检测的域名设定单独的动作,例如提醒或拦截 |
| 员工抱怨误拦 | 提醒页没有说明原因和申请方式 | 在提醒页写明类别和申请入口,白名单统一下发 |
部署终端过滤之前,先准备这些
下面几项准备好了,终端过滤可以在几天内完成第一批部署。它们也是询价时最有帮助的信息。
- 终端的操作系统和数量,经常离开办公室的电脑大约有多少台
- 现有的终端管控或软件分发系统,能否每天向电脑推送一个文件
- 要拦截、提醒和只记录的类别清单,以及各部门的例外
- 拦截提醒页的内容:说明原因、联系人和申请开通的方式
- 终端日志保存在哪里、保存多久、谁可以查看,并写进公司制度
- 先在信息部门和一个业务部门小范围启用的名单和时间安排
终端过滤的日志,留在贵司自己手里
终端上的过滤会产生员工的上网记录。离线查询的好处之一,是这些记录从头到尾不经过任何外部服务。
查询不外传
数据库不连接我们的服务器,我们看不到任何一台电脑查询了什么。
数据不含个人信息
文件只有域名、类别和状态等网站层面的信息,不含任何个人数据。
按需上报汇总
终端可以只上报按类别的汇总,个人明细留在本机,具体按贵司的制度决定。
数据与个人信息的关系见数据保护与GDPR。
终端离线过滤用的数据
按网站类别过滤选择中国域名分类库。终端软件按连接中的主机名判断,还要区分同一平台的网站、登录、接口和下载时,选择主机名(SNI)分类库,它还附带离线分类引擎,用于尚未收录的主机名。
中国域名分类库
Chinese Domain Database
约人民币6.6万元
- 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
- 国家、网站语言、中国人气分组与全球人气分组
- 每日更新文件,每月一次全量刷新
- CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
- 离线使用:查询在贵司内部完成,不连接我们的服务器
每年同价,不限终端数量
授权按年计算,终端数量不设上限,详见价格页。过滤的原理和查询顺序,见URL过滤是什么,如何工作;url库里有什么,见url库是什么意思。
询价与咨询
告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。
- 按年度授权,每年同价
- 付款到账后一个工作日内交付文件和查询工具
- 可开具形式发票,可签署贵司的采购合同
- 欧盟公司直接签约,数据在您的网络内离线使用
常见问题
终端上网管控是什么?
终端上网管控是在每台电脑上执行上网规则,而不是只在公司网络出口执行。电脑在本机判断要访问的网站属于哪一类,再按公司规定放行、拦截或记录,员工在家和出差时同样有效。
终端离线过滤和网关过滤有什么区别?
网关过滤只管经过公司出口的流量,部署集中、管理方便。终端离线过滤在每台电脑上执行,覆盖居家、出差和任何网络。很多企业两者同时使用,并用同一份分类数据保持规则一致。
终端过滤会让上网变慢吗?
几乎感觉不到。内存映射查询表在单个处理器线程上每秒约可查询830万个域名,打开一个网页通常只需要几十次查询,每个网页增加的时间远低于一毫秒。
电脑断网或在外地,规则还有效吗?
有效。数据保存在电脑本机,查询不需要联网。电脑离线期间继续用已有的数据执行规则,下次联网时再取回最新的更新文件。
几千台电脑怎样每天更新数据?
通常由贵司内部的一台服务器每天下载更新文件并核对校验值,再通过终端管控软件或软件分发系统推送到电脑。终端校验新文件后再切换,过滤不会中断。
数据文件在电脑上占用多大空间?
取决于加载的范围。资源有限的终端可以按中国人气分组只加载热门网站,或只加载要拦截的类别,文件会小很多。具体大小可以在询价时按贵司的需要说明。
我们现有的终端管控软件能用你们的数据吗?
多数终端管控软件支持导入域名列表,可以把要拦截的类别导出为列表导入。自研软件可以直接调用内存映射查询表或LMDB,我们提供C语言参考代码。
HTTPS网站在终端上能识别吗?
能。终端软件通过系统网络过滤接口可以看到加密连接中的主机名(SNI),通过本机DNS拦截可以看到要解析的域名,按域名和主机名分类的数据依然有效。
终端过滤会把员工的访问记录发给你们吗?
不会。数据库不连接我们的服务器,查询在电脑本机完成。日志保存在哪里、上报哪些内容,由贵司的终端软件和内部制度决定。
终端软件只认主机名,如何避免误拦公司要用的软件?
在日志中找到被拦截的主机名,只放行这个主机名,不必放行整个网站。主机名(SNI)分类库给每个主机名标出网站、登录、接口、下载与更新等角色,可以从一开始就只拦截网站页面,让登录和更新照常工作。
终端安全管控平台和终端上网管控是一回事吗?
不完全一样。终端安全管控平台通常包括防病毒、补丁、外设和软件管理等多种功能,终端上网管控是其中按网站和类别管理上网的部分。后者需要一份能在本机查询的网站分类数据。
Mac电脑和Windows电脑都能用吗?
能。数据文件和查询格式与操作系统无关,C语言参考代码可以编译到常见的桌面系统上。拦截的方式由终端软件决定,例如Windows上的Windows筛选平台和macOS上的网络扩展内容过滤。
终端数量增加需要加钱吗?
不需要。授权用于贵司内部,覆盖的终端数量不设上限,新增电脑不需要重新报价,续订时价格不变。