跳到正文

在电脑上直接按分类拦截(终端离线过滤)

员工的笔记本电脑一离开办公室,出口防火墙和公司DNS上的规则就管不到了。居家办公、出差、连酒店和咖啡馆的网络,访问都不再经过公司。

终端离线过滤把网站分类数据放在每台电脑上,本机查询、本机拦截。规则跟着电脑走,不依赖外部网络,也不把访问记录发到任何外部服务。

终端离线过滤一览

查询在哪里完成
每台电脑本机
查询速度
每秒约830万个域名(单线程)
需要联网吗
查询不需要,更新时下载文件
访问记录
留在贵司,不发给我们
终端数量
授权不设上限
终端过滤需要能在本机离线查询的数据

中国域名分类库

覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站。每个域名都有状态,已分类的域名带网址过滤分类和IAB内容分类。离线部署,每日更新。

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
9,900 美元/年约人民币6.6万元,每年同价,不限终端数量
查看价格与授权提交询价

下载1000行样例数据

问题

为什么网关和DNS过滤管不到终端

网关和DNS过滤只能管理经过公司网络的流量。下面这些情况,在移动办公普遍的企业里每天都在发生。

居家办公

电脑连的是家里的宽带,流量直接出去,不经过公司出口,网关上的类别规则完全不起作用。

出差和外部网络

酒店、机场、客户现场的网络各不相同,公司无法控制这些网络上的DNS和出口。

手机热点

在办公室里打开手机热点,电脑就绕开了公司网络,网关看不到这部分访问。

加密DNS

浏览器或系统启用了加密DNS并直接使用外部服务器时,公司的DNS过滤看不到这些查询。

云端查询慢

终端每访问一个网站就向境外的云端查询类别,跨境网络慢或中断时,页面打开变慢,规则也可能失效。

访问记录外传

云端查询意味着每一次访问的域名都要发给外部服务,这和很多企业的数据规定不一致。

对比项每次向云端查询类别本机离线查询
每次查询的耗时取决于网络,跨境时更慢微秒级,内存映射查询表约每秒830万次
断网或网络不稳定时无法判断类别照常执行规则
访问的域名是否外传每次都发送给外部服务不离开电脑
费用和查询次数的关系常按次数或用户计费不计次数,按年授权
数据更新由服务方实时更新每天加载更新文件
工作原理

终端离线过滤怎样在一台电脑上工作

无论是自研的终端软件,还是已有的终端管控软件,按类别过滤的流程都可以概括为五步,全部在本机完成。

1

取得主机名

从DNS查询、浏览器请求或系统网络过滤接口中读到要访问的主机名。

2

统一格式

转成小写,去掉端口和末尾的点,中文域名转成编码形式。

3

本机查表

先查完整主机名,查不到逐级退到根域名,取得类别和状态。

4

执行动作

按策略放行、拦截或显示提醒页,白名单和黑名单优先。

5

记录

在本机记录域名、类别和动作,按公司规定汇总上报。

终端上的拦截方式能看到什么覆盖范围需要注意
本机DNS拦截每次域名解析所有使用系统DNS的程序程序自带加密DNS时需要额外设置
浏览器扩展浏览器中的网址只限安装了扩展的浏览器其他浏览器和桌面程序不受管理
系统网络过滤接口连接的主机名,包括加密连接中的SNI本机所有程序的连接需要系统权限和签名,开发工作量较大

Windows电脑

Windows提供Windows筛选平台(WFP),这是一组用于构建网络过滤程序的接口和系统服务,终端软件常用它在本机检查和拦截连接。

Mac电脑

macOS的网络扩展提供内容过滤功能,在设备上检查经过网络协议栈的内容,并决定放行或拦截。

我们提供的是分类数据和查询代码,不限定贵司使用哪一种终端软件。多数终端管控软件支持导入域名列表;自研软件可以直接调用我们的查询格式。

数据格式

终端上用哪种格式:速度、大小和用法

中国域名分类库提供四种格式,每种都附C语言参考代码。终端软件最常用的是内存映射查询表:启动时直接映射文件,不需要先把数据读进内存。

格式单线程查询速度在终端上的用法
内存映射查询表每秒约830万个域名终端过滤最常用的格式,占用小,查询快,适合在每次连接时查询
LMDB每秒约140万个域名需要在本机同时保存自定义规则或例外时使用
SQLite每秒约17万个域名本机的报表和管理界面,不适合放在每次连接的路径上
CSV不用于实时查询导入现有终端管控软件的域名列表

对上网速度的影响

打开一个网页通常只需要几十次查询。即使用最慢的格式,每个网页增加的时间也远低于一毫秒。

只加载需要的部分

资源有限的终端,可以按中国人气分组只加载热门网站,或只加载要拦截的类别,文件更小。

状态也一起查到

查询结果除了类别,还有已分类、停放或待售、无网站、无内容、尚未检测五种状态,可以分别设定动作。

更新分发

几千台电脑,每天怎样更新数据

终端离线过滤的关键是更新。下面是常见的分发方式,由贵司的一台服务器统一下载,再分发给终端,电脑不需要直接连接我们。

  1. 中心服务器下载

    贵司内部的一台服务器每天下载更新文件,并核对每个文件附带的校验值,确认文件完整。

  2. 生成终端文件

    在服务器上把更新合并进查询表,按需要生成全量版本或只含热门网站的精简版本。

  3. 通过现有渠道分发

    用终端管控软件、软件分发系统或内部文件服务器把新文件推送到电脑,不需要另建通道。

  4. 终端无缝切换

    终端下载完新文件后,先校验,再切换到新文件,旧文件保留到切换成功,过滤不会中断。

  5. 离线电脑回来补齐

    长时间离线的电脑在下次连上公司网络或互联网时取回最新文件,期间继续用已有的数据执行规则。

每日更新文件包含新增、类别变化和删除的记录;每月一次全量刷新,用来校准长期累积的差异。

终端策略

在公司和不在公司,规则要不要一样

终端过滤可以按电脑所处的网络调整规则。下表是企业常见的做法,可以和办公网的网关策略配合使用。

情况常见做法原因
在办公网内终端只记录,拦截交给网关或DNS避免两层规则重复拦截,排查问题更简单
居家办公终端执行和办公网相同的类别规则员工在哪里工作,规则都一样
出差和公共网络额外拦截恶意、钓鱼和新出现的域名公共网络上的仿冒页面更常见
完全断网继续用本机数据执行规则和记录恢复联网后再上报日志
访问被拦截的业务网站提醒页上提供申请入口白名单统一下发,各终端同时生效

办公网内的统一过滤可以放在DNS服务器上,做法见企业DNS过滤;整体的员工上网管理思路,见不加硬件,管理员工上网行为。

选型

终端上网管控系统有哪些做法

市面上的终端上网管控大体有三类做法。无论选哪一类,按网站类别过滤都离不开一份覆盖中文网站、能离线查询的数据。

现有终端管控软件

  • 已经部署,员工不用再装新软件
  • 通常支持导入域名列表
  • 自带的分类可能缺少中文网站

终端安全软件的网址模块

  • 和防病毒等功能一起管理
  • 分类常依赖云端查询
  • 访问记录可能发往外部

自研或定制的终端程序

  • 直接调用内存映射查询表
  • 规则、提醒页和日志完全自定
  • 适合有开发能力的企业和软件厂商

软件厂商要把分类数据集成进自己的终端产品,提供给客户使用,需要OEM授权,见在您的产品中集成URL分类库。

排查

终端过滤上线后的常见问题和处理

终端上的问题往往比网关上更分散。下表列出上线头几周最常见的情况,大多可以通过白名单和更新设置解决。

现象常见原因处理办法
某个办公软件无法登录或更新它的登录或下载主机所在的域名属于被拦截的类别在日志中找到被拦截的主机名,只放行这个主机名
部分电脑规则不生效终端文件没有更新,或程序使用了自带的加密DNS检查文件版本和校验值,统一程序的DNS设置
同一个网站,有的电脑拦、有的不拦不同电脑加载的数据版本或精简范围不同统一分发同一版本,精简版本按部门明确范围
新开的网站没有被拦截网站刚出现,状态还是尚未检测对尚未检测的域名设定单独的动作,例如提醒或拦截
员工抱怨误拦提醒页没有说明原因和申请方式在提醒页写明类别和申请入口,白名单统一下发
准备

部署终端过滤之前,先准备这些

下面几项准备好了,终端过滤可以在几天内完成第一批部署。它们也是询价时最有帮助的信息。

  • 终端的操作系统和数量,经常离开办公室的电脑大约有多少台
  • 现有的终端管控或软件分发系统,能否每天向电脑推送一个文件
  • 要拦截、提醒和只记录的类别清单,以及各部门的例外
  • 拦截提醒页的内容:说明原因、联系人和申请开通的方式
  • 终端日志保存在哪里、保存多久、谁可以查看,并写进公司制度
  • 先在信息部门和一个业务部门小范围启用的名单和时间安排
隐私

终端过滤的日志,留在贵司自己手里

终端上的过滤会产生员工的上网记录。离线查询的好处之一,是这些记录从头到尾不经过任何外部服务。

查询不外传

数据库不连接我们的服务器,我们看不到任何一台电脑查询了什么。

数据不含个人信息

文件只有域名、类别和状态等网站层面的信息,不含任何个人数据。

按需上报汇总

终端可以只上报按类别的汇总,个人明细留在本机,具体按贵司的制度决定。

数据与个人信息的关系见数据保护与GDPR。

产品与价格

终端离线过滤用的数据

按网站类别过滤选择中国域名分类库。终端软件按连接中的主机名判断,还要区分同一平台的网站、登录、接口和下载时,选择主机名(SNI)分类库,它还附带离线分类引擎,用于尚未收录的主机名。

终端按类别过滤

中国域名分类库

Chinese Domain Database

9,900 美元/年

约人民币6.6万元

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
  • 离线使用:查询在贵司内部完成,不连接我们的服务器

每年同价,不限终端数量

终端按主机名和角色过滤

主机名(SNI)分类库

Host-name (SNI) Database

14,900 美元/年

约人民币10万元

  • 包含中国域名分类库的全部字段和更新
  • 主机名记录:分类加角色,例如网站、登录、接口、CDN、邮件、下载与更新
  • 离线分类引擎,用于尚未收录的主机名
  • 加密流量中只看到主机名(SNI)时也能按角色制定策略
  • 每日更新文件,每月一次全量刷新

每年同价,不限终端数量

授权按年计算,终端数量不设上限,详见价格页。过滤的原理和查询顺序,见URL过滤是什么,如何工作;url库里有什么,见url库是什么意思。

询价与咨询

告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。

  • 按年度授权,每年同价
  • 付款到账后一个工作日内交付文件和查询工具
  • 可开具形式发票,可签署贵司的采购合同
  • 欧盟公司直接签约,数据在您的网络内离线使用

我们只用这些信息回复您的询价,不发送营销邮件,也不向第三方提供。

常见问题

终端上网管控是什么?

终端上网管控是在每台电脑上执行上网规则,而不是只在公司网络出口执行。电脑在本机判断要访问的网站属于哪一类,再按公司规定放行、拦截或记录,员工在家和出差时同样有效。

终端离线过滤和网关过滤有什么区别?

网关过滤只管经过公司出口的流量,部署集中、管理方便。终端离线过滤在每台电脑上执行,覆盖居家、出差和任何网络。很多企业两者同时使用,并用同一份分类数据保持规则一致。

终端过滤会让上网变慢吗?

几乎感觉不到。内存映射查询表在单个处理器线程上每秒约可查询830万个域名,打开一个网页通常只需要几十次查询,每个网页增加的时间远低于一毫秒。

电脑断网或在外地,规则还有效吗?

有效。数据保存在电脑本机,查询不需要联网。电脑离线期间继续用已有的数据执行规则,下次联网时再取回最新的更新文件。

几千台电脑怎样每天更新数据?

通常由贵司内部的一台服务器每天下载更新文件并核对校验值,再通过终端管控软件或软件分发系统推送到电脑。终端校验新文件后再切换,过滤不会中断。

数据文件在电脑上占用多大空间?

取决于加载的范围。资源有限的终端可以按中国人气分组只加载热门网站,或只加载要拦截的类别,文件会小很多。具体大小可以在询价时按贵司的需要说明。

我们现有的终端管控软件能用你们的数据吗?

多数终端管控软件支持导入域名列表,可以把要拦截的类别导出为列表导入。自研软件可以直接调用内存映射查询表或LMDB,我们提供C语言参考代码。

HTTPS网站在终端上能识别吗?

能。终端软件通过系统网络过滤接口可以看到加密连接中的主机名(SNI),通过本机DNS拦截可以看到要解析的域名,按域名和主机名分类的数据依然有效。

终端过滤会把员工的访问记录发给你们吗?

不会。数据库不连接我们的服务器,查询在电脑本机完成。日志保存在哪里、上报哪些内容,由贵司的终端软件和内部制度决定。

终端软件只认主机名,如何避免误拦公司要用的软件?

在日志中找到被拦截的主机名,只放行这个主机名,不必放行整个网站。主机名(SNI)分类库给每个主机名标出网站、登录、接口、下载与更新等角色,可以从一开始就只拦截网站页面,让登录和更新照常工作。

终端安全管控平台和终端上网管控是一回事吗?

不完全一样。终端安全管控平台通常包括防病毒、补丁、外设和软件管理等多种功能,终端上网管控是其中按网站和类别管理上网的部分。后者需要一份能在本机查询的网站分类数据。

Mac电脑和Windows电脑都能用吗?

能。数据文件和查询格式与操作系统无关,C语言参考代码可以编译到常见的桌面系统上。拦截的方式由终端软件决定,例如Windows上的Windows筛选平台和macOS上的网络扩展内容过滤。

终端数量增加需要加钱吗?

不需要。授权用于贵司内部,覆盖的终端数量不设上限,新增电脑不需要重新报价,续订时价格不变。