主机名(SNI)分类库
包含中国域名分类库的全部内容,另加这些域名下的主机名。每个主机名带所属域名的分类和角色(网站、登录、API、CDN、邮件等),并附离线分类引擎。
- 包含中国域名分类库的全部字段和更新
- 主机名记录:分类加角色,例如网站、登录、接口、CDN、邮件、下载与更新
- 离线分类引擎,用于尚未收录的主机名
- 加密流量中只看到主机名(SNI)时也能按角色制定策略
一张表看懂url特征库和应用识别库
简单地说,url特征库管“去了哪个网站”,应用识别库管“用了哪个软件”。下表从九个方面对比两者。
| 对比项 | url特征库 | 应用识别库 |
|---|---|---|
| 识别对象 | 网站和网址 | 应用程序和网络协议 |
| 判断依据 | 域名、主机名;未加密时还有完整网址 | 端口、协议握手、报文中的固定字段,以及包长、收发节奏等流量行为 |
| 典型规则 | 上班时间禁止访问购物类、视频类网站 | 禁止P2P下载工具,限制网络游戏客户端的带宽 |
| 查询方式 | 用主机名查表,找到对应的类别 | 把一个会话的特征与特征库中的规则逐条比对 |
| 识别结果 | 网站类别,一个网站可以有多个类别 | 应用名称、应用类别和使用的协议 |
| 主要场景 | 浏览器访问的网站 | 不经过浏览器的客户端软件 |
| 升级更新什么 | 新出现的网站、类别变化、停用的域名 | 新增的应用、已有应用新版本带来的协议变化 |
| 数据形式 | 一张“主机名到类别”的对照表 | 与识别引擎配套的特征规则 |
| 能否用于其他系统 | 独立授权的数据文件可以用于终端、DNS和自研系统 | 特征规则与设备的识别引擎绑定,一般不能单独使用 |
url特征库是什么意思?
url特征库就是url库,也叫URL分类库、URL分类特征库或网址库。它把域名、主机名或网址对应到网站类别,例如购物、视频、招聘、网盘、游戏和新闻。
之所以叫“特征库”,是因为在设备的升级页面上,它和病毒库、入侵防御特征库、应用识别库排在一起,都需要按订阅定期升级。
识别单位
以域名为主。细一些的url库会收录主机名;访问未加密的网站时,还可以按网址路径区分。
分类方式
以网址过滤类别为主,有的还附带IAB内容分类。一个网站有多种用途时,可以同时带多个类别。
查询过程
先用完整主机名查表,查不到再退到上一级域名,直到找到类别;仍然查不到的归为“未分类”。
url库的详细说明,包括常见叫法、字段和更新方式,请看url库是什么意思。
应用识别库是什么,原理是什么?
很多软件并不通过浏览器上网,例如P2P下载工具、网络游戏和各类客户端。它们的连接往往没有一个可以直接查表的网址,设备要靠流量本身的特征来判断是哪个应用。
跟踪会话
连接建立时,设备开始跟踪一个会话:源地址、目的地址、端口和传输协议。
读取报文特征
深度包检测(DPI)读取协议握手和报文中的固定字段,例如某种协议特有的报文头格式。
分析流量行为
深度流检测(DFI)观察整条连接的行为,例如包长分布、收发节奏和并发连接数,适合识别P2P这类特征分散的流量。
与特征库比对
把提取到的特征与应用识别库中的规则比对,得出应用名称和应用类别。
执行策略并记录
按应用放行、拦截、限速或只记录,结果写入日志和统计报表。
应用识别库常用来管理哪些软件
P2P下载工具
连接分散、端口多变,很少有固定的网址,需要按流量行为识别。
网络游戏客户端
游戏数据走自有协议,常见做法是限制带宽或按时间段放行。
视频和直播客户端
客户端播放占用大量带宽,和网页版需要分别管理。
即时通讯客户端
很多公司允许聊天,但限制文件传输,需要识别到应用内的具体功能。
远程控制软件
可以从外部操作办公电脑,通常只允许IT部门批准的工具。
网盘同步客户端
后台自动上传文件,和网盘网站一起管理,才能减少数据外传。
HTTPS加密之后,两种库各能看到什么?
现在大部分网站和应用都使用TLS加密。加密改变了设备能读到的信息,也改变了两种库的工作方式。
| 设备能看到的信息 | 普通HTTP | HTTPS(TLS 1.3) | HTTPS并启用ECH |
|---|---|---|---|
| DNS查询中的域名 | 可见 | 可见;使用加密DNS时不可见 | 可见;使用加密DNS时不可见 |
| 请求中的主机名(Host或SNI) | 可见 | 可见,SNI以明文发送 | 只能看到服务方公开的名称 |
| 完整网址路径和参数 | 可见 | 不可见,除非设备做SSL解密 | 不可见 |
| 服务器证书 | 不涉及 | 已加密 | 已加密 |
| 包长、时序等流量特征 | 可见 | 可见 | 可见 |
对url特征库的影响:按域名和主机名分类的url库在HTTPS中仍然有效,因为SNI里的主机名可以直接查表。只有按完整网址路径写的规则,才需要设备先做SSL解密。
对应用识别库的影响:报文内容被加密后,识别更多依靠握手信息和流量行为。应用更新版本、改变通信方式时,特征库要及时跟进。
关于ECH:加密客户端问候(ECH)是IETF的RFC 9849标准,它把握手中的SNI也加密,外部只能看出连接的是哪一家服务方。目前并非所有网站和浏览器都启用了ECH,在已启用的连接上,DNS层面的过滤和设备的解密策略就更重要。
为什么设备要同时使用两种库?
两种库覆盖的是不同的流量。只用其中一种,总会留下管理不到的部分。下表按常见需求说明该由哪种库负责。
| 管理需求 | url特征库 | 应用识别库 |
|---|---|---|
| 上班时间禁止访问购物网站 | 主要依靠它 | 一般不需要 |
| 禁止P2P下载工具 | 作用有限,P2P连接大多不经过网站 | 主要依靠它 |
| 视频平台的网页版和客户端都要管理 | 管理网页版 | 管理客户端 |
| 拦截新出现的可疑网站 | 按类别和新出现域名清单 | 一般不涉及 |
| 允许聊天、限制聊天软件传文件 | 可区分网页版的部分主机 | 识别应用内的具体功能 |
| 统计员工访问了哪些类别的网站 | 主要依靠它 | 补充各应用的使用时长 |
浏览器流量
员工通过浏览器访问的网站,主要由url特征库按类别管理,规则直观,也便于向员工解释。
客户端流量
不经过浏览器的软件,由应用识别库按应用管理,可以细到限速或限制某个功能。
统一报表
两种库的识别结果一起进入日志,报表才能完整反映员工的上网行为和带宽使用。
url库升级和应用识别库升级,分别更新什么?
设备的升级页面上常常同时列出两个库,它们的更新内容和节奏并不相同。
url库升级
- 新出现的网站和域名
- 改版后类别发生变化的网站
- 过期、停放或停用的域名
更新越频繁越好,因为每天都有新网站出现。订阅到期后,设备通常不再获取更新,新网站会逐渐落入“未分类”。
应用识别库升级
- 新增的应用和协议
- 已有应用新版本带来的通信变化
- 识别规则的修正和细化
节奏跟随各类应用的版本发布。订阅到期后,设备通常不再获取新规则,应用更新版本后可能识别不出来。
设备提示“升级序列号已过期”时,两个库往往同时停止更新。如果设备即将更换,或者只需要网站分类数据,可以改用独立授权的URL分类库,用在终端软件、DNS服务器或其他系统上。
订阅到期或设备更换时,怎样规划迁移
设备停用或不再续订时,原来依靠两个库的规则不会自动消失,但会逐渐失效。提前把规则分成两类,分别找到新的落脚点,切换就会平稳很多。
盘点现有规则
从设备导出正在启用的策略,逐条标出它依靠的是网站类别、单个域名,还是应用识别。很多公司真正在用的类别只有十几个。
把规则分成两类
按网站类别和域名写的规则,可以迁到独立的url库,用在终端、DNS服务器或代理上。按应用写的规则,需要新的设备或终端软件自带应用识别功能。
对照分类名称
把原来用到的每个类别,对应到新url库的一个或多个类别,整理成一张对照表。不同来源的分类体系不会完全一一对应,个别类别需要拆分或合并。
用访问记录核对覆盖
从日志中取员工最常访问的几百个域名,在新url库中查一遍,看类别是否合理,未分类的有多少,再据此补充白名单和黑名单。
先记录,后拦截
新规则上线初期只记录、不拦截,观察一段时间的报表,确认没有误拦业务网站,再逐步打开拦截。
切换后定期回顾
切换完成后,每周查看一次“未分类”和被拦截最多的域名,及时调整白名单,让策略跟上业务的变化。
| 原设备上的规则 | 依靠的库 | 迁移后的去向 |
|---|---|---|
| 工作时间拦截购物、视频类网站 | url库 | 独立url库加终端软件或DNS过滤,按类别执行 |
| 全天拦截赌博和成人内容类网站 | url库 | 同上,作为所有部门的基础规则 |
| 拦截网盘网站,放行公司指定的网盘 | url库加白名单 | 按网盘类别拦截,指定网盘的域名单独放行 |
| 拦截网站页面,放行业务需要的接口 | url库加例外 | 主机名(SNI)分类库,按主机名角色分别处理 |
| 禁止P2P下载、限制游戏客户端带宽 | 应用识别库 | 新设备或终端软件的应用识别功能 |
| 限制即时通讯软件传输文件 | 应用识别库 | 带应用识别和功能控制的设备或终端软件 |
主机名(SNI)分类库:在加密流量中区分同一平台的不同用途
现在很多应用也通过HTTPS和自己的服务器通信,连接里能看到的就是主机名。同一个域名下,网站、登录、接口、邮件和下载往往用不同的主机名。
主机名(SNI)分类库给每个主机名标出所属域名的类别和它的角色,于是在不解密的情况下,也能对同一平台的不同用途分别制定策略。
| 主机名(示例) | 类别 | 角色 | 策略示例 |
|---|---|---|---|
www.example.cn | 视频 | 网站 | 上班时间拦截 |
passport.example.cn | 视频 | 登录 | 按业务需要决定 |
api.example.cn | 视频 | 接口 | 放行,公司系统需要调用 |
static.example.cn | 视频 | CDN | 跟随网站的策略 |
mail.example.cn | 视频 | 邮件 | 放行 |
dl.example.cn | 视频 | 下载与更新 | 放行软件更新 |
需要说明的是,我们提供的是url库和主机名分类数据,不提供与设备识别引擎绑定的应用识别特征。主机名分类库可以和设备自身的应用识别功能一起使用,各管一部分流量。
按需求选择合适的数据
先想清楚要管理的是网站、主机名还是客户端协议,再决定需要哪种库。
中国域名分类库
按域名查类别,用于终端、DNS服务器、防火墙和代理。适合按类别拦截购物、视频、招聘、网盘等网站。
主机名(SNI)分类库
在加密流量中按主机名的角色制定策略,例如拦截网站页面,同时放行公司系统需要的接口和下载。
设备的应用识别功能
P2P、游戏和客户端软件的协议识别由设备完成。我们的数据负责网站和主机名部分,两者配合使用。
想了解过滤设备完整的处理流程,请看URL过滤是什么,如何工作;想了解整套管理系统需要哪些数据,请看上网行为管理是什么。
中国域名分类库与主机名(SNI)分类库
两份数据都以文件形式交付,在您的系统里离线查询,不连接我们的服务器。按年授权,每年同价,付款到账后一个工作日内交付。
中国域名分类库
Chinese Domain Database
约人民币6.6万元
- 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
- 国家、网站语言、中国人气分组与全球人气分组
- 每日更新文件,每月一次全量刷新
- CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
- 离线使用:查询在贵司内部完成,不连接我们的服务器
每年同价,不限终端数量
全部产品和授权条款见价格页。数据文件不含个人信息,详见数据保护与GDPR。公司介绍见关于我们,其他问题可以通过询价与联系页面告诉我们。
询价与咨询
告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。
- 按年度授权,每年同价
- 付款到账后一个工作日内交付文件和查询工具
- 可开具形式发票,可签署贵司的采购合同
- 欧盟公司直接签约,数据在您的网络内离线使用
常见问题
url特征库是什么意思?
url特征库就是url库,也叫URL分类库或网址库。它把域名、主机名或网址对应到网站类别,上网行为管理设备和防火墙用它按类别放行或拦截网站。叫“特征库”是因为它和病毒库、应用识别库一样,需要按订阅定期升级。
应用识别库的原理是什么?
应用识别库保存的是各个应用的流量特征。设备跟踪每个会话,读取协议握手和报文中的固定字段,必要时再分析包长、收发节奏等流量行为,然后与特征库比对,判断这是哪个应用在通信,再按策略放行、拦截或限速。
url库和应用识别库可以互相替代吗?
不能完全替代。url库管理浏览器访问的网站,应用识别库管理不经过浏览器的客户端软件。像P2P下载工具这类连接很少有固定网址,主要靠应用识别;按类别拦截购物或招聘网站,则主要靠url库。多数设备两者同时使用。
应用识别库升级和url库升级有什么不同?
url库升级更新的是网站:新出现的域名、类别变化和停用的域名,更新越频繁越好。应用识别库升级更新的是应用的识别规则,节奏跟随应用的版本发布。订阅到期后,两者通常都不再获取更新。
HTTPS加密会影响这两种库吗?
会,但影响不同。url库按域名和主机名分类,HTTPS握手中的SNI可以直接查表,所以仍然有效,只有按完整网址路径写的规则需要解密。应用识别库在内容加密后更多依靠握手信息和流量行为,需要随应用版本及时升级。
主机名(SNI)分类库和应用识别库有什么区别?
主机名分类库是数据:每个主机名带有所属域名的类别和角色,例如网站、登录、接口或下载,任何能读到主机名的系统都可以查询。应用识别库是与设备识别引擎配套的规则,用来识别客户端协议。两者可以一起使用。
设备的订阅到期后,按网站类别写的规则还能保留吗?
规则本身通常还在,但它依靠的url库不再更新,新网站会落入未分类,类别变化也跟不上。可以把这部分规则迁到独立授权的url库,在终端软件、DNS服务器或代理上继续执行;按应用写的规则则需要新的设备或终端软件来承担。
换用新的url库时,原来的类别名称怎么对应?
先列出现有策略真正用到的类别,再把每个类别对应到新url库的一个或多个类别,整理成对照表。我们的中国域名分类库有58个网址过滤类别,一个网站可以带多个类别,多数常见策略都能直接对应。对应好之后,用员工常访问的域名核对一遍结果。
你们提供应用识别库吗?
不提供。我们提供中国域名分类库、主机名(SNI)分类库、全球域名分类库和AI工具库,都以数据文件交付。协议层面的应用识别仍由您的设备完成,我们的数据负责网站和主机名这部分。
怎样查看主机名分类库的数据?
可以在样例下载页下载1000行样例数据,查看主机名、类别和角色等字段。需要报价时,请通过本页的询价表单联系我们,我们在一个工作日内回复。