跳到正文

url特征库与应用识别库有什么区别?

两者都是上网行为管理设备和防火墙里需要定期升级的“库”,但识别的对象不同。url特征库按网站分类,回答“这是哪一类网站”;应用识别库按流量特征识别软件,回答“这是哪个应用在通信”。下面用对照表、流程和例子说明两者的原理、在加密流量中各能看到什么,以及升级时分别更新了什么。

url特征库

识别对象:网站

依据:域名、主机名或网址

结果:网站类别

应用识别库

识别对象:应用程序

依据:协议和流量特征

结果:应用名称与类型

需要在加密流量中区分网站、登录和接口?

主机名(SNI)分类库

包含中国域名分类库的全部内容,另加这些域名下的主机名。每个主机名带所属域名的分类和角色(网站、登录、API、CDN、邮件等),并附离线分类引擎。

  • 包含中国域名分类库的全部字段和更新
  • 主机名记录:分类加角色,例如网站、登录、接口、CDN、邮件、下载与更新
  • 离线分类引擎,用于尚未收录的主机名
  • 加密流量中只看到主机名(SNI)时也能按角色制定策略
14,900 美元/年约人民币10万元,每年同价,不限终端数量
查看价格与授权提交询价

下载1000行样例数据

对照

一张表看懂url特征库和应用识别库

简单地说,url特征库管“去了哪个网站”,应用识别库管“用了哪个软件”。下表从九个方面对比两者。

对比项url特征库应用识别库
识别对象网站和网址应用程序和网络协议
判断依据域名、主机名;未加密时还有完整网址端口、协议握手、报文中的固定字段,以及包长、收发节奏等流量行为
典型规则上班时间禁止访问购物类、视频类网站禁止P2P下载工具,限制网络游戏客户端的带宽
查询方式用主机名查表,找到对应的类别把一个会话的特征与特征库中的规则逐条比对
识别结果网站类别,一个网站可以有多个类别应用名称、应用类别和使用的协议
主要场景浏览器访问的网站不经过浏览器的客户端软件
升级更新什么新出现的网站、类别变化、停用的域名新增的应用、已有应用新版本带来的协议变化
数据形式一张“主机名到类别”的对照表与识别引擎配套的特征规则
能否用于其他系统独立授权的数据文件可以用于终端、DNS和自研系统特征规则与设备的识别引擎绑定,一般不能单独使用
url特征库

url特征库是什么意思?

url特征库就是url库,也叫URL分类库、URL分类特征库或网址库。它把域名、主机名或网址对应到网站类别,例如购物、视频、招聘、网盘、游戏和新闻。

之所以叫“特征库”,是因为在设备的升级页面上,它和病毒库、入侵防御特征库、应用识别库排在一起,都需要按订阅定期升级。

识别单位

以域名为主。细一些的url库会收录主机名;访问未加密的网站时,还可以按网址路径区分。

分类方式

以网址过滤类别为主,有的还附带IAB内容分类。一个网站有多种用途时,可以同时带多个类别。

查询过程

先用完整主机名查表,查不到再退到上一级域名,直到找到类别;仍然查不到的归为“未分类”。

url库的详细说明,包括常见叫法、字段和更新方式,请看url库是什么意思。

应用识别库

应用识别库是什么,原理是什么?

很多软件并不通过浏览器上网,例如P2P下载工具、网络游戏和各类客户端。它们的连接往往没有一个可以直接查表的网址,设备要靠流量本身的特征来判断是哪个应用。

  1. 跟踪会话

    连接建立时,设备开始跟踪一个会话:源地址、目的地址、端口和传输协议。

  2. 读取报文特征

    深度包检测(DPI)读取协议握手和报文中的固定字段,例如某种协议特有的报文头格式。

  3. 分析流量行为

    深度流检测(DFI)观察整条连接的行为,例如包长分布、收发节奏和并发连接数,适合识别P2P这类特征分散的流量。

  4. 与特征库比对

    把提取到的特征与应用识别库中的规则比对,得出应用名称和应用类别。

  5. 执行策略并记录

    按应用放行、拦截、限速或只记录,结果写入日志和统计报表。

应用识别库常用来管理哪些软件

P2P下载工具

连接分散、端口多变,很少有固定的网址,需要按流量行为识别。

网络游戏客户端

游戏数据走自有协议,常见做法是限制带宽或按时间段放行。

视频和直播客户端

客户端播放占用大量带宽,和网页版需要分别管理。

即时通讯客户端

很多公司允许聊天,但限制文件传输,需要识别到应用内的具体功能。

远程控制软件

可以从外部操作办公电脑,通常只允许IT部门批准的工具。

网盘同步客户端

后台自动上传文件,和网盘网站一起管理,才能减少数据外传。

加密流量

HTTPS加密之后,两种库各能看到什么?

现在大部分网站和应用都使用TLS加密。加密改变了设备能读到的信息,也改变了两种库的工作方式。

设备能看到的信息普通HTTPHTTPS(TLS 1.3)HTTPS并启用ECH
DNS查询中的域名可见可见;使用加密DNS时不可见可见;使用加密DNS时不可见
请求中的主机名(Host或SNI)可见可见,SNI以明文发送只能看到服务方公开的名称
完整网址路径和参数可见不可见,除非设备做SSL解密不可见
服务器证书不涉及已加密已加密
包长、时序等流量特征可见可见可见

对url特征库的影响:按域名和主机名分类的url库在HTTPS中仍然有效,因为SNI里的主机名可以直接查表。只有按完整网址路径写的规则,才需要设备先做SSL解密。

对应用识别库的影响:报文内容被加密后,识别更多依靠握手信息和流量行为。应用更新版本、改变通信方式时,特征库要及时跟进。

关于ECH:加密客户端问候(ECH)是IETF的RFC 9849标准,它把握手中的SNI也加密,外部只能看出连接的是哪一家服务方。目前并非所有网站和浏览器都启用了ECH,在已启用的连接上,DNS层面的过滤和设备的解密策略就更重要。

配合使用

为什么设备要同时使用两种库?

两种库覆盖的是不同的流量。只用其中一种,总会留下管理不到的部分。下表按常见需求说明该由哪种库负责。

管理需求url特征库应用识别库
上班时间禁止访问购物网站主要依靠它一般不需要
禁止P2P下载工具作用有限,P2P连接大多不经过网站主要依靠它
视频平台的网页版和客户端都要管理管理网页版管理客户端
拦截新出现的可疑网站按类别和新出现域名清单一般不涉及
允许聊天、限制聊天软件传文件可区分网页版的部分主机识别应用内的具体功能
统计员工访问了哪些类别的网站主要依靠它补充各应用的使用时长

浏览器流量

员工通过浏览器访问的网站,主要由url特征库按类别管理,规则直观,也便于向员工解释。

客户端流量

不经过浏览器的软件,由应用识别库按应用管理,可以细到限速或限制某个功能。

统一报表

两种库的识别结果一起进入日志,报表才能完整反映员工的上网行为和带宽使用。

升级

url库升级和应用识别库升级,分别更新什么?

设备的升级页面上常常同时列出两个库,它们的更新内容和节奏并不相同。

url库升级

  • 新出现的网站和域名
  • 改版后类别发生变化的网站
  • 过期、停放或停用的域名

更新越频繁越好,因为每天都有新网站出现。订阅到期后,设备通常不再获取更新,新网站会逐渐落入“未分类”。

应用识别库升级

  • 新增的应用和协议
  • 已有应用新版本带来的通信变化
  • 识别规则的修正和细化

节奏跟随各类应用的版本发布。订阅到期后,设备通常不再获取新规则,应用更新版本后可能识别不出来。

设备提示“升级序列号已过期”时,两个库往往同时停止更新。如果设备即将更换,或者只需要网站分类数据,可以改用独立授权的URL分类库,用在终端软件、DNS服务器或其他系统上。

迁移规划

订阅到期或设备更换时,怎样规划迁移

设备停用或不再续订时,原来依靠两个库的规则不会自动消失,但会逐渐失效。提前把规则分成两类,分别找到新的落脚点,切换就会平稳很多。

  1. 盘点现有规则

    从设备导出正在启用的策略,逐条标出它依靠的是网站类别、单个域名,还是应用识别。很多公司真正在用的类别只有十几个。

  2. 把规则分成两类

    按网站类别和域名写的规则,可以迁到独立的url库,用在终端、DNS服务器或代理上。按应用写的规则,需要新的设备或终端软件自带应用识别功能。

  3. 对照分类名称

    把原来用到的每个类别,对应到新url库的一个或多个类别,整理成一张对照表。不同来源的分类体系不会完全一一对应,个别类别需要拆分或合并。

  4. 用访问记录核对覆盖

    从日志中取员工最常访问的几百个域名,在新url库中查一遍,看类别是否合理,未分类的有多少,再据此补充白名单和黑名单。

  5. 先记录,后拦截

    新规则上线初期只记录、不拦截,观察一段时间的报表,确认没有误拦业务网站,再逐步打开拦截。

  6. 切换后定期回顾

    切换完成后,每周查看一次“未分类”和被拦截最多的域名,及时调整白名单,让策略跟上业务的变化。

原设备上的规则依靠的库迁移后的去向
工作时间拦截购物、视频类网站url库独立url库加终端软件或DNS过滤,按类别执行
全天拦截赌博和成人内容类网站url库同上,作为所有部门的基础规则
拦截网盘网站,放行公司指定的网盘url库加白名单按网盘类别拦截,指定网盘的域名单独放行
拦截网站页面,放行业务需要的接口url库加例外主机名(SNI)分类库,按主机名角色分别处理
禁止P2P下载、限制游戏客户端带宽应用识别库新设备或终端软件的应用识别功能
限制即时通讯软件传输文件应用识别库带应用识别和功能控制的设备或终端软件
介于两者之间

主机名(SNI)分类库:在加密流量中区分同一平台的不同用途

现在很多应用也通过HTTPS和自己的服务器通信,连接里能看到的就是主机名。同一个域名下,网站、登录、接口、邮件和下载往往用不同的主机名。

主机名(SNI)分类库给每个主机名标出所属域名的类别和它的角色,于是在不解密的情况下,也能对同一平台的不同用途分别制定策略。

主机名(示例)类别角色策略示例
www.example.cn视频网站上班时间拦截
passport.example.cn视频登录按业务需要决定
api.example.cn视频接口放行,公司系统需要调用
static.example.cn视频CDN跟随网站的策略
mail.example.cn视频邮件放行
dl.example.cn视频下载与更新放行软件更新
按角色每个主机名带一种角色,例如网站、登录、接口、CDN、邮件、下载与更新
400万每秒可查询的主机名数量(内存映射查询表,单个处理器线程)
离线附离线分类引擎,用于尚未收录的主机名,查询不连接我们的服务器

需要说明的是,我们提供的是url库和主机名分类数据,不提供与设备识别引擎绑定的应用识别特征。主机名分类库可以和设备自身的应用识别功能一起使用,各管一部分流量。

怎么选

按需求选择合适的数据

先想清楚要管理的是网站、主机名还是客户端协议,再决定需要哪种库。

只需要网站分类

中国域名分类库

按域名查类别,用于终端、DNS服务器、防火墙和代理。适合按类别拦截购物、视频、招聘、网盘等网站。

要区分主机名的用途

主机名(SNI)分类库

在加密流量中按主机名的角色制定策略,例如拦截网站页面,同时放行公司系统需要的接口和下载。

要识别客户端协议

设备的应用识别功能

P2P、游戏和客户端软件的协议识别由设备完成。我们的数据负责网站和主机名部分,两者配合使用。

想了解过滤设备完整的处理流程,请看URL过滤是什么,如何工作;想了解整套管理系统需要哪些数据,请看上网行为管理是什么。

价格

中国域名分类库与主机名(SNI)分类库

两份数据都以文件形式交付,在您的系统里离线查询,不连接我们的服务器。按年授权,每年同价,付款到账后一个工作日内交付。

只需要域名分类时

中国域名分类库

Chinese Domain Database

9,900 美元/年

约人民币6.6万元

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
  • 离线使用:查询在贵司内部完成,不连接我们的服务器

每年同价,不限终端数量

需要区分主机名时

主机名(SNI)分类库

Host-name (SNI) Database

14,900 美元/年

约人民币10万元

  • 包含中国域名分类库的全部字段和更新
  • 主机名记录:分类加角色,例如网站、登录、接口、CDN、邮件、下载与更新
  • 离线分类引擎,用于尚未收录的主机名
  • 加密流量中只看到主机名(SNI)时也能按角色制定策略
  • 每日更新文件,每月一次全量刷新

每年同价,不限终端数量

全部产品和授权条款见价格页。数据文件不含个人信息,详见数据保护与GDPR。公司介绍见关于我们,其他问题可以通过询价与联系页面告诉我们。

询价与咨询

告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。

  • 按年度授权,每年同价
  • 付款到账后一个工作日内交付文件和查询工具
  • 可开具形式发票,可签署贵司的采购合同
  • 欧盟公司直接签约,数据在您的网络内离线使用

我们只用这些信息回复您的询价,不发送营销邮件,也不向第三方提供。

常见问题

url特征库是什么意思?

url特征库就是url库,也叫URL分类库或网址库。它把域名、主机名或网址对应到网站类别,上网行为管理设备和防火墙用它按类别放行或拦截网站。叫“特征库”是因为它和病毒库、应用识别库一样,需要按订阅定期升级。

应用识别库的原理是什么?

应用识别库保存的是各个应用的流量特征。设备跟踪每个会话,读取协议握手和报文中的固定字段,必要时再分析包长、收发节奏等流量行为,然后与特征库比对,判断这是哪个应用在通信,再按策略放行、拦截或限速。

url库和应用识别库可以互相替代吗?

不能完全替代。url库管理浏览器访问的网站,应用识别库管理不经过浏览器的客户端软件。像P2P下载工具这类连接很少有固定网址,主要靠应用识别;按类别拦截购物或招聘网站,则主要靠url库。多数设备两者同时使用。

应用识别库升级和url库升级有什么不同?

url库升级更新的是网站:新出现的域名、类别变化和停用的域名,更新越频繁越好。应用识别库升级更新的是应用的识别规则,节奏跟随应用的版本发布。订阅到期后,两者通常都不再获取更新。

HTTPS加密会影响这两种库吗?

会,但影响不同。url库按域名和主机名分类,HTTPS握手中的SNI可以直接查表,所以仍然有效,只有按完整网址路径写的规则需要解密。应用识别库在内容加密后更多依靠握手信息和流量行为,需要随应用版本及时升级。

主机名(SNI)分类库和应用识别库有什么区别?

主机名分类库是数据:每个主机名带有所属域名的类别和角色,例如网站、登录、接口或下载,任何能读到主机名的系统都可以查询。应用识别库是与设备识别引擎配套的规则,用来识别客户端协议。两者可以一起使用。

设备的订阅到期后,按网站类别写的规则还能保留吗?

规则本身通常还在,但它依靠的url库不再更新,新网站会落入未分类,类别变化也跟不上。可以把这部分规则迁到独立授权的url库,在终端软件、DNS服务器或代理上继续执行;按应用写的规则则需要新的设备或终端软件来承担。

换用新的url库时,原来的类别名称怎么对应?

先列出现有策略真正用到的类别,再把每个类别对应到新url库的一个或多个类别,整理成对照表。我们的中国域名分类库有58个网址过滤类别,一个网站可以带多个类别,多数常见策略都能直接对应。对应好之后,用员工常访问的域名核对一遍结果。

你们提供应用识别库吗?

不提供。我们提供中国域名分类库、主机名(SNI)分类库、全球域名分类库和AI工具库,都以数据文件交付。协议层面的应用识别仍由您的设备完成,我们的数据负责网站和主机名这部分。

怎样查看主机名分类库的数据?

可以在样例下载页下载1000行样例数据,查看主机名、类别和角色等字段。需要报价时,请通过本页的询价表单联系我们,我们在一个工作日内回复。