跳到正文

url库是什么意思?

url库就是URL分类库,也有人叫它URL特征库、网址库或网址分类库。它是一份把网址和域名对应到网站类别的数据,例如“购物”“视频”“招聘”“网盘”。上网行为管理设备、防火墙、DNS服务器和终端软件查这份数据,才知道一个网站属于哪一类,再按公司的策略放行、拦截或记录。

一句话解释

url库 = 网址或域名 + 网站类别。设备按类别执行策略,所以url库的覆盖面、准确度和更新速度,直接决定网址过滤的效果。

需要一份可以离线使用的url库?

中国域名分类库

覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站。每个域名都有状态,已分类的域名带网址过滤分类和IAB内容分类。离线部署,每日更新。

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
9,900 美元/年约人民币6.6万元,每年同价,不限终端数量
查看价格与授权提交询价

下载1000行样例数据

名称

url库、URL分类库、URL特征库:说的是同一件事吗?

不同厂商和不同文章用的名字不一样,但指的基本是同一类数据。下表列出常见叫法和您通常在哪里看到它们。

叫法含义常见出处
url库最口语的说法,指设备里用于网址过滤的分类数据设备管理界面、运维讨论、续费通知
URL分类库强调“分类”:每个网址或域名都有一个或多个类别产品说明、招标文件
URL特征库把url库和病毒库、入侵防御特征库并列,作为一种需要定期升级的“库”设备升级页面、授权清单
网址库、网址分类库中文化的叫法,含义相同软件说明、采购需求
URL分类数据库强调它是一份可以独立使用的数据文件或数据库开发文档、数据采购

容易混淆的是“应用识别库”。url库按网站分类,应用识别库按流量特征识别应用程序,两者用途不同。详细对比见url特征库与应用识别库的区别。

内容

url库里面到底有什么?

一份url库的核心只有两列:网址或域名,以及它的类别。实用的url库还会加上更多字段,方便制定更细的策略。

域名或网址

多数url库以域名为单位,例如 example.cn。有的也收录具体的主机名或网址路径。

网站类别

例如购物、视频、招聘、网盘、游戏、新闻。一个网站有多种用途时,可以带多个类别。

内容分类体系

除了网址过滤用的类别,有的url库还附带IAB内容分类,层级更细,适合内容分析和广告场景。

国家与地区

网站面向哪个国家或地区,方便区分境内网站和境外网站,分别设置策略。

人气分组

网站的访问人气分组。终端资源有限时,可以只加载热门网站,或者优先处理热门网站。

主机名与角色

更细的url库会记录域名下的主机名,以及每个主机名的用途,例如登录、接口、邮件或下载。

想看真实的字段和取值,可以直接下载1000行样例数据,用表格软件打开即可。

示例

一条url库记录长什么样

下面是一条示意记录,字段名称和取值方式与我们的中国域名分类库一致。设备查到这条记录后,就知道这个域名属于招聘类,同时也带有商业类的标签。

字段取值说明
域名example.com.cn注册的根域名,全部小写
状态已分类有类别的域名,才参与按类别执行的策略
网址过滤分类招聘与求职,商业与企业可以有1至3个类别,第一个是主要类别
IAB 3.1分类职业 > 求职招聘内容分类标准中的路径,适合更细的统计
国家中国网站所属的国家或地区
语言中文(简体)网站首页的主要语言
中国人气分组前5,000在中国境内访问量排名中的档位

同一个域名下的 www.example.com.cn、m.example.com.cn 都会查到这条记录,因为查询时会从主机名逐级退到根域名。

类别

url库里有哪些类别,企业通常怎样处理

我们的网址过滤分类共有58类。下表列出企业策略中最常用到的一部分,以及常见的处理方式。实际策略由贵司按自己的规定决定。

类别包括什么常见处理
购物网上商店和购物网站工作时间拦截或只记录
流媒体在线视频、直播和音乐拦截,或按部门限速
游戏网络游戏、游戏资讯和电竞拦截
网盘与文件托管网盘、云存储和文件托管拦截上传,或只允许公司指定的网盘
招聘与求职招聘网站和求职平台按公司规定拦截或记录
社交网络社交平台和社交媒体按部门放行,例如市场部
电子邮件与即时通讯邮箱服务和消息工具放行工作需要的工具,其余记录
AI与大模型工具AI助手和各类AI工具按公司的AI使用规定放行或限制
赌博博彩、投注和相关推广页面拦截
成人内容以成人娱乐为主要内容的网站拦截
恶意软件、钓鱼与可疑网站传播恶意软件或仿冒钓鱼的网站拦截
停放与待售域名没有实际网站的域名拦截或只记录
状态

不是每个域名都有类别:域名的五种状态

一份诚实的url库,不会给每个域名硬套一个类别。很多注册了的域名并没有可以分类的网站,我们用状态把它们区分开。

已分类

有网址过滤分类和IAB分类,可以直接用于按类别的策略。

停放或待售

域名停放、挂牌出售或跳转到域名交易页面。很多企业把它们一并拦截。

无网站

域名已注册,但没有解析地址或网站没有响应。

无内容

网站有响应,但只有默认页、建设中页面、空白页或仅有登录页,没有可以分类的内容。

尚未检测

近期新出现的域名,网页检测还没有完成,可以按新域名的策略处理。

状态让您分得清“没有网站”和“没有被收录”。前者不需要类别,后者才是url库要补的空白。

原理

url库怎样工作:从一次网页访问说起

员工在浏览器里打开一个网站时,过滤设备或软件会在很短的时间内完成下面五步。

第1步

发起访问

浏览器请求一个网址,例如某个视频网站的首页。

第2步

取出域名

设备从DNS查询、HTTP请求头或HTTPS握手中的SNI里读到主机名。

第3步

查url库

先查完整主机名,查不到再退到上一级域名,直到找到对应的类别。

第4步

执行策略

按类别放行、拦截、限速或只记录,策略可以按部门和时间段区分。

第5步

写入日志

记录访问的类别和结果,用于统计报表和上网行为审计。

加密网站怎么办?访问HTTPS网站时,不解密的设备通常看不到完整网址,只能看到主机名。所以按域名和主机名分类的url库,在加密流量中同样有效。

查不到怎么办?任何url库都会遇到未收录的网站。策略里要事先定好“未分类”的处理方式:放行、拦截,或者只记录后再处理。

想了解完整的过滤流程和常见配置,请看URL过滤是什么,如何工作。

使用场景

url库用在哪些系统里?

url库不只属于某一种设备。只要系统需要回答“这个网站是哪一类”,就会用到它。

上网行为管理设备

部署在公司出口,按类别管理全体员工的上网行为,并生成统计报表。url库是它最核心的数据之一。

防火墙

下一代防火墙通常带有URL过滤功能,在安全策略里按网站类别放行或拦截。

DNS服务器

在域名解析这一步按类别拦截,不需要改动网络结构,办公网和分支机构都能统一生效。

终端软件

装在每台电脑上,员工离开办公室、在家或出差时,过滤规则仍然有效。终端需要能离线查询的数据格式。

代理与网关

代理服务器和安全网关在转发请求前先查类别,再决定是否放行。

自研系统与产品

安全厂商、运营商和软件公司把url库集成进自己的产品,用于过滤、审计、报表或内容分析。

更新

为什么url库必须经常更新?

互联网每天都在变化。一份不更新的url库,覆盖面和准确度会一天天下降。

每天都有新域名

新网站上线时,旧版url库里没有它们,只能落到“未分类”。

网站会改版换内容

同一个域名,去年是企业官网,今年可能变成了购物或游戏网站。

域名会过期和停放

过期的域名常被转卖或停放,内容和用途都可能跟原来完全不同。

业务需要会变化

公司新开放或新禁止某类网站时,需要更细的类别来配合。

更新方式内容适合
每日增量更新新增、变化和删除的记录需要及时覆盖新网站的过滤系统
定期全量刷新完整的一份新数据,替换旧数据校准长期累积的差异
新出现域名清单近期新出现的域名,单独成表对新域名采取更严格的策略
常见情况

url库到期、升级和覆盖不足:遇到时怎么办

很多人搜索“url库”,是因为设备提示升级、授权到期,或者发现某些网站拦不住。下面是最常见的四种情况。

升级授权到期

设备内置的url库一般按年订阅。订阅到期后,设备通常不能再获取新的升级,已有数据会逐渐过时。

如果设备即将停用,或者只需要分类数据本身,可以考虑独立授权的URL分类库。

某些网站拦不住

常见原因是网站未收录、类别不准,或者网站用了新的域名。

先查这个域名在url库中的类别,再决定是补充黑名单,还是换一份覆盖更全的数据。

正常网站被拦截

一个网站被归到了不合适的类别,或者它同时有多种用途。

这时可以把它加入白名单。多标签的url库能让策略更精确,减少这类情况。

中文网站覆盖不足

有些url库以英文网站为主,对.cn网站、中文后缀和境内托管的网站收录较少。

评估时,用贵司员工常访问的中文网站做抽查,结果最直观。

对比

设备自带的url库与独立的URL分类库

url库可以是设备的一部分,也可以是一份独立授权的数据。两种方式各有适合的场景。

设备自带的url库

  • 开箱即用,和设备的策略界面集成在一起
  • 由设备厂商负责升级
  • 只能在这台设备上使用,不能导出
  • 设备停用或订阅到期后,数据也随之停止更新
  • 终端软件、DNS服务器或自研系统无法直接使用

独立授权的URL分类库

  • 以文件形式交付,可用于终端、防火墙、DNS服务器、代理和自研系统
  • 离线查询,在您的网络内完成,不依赖外部接口
  • 可以同时用在多个系统上,统一分类口径
  • 按年授权,到期续订即可继续获得每日更新
  • 需要把数据接入您自己的系统,我们提供查询格式和参考代码
选择

怎样判断一份url库好不好

采购或更换url库时,可以按下面八点逐项比较。前四点决定过滤效果,后四点决定能不能顺利用起来。

比较时尽量用贵司自己的访问记录做参照:取员工最常访问的几百个域名,看每份url库能给出多少个类别,类别是否合理。

1

覆盖面

员工常访问的网站是否都有类别,包括.cn、中文后缀和境内托管的网站。

2

准确度

随机抽查一批熟悉的网站,看类别是否符合常识。

3

分类粒度

类别是否够细,能否区分网盘与普通下载、招聘与普通企业网站。

4

更新频率

是否每天更新,新网站多久能进入url库。

5

多标签

一个网站有多种用途时,能否同时带多个类别。

6

主机名级别

能否区分同一域名下的网站、登录、接口和邮件主机。

7

交付格式

是否提供CSV以及适合程序直接查询的格式,查询速度能否满足终端。

8

授权条款

续费价格是否稳定,能否在多个系统和全部终端上使用。

url库通常是上网行为管理系统的一部分。想了解整套系统需要哪些数据,请看上网行为管理是什么,需要哪些数据。

我们的url库

中国域名分类库与主机名(SNI)分类库

两份数据都以文件形式交付,在您的系统里离线查询。按年授权,每年同价,付款到账后一个工作日内交付。

只需要域名分类时

中国域名分类库

Chinese Domain Database

9,900 美元/年

约人民币6.6万元

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
  • 离线使用:查询在贵司内部完成,不连接我们的服务器

每年同价,不限终端数量

需要区分主机名时

主机名(SNI)分类库

Host-name (SNI) Database

14,900 美元/年

约人民币10万元

  • 包含中国域名分类库的全部字段和更新
  • 主机名记录:分类加角色,例如网站、登录、接口、CDN、邮件、下载与更新
  • 离线分类引擎,用于尚未收录的主机名
  • 加密流量中只看到主机名(SNI)时也能按角色制定策略
  • 每日更新文件,每月一次全量刷新

每年同价,不限终端数量

所有产品和授权条款见价格页。关于我们公司,请看关于我们。

询价与咨询

告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。

  • 按年度授权,每年同价
  • 付款到账后一个工作日内交付文件和查询工具
  • 可开具形式发票,可签署贵司的采购合同
  • 欧盟公司直接签约,数据在您的网络内离线使用

我们只用这些信息回复您的询价,不发送营销邮件,也不向第三方提供。

常见问题

url库是什么意思?

url库是URL分类库的简称,也叫URL特征库或网址库。它是一份把网址和域名对应到网站类别的数据,上网行为管理设备、防火墙和终端软件用它来判断网站属于哪一类,再按策略放行或拦截。

url库和病毒库是一回事吗?

不是。病毒库用来识别恶意文件,url库用来给网站分类。两者都需要定期升级,所以在设备的升级页面里常常并列出现。

url库多久需要更新一次?

建议每天更新。每天都有新网站出现,也有网站改变内容或停用,更新越及时,未分类和分错类的网站就越少。我们的中国域名分类库提供每日更新文件和每月一次全量刷新。

设备的url库到期了,还能继续用吗?

这取决于设备厂商的规定。多数设备在订阅到期后不再获取新的升级,已有的数据会逐渐过时。如果只需要分类数据本身,可以改用独立授权的URL分类库,在终端、DNS服务器或其他系统上使用。

url库能识别HTTPS网站吗?

能识别到域名级别。访问HTTPS网站时,不解密的设备通常看不到完整网址,但能看到主机名,按域名和主机名分类的url库在这种情况下同样适用。

url库和黑名单、白名单是什么关系?

黑名单和白名单是公司自己维护的例外清单,url库是按类别管理大量网站的基础数据。常见做法是先用url库按类别设定策略,再用白名单放行业务必需的网站,用黑名单补充个别需要拦截的网站。

终端软件能直接使用url库吗?

可以,前提是url库提供适合程序查询的格式。我们的中国域名分类库除了CSV,还提供SQLite、LMDB和内存映射查询表,附C语言参考代码,查询在终端本地完成,不需要连接我们的服务器。

新出现的网站会自动进入url库吗?

会随更新进入。我们的中国域名分类库每天提供更新文件,近期新出现、尚未完成检测的域名标记为“尚未检测”,贵司可以对这类域名单独设定更严格的策略,等它们有了类别再按类别处理。

一个网站可以同时属于几个类别?

在我们的数据中,一个域名可以有1至3个网址过滤类别,第一个是主要类别。例如一个招聘平台同时带有商业类标签,策略可以按任何一个类别匹配。

怎样查看你们url库的数据?

可以在样例下载页下载1000行样例数据,里面有真实的域名、网址过滤类别、IAB内容分类、国家和人气分组字段。需要报价时,请通过本页的询价表单联系我们。