中国域名分类库
覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站。每个域名都有状态,已分类的域名带网址过滤分类和IAB内容分类。离线部署,每日更新。
- 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
- 国家、网站语言、中国人气分组与全球人气分组
- 每日更新文件,每月一次全量刷新
- CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
url库、URL分类库、URL特征库:说的是同一件事吗?
不同厂商和不同文章用的名字不一样,但指的基本是同一类数据。下表列出常见叫法和您通常在哪里看到它们。
| 叫法 | 含义 | 常见出处 |
|---|---|---|
| url库 | 最口语的说法,指设备里用于网址过滤的分类数据 | 设备管理界面、运维讨论、续费通知 |
| URL分类库 | 强调“分类”:每个网址或域名都有一个或多个类别 | 产品说明、招标文件 |
| URL特征库 | 把url库和病毒库、入侵防御特征库并列,作为一种需要定期升级的“库” | 设备升级页面、授权清单 |
| 网址库、网址分类库 | 中文化的叫法,含义相同 | 软件说明、采购需求 |
| URL分类数据库 | 强调它是一份可以独立使用的数据文件或数据库 | 开发文档、数据采购 |
容易混淆的是“应用识别库”。url库按网站分类,应用识别库按流量特征识别应用程序,两者用途不同。详细对比见url特征库与应用识别库的区别。
url库里面到底有什么?
一份url库的核心只有两列:网址或域名,以及它的类别。实用的url库还会加上更多字段,方便制定更细的策略。
域名或网址
多数url库以域名为单位,例如 example.cn。有的也收录具体的主机名或网址路径。
网站类别
例如购物、视频、招聘、网盘、游戏、新闻。一个网站有多种用途时,可以带多个类别。
内容分类体系
除了网址过滤用的类别,有的url库还附带IAB内容分类,层级更细,适合内容分析和广告场景。
国家与地区
网站面向哪个国家或地区,方便区分境内网站和境外网站,分别设置策略。
人气分组
网站的访问人气分组。终端资源有限时,可以只加载热门网站,或者优先处理热门网站。
主机名与角色
更细的url库会记录域名下的主机名,以及每个主机名的用途,例如登录、接口、邮件或下载。
想看真实的字段和取值,可以直接下载1000行样例数据,用表格软件打开即可。
一条url库记录长什么样
下面是一条示意记录,字段名称和取值方式与我们的中国域名分类库一致。设备查到这条记录后,就知道这个域名属于招聘类,同时也带有商业类的标签。
| 字段 | 取值 | 说明 |
|---|---|---|
| 域名 | example.com.cn | 注册的根域名,全部小写 |
| 状态 | 已分类 | 有类别的域名,才参与按类别执行的策略 |
| 网址过滤分类 | 招聘与求职,商业与企业 | 可以有1至3个类别,第一个是主要类别 |
| IAB 3.1分类 | 职业 > 求职招聘 | 内容分类标准中的路径,适合更细的统计 |
| 国家 | 中国 | 网站所属的国家或地区 |
| 语言 | 中文(简体) | 网站首页的主要语言 |
| 中国人气分组 | 前5,000 | 在中国境内访问量排名中的档位 |
同一个域名下的 www.example.com.cn、m.example.com.cn 都会查到这条记录,因为查询时会从主机名逐级退到根域名。
url库里有哪些类别,企业通常怎样处理
我们的网址过滤分类共有58类。下表列出企业策略中最常用到的一部分,以及常见的处理方式。实际策略由贵司按自己的规定决定。
| 类别 | 包括什么 | 常见处理 |
|---|---|---|
| 购物 | 网上商店和购物网站 | 工作时间拦截或只记录 |
| 流媒体 | 在线视频、直播和音乐 | 拦截,或按部门限速 |
| 游戏 | 网络游戏、游戏资讯和电竞 | 拦截 |
| 网盘与文件托管 | 网盘、云存储和文件托管 | 拦截上传,或只允许公司指定的网盘 |
| 招聘与求职 | 招聘网站和求职平台 | 按公司规定拦截或记录 |
| 社交网络 | 社交平台和社交媒体 | 按部门放行,例如市场部 |
| 电子邮件与即时通讯 | 邮箱服务和消息工具 | 放行工作需要的工具,其余记录 |
| AI与大模型工具 | AI助手和各类AI工具 | 按公司的AI使用规定放行或限制 |
| 赌博 | 博彩、投注和相关推广页面 | 拦截 |
| 成人内容 | 以成人娱乐为主要内容的网站 | 拦截 |
| 恶意软件、钓鱼与可疑网站 | 传播恶意软件或仿冒钓鱼的网站 | 拦截 |
| 停放与待售域名 | 没有实际网站的域名 | 拦截或只记录 |
不是每个域名都有类别:域名的五种状态
一份诚实的url库,不会给每个域名硬套一个类别。很多注册了的域名并没有可以分类的网站,我们用状态把它们区分开。
有网址过滤分类和IAB分类,可以直接用于按类别的策略。
域名停放、挂牌出售或跳转到域名交易页面。很多企业把它们一并拦截。
域名已注册,但没有解析地址或网站没有响应。
网站有响应,但只有默认页、建设中页面、空白页或仅有登录页,没有可以分类的内容。
近期新出现的域名,网页检测还没有完成,可以按新域名的策略处理。
状态让您分得清“没有网站”和“没有被收录”。前者不需要类别,后者才是url库要补的空白。
url库怎样工作:从一次网页访问说起
员工在浏览器里打开一个网站时,过滤设备或软件会在很短的时间内完成下面五步。
发起访问
浏览器请求一个网址,例如某个视频网站的首页。
取出域名
设备从DNS查询、HTTP请求头或HTTPS握手中的SNI里读到主机名。
查url库
先查完整主机名,查不到再退到上一级域名,直到找到对应的类别。
执行策略
按类别放行、拦截、限速或只记录,策略可以按部门和时间段区分。
写入日志
记录访问的类别和结果,用于统计报表和上网行为审计。
加密网站怎么办?访问HTTPS网站时,不解密的设备通常看不到完整网址,只能看到主机名。所以按域名和主机名分类的url库,在加密流量中同样有效。
查不到怎么办?任何url库都会遇到未收录的网站。策略里要事先定好“未分类”的处理方式:放行、拦截,或者只记录后再处理。
想了解完整的过滤流程和常见配置,请看URL过滤是什么,如何工作。
url库用在哪些系统里?
url库不只属于某一种设备。只要系统需要回答“这个网站是哪一类”,就会用到它。
上网行为管理设备
部署在公司出口,按类别管理全体员工的上网行为,并生成统计报表。url库是它最核心的数据之一。
防火墙
下一代防火墙通常带有URL过滤功能,在安全策略里按网站类别放行或拦截。
DNS服务器
在域名解析这一步按类别拦截,不需要改动网络结构,办公网和分支机构都能统一生效。
终端软件
装在每台电脑上,员工离开办公室、在家或出差时,过滤规则仍然有效。终端需要能离线查询的数据格式。
代理与网关
代理服务器和安全网关在转发请求前先查类别,再决定是否放行。
自研系统与产品
安全厂商、运营商和软件公司把url库集成进自己的产品,用于过滤、审计、报表或内容分析。
为什么url库必须经常更新?
互联网每天都在变化。一份不更新的url库,覆盖面和准确度会一天天下降。
每天都有新域名
新网站上线时,旧版url库里没有它们,只能落到“未分类”。
网站会改版换内容
同一个域名,去年是企业官网,今年可能变成了购物或游戏网站。
域名会过期和停放
过期的域名常被转卖或停放,内容和用途都可能跟原来完全不同。
业务需要会变化
公司新开放或新禁止某类网站时,需要更细的类别来配合。
| 更新方式 | 内容 | 适合 |
|---|---|---|
| 每日增量更新 | 新增、变化和删除的记录 | 需要及时覆盖新网站的过滤系统 |
| 定期全量刷新 | 完整的一份新数据,替换旧数据 | 校准长期累积的差异 |
| 新出现域名清单 | 近期新出现的域名,单独成表 | 对新域名采取更严格的策略 |
url库到期、升级和覆盖不足:遇到时怎么办
很多人搜索“url库”,是因为设备提示升级、授权到期,或者发现某些网站拦不住。下面是最常见的四种情况。
升级授权到期
设备内置的url库一般按年订阅。订阅到期后,设备通常不能再获取新的升级,已有数据会逐渐过时。
如果设备即将停用,或者只需要分类数据本身,可以考虑独立授权的URL分类库。
某些网站拦不住
常见原因是网站未收录、类别不准,或者网站用了新的域名。
先查这个域名在url库中的类别,再决定是补充黑名单,还是换一份覆盖更全的数据。
正常网站被拦截
一个网站被归到了不合适的类别,或者它同时有多种用途。
这时可以把它加入白名单。多标签的url库能让策略更精确,减少这类情况。
中文网站覆盖不足
有些url库以英文网站为主,对.cn网站、中文后缀和境内托管的网站收录较少。
评估时,用贵司员工常访问的中文网站做抽查,结果最直观。
设备自带的url库与独立的URL分类库
url库可以是设备的一部分,也可以是一份独立授权的数据。两种方式各有适合的场景。
设备自带的url库
- 开箱即用,和设备的策略界面集成在一起
- 由设备厂商负责升级
- 只能在这台设备上使用,不能导出
- 设备停用或订阅到期后,数据也随之停止更新
- 终端软件、DNS服务器或自研系统无法直接使用
独立授权的URL分类库
- 以文件形式交付,可用于终端、防火墙、DNS服务器、代理和自研系统
- 离线查询,在您的网络内完成,不依赖外部接口
- 可以同时用在多个系统上,统一分类口径
- 按年授权,到期续订即可继续获得每日更新
- 需要把数据接入您自己的系统,我们提供查询格式和参考代码
怎样判断一份url库好不好
采购或更换url库时,可以按下面八点逐项比较。前四点决定过滤效果,后四点决定能不能顺利用起来。
比较时尽量用贵司自己的访问记录做参照:取员工最常访问的几百个域名,看每份url库能给出多少个类别,类别是否合理。
覆盖面
员工常访问的网站是否都有类别,包括.cn、中文后缀和境内托管的网站。
准确度
随机抽查一批熟悉的网站,看类别是否符合常识。
分类粒度
类别是否够细,能否区分网盘与普通下载、招聘与普通企业网站。
更新频率
是否每天更新,新网站多久能进入url库。
多标签
一个网站有多种用途时,能否同时带多个类别。
主机名级别
能否区分同一域名下的网站、登录、接口和邮件主机。
交付格式
是否提供CSV以及适合程序直接查询的格式,查询速度能否满足终端。
授权条款
续费价格是否稳定,能否在多个系统和全部终端上使用。
url库通常是上网行为管理系统的一部分。想了解整套系统需要哪些数据,请看上网行为管理是什么,需要哪些数据。
中国域名分类库与主机名(SNI)分类库
两份数据都以文件形式交付,在您的系统里离线查询。按年授权,每年同价,付款到账后一个工作日内交付。
中国域名分类库
Chinese Domain Database
约人民币6.6万元
- 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
- 国家、网站语言、中国人气分组与全球人气分组
- 每日更新文件,每月一次全量刷新
- CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
- 离线使用:查询在贵司内部完成,不连接我们的服务器
每年同价,不限终端数量
询价与咨询
告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。
- 按年度授权,每年同价
- 付款到账后一个工作日内交付文件和查询工具
- 可开具形式发票,可签署贵司的采购合同
- 欧盟公司直接签约,数据在您的网络内离线使用
常见问题
url库是什么意思?
url库是URL分类库的简称,也叫URL特征库或网址库。它是一份把网址和域名对应到网站类别的数据,上网行为管理设备、防火墙和终端软件用它来判断网站属于哪一类,再按策略放行或拦截。
url库和病毒库是一回事吗?
不是。病毒库用来识别恶意文件,url库用来给网站分类。两者都需要定期升级,所以在设备的升级页面里常常并列出现。
url库多久需要更新一次?
建议每天更新。每天都有新网站出现,也有网站改变内容或停用,更新越及时,未分类和分错类的网站就越少。我们的中国域名分类库提供每日更新文件和每月一次全量刷新。
设备的url库到期了,还能继续用吗?
这取决于设备厂商的规定。多数设备在订阅到期后不再获取新的升级,已有的数据会逐渐过时。如果只需要分类数据本身,可以改用独立授权的URL分类库,在终端、DNS服务器或其他系统上使用。
url库能识别HTTPS网站吗?
能识别到域名级别。访问HTTPS网站时,不解密的设备通常看不到完整网址,但能看到主机名,按域名和主机名分类的url库在这种情况下同样适用。
url库和黑名单、白名单是什么关系?
黑名单和白名单是公司自己维护的例外清单,url库是按类别管理大量网站的基础数据。常见做法是先用url库按类别设定策略,再用白名单放行业务必需的网站,用黑名单补充个别需要拦截的网站。
终端软件能直接使用url库吗?
可以,前提是url库提供适合程序查询的格式。我们的中国域名分类库除了CSV,还提供SQLite、LMDB和内存映射查询表,附C语言参考代码,查询在终端本地完成,不需要连接我们的服务器。
新出现的网站会自动进入url库吗?
会随更新进入。我们的中国域名分类库每天提供更新文件,近期新出现、尚未完成检测的域名标记为“尚未检测”,贵司可以对这类域名单独设定更严格的策略,等它们有了类别再按类别处理。
一个网站可以同时属于几个类别?
在我们的数据中,一个域名可以有1至3个网址过滤类别,第一个是主要类别。例如一个招聘平台同时带有商业类标签,策略可以按任何一个类别匹配。
怎样查看你们url库的数据?
可以在样例下载页下载1000行样例数据,里面有真实的域名、网址过滤类别、IAB内容分类、国家和人气分组字段。需要报价时,请通过本页的询价表单联系我们。