URL过滤是什么,如何工作
URL过滤,也叫网址过滤、网页过滤或网站过滤,是按网站的类别和公司自己的名单,决定员工能否访问某个网站的功能。它运行在上网行为管理设备、防火墙、DNS服务器、代理服务器或终端软件上,背后依靠一份把网站对应到类别的URL分类库。
一句话解释
URL过滤 = 识别访问的是哪个网站 + 查出它属于哪一类 + 按策略执行动作。
中国域名分类库
覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站。每个域名都有状态,已分类的域名带网址过滤分类和IAB内容分类。离线部署,每日更新。
- 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
- 国家、网站语言、中国人气分组与全球人气分组
- 每日更新文件,每月一次全量刷新
- CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
url过滤是什么意思?三种基本做法
url过滤指的是在员工访问网站之前或访问的同时,先判断这个网站该不该访问。判断的依据通常有三种,实际使用时往往组合在一起。
按类别过滤
先给网站分类,再按类别设置策略,例如拦截游戏和网盘,放行新闻和办公网站。
这是URL过滤的主体,管理成千上万个网站只需要几十条规则。
按名单过滤
白名单放行业务必需的网站,黑名单拦截个别指定的网站。
名单由公司自己维护,用来处理类别策略之外的例外情况。
按关键字匹配
网址中出现指定的字符时执行动作,例如某个子域名或路径。
适合少量特殊规则。关键字太宽会误伤正常网站,需要谨慎使用。
| 常见说法 | 侧重点 | 和URL过滤的关系 |
|---|---|---|
| URL过滤、网址过滤 | 按网址或域名管理访问 | 同一件事 |
| 网页过滤、网站过滤 | 面向使用者的叫法,强调“哪些网站能打开” | 同一件事,常见于软件说明 |
| DNS过滤 | 在域名解析这一步拦截 | URL过滤的一种实现方式,只看域名 |
| 内容过滤 | 范围更宽,可能包括文件类型和页面内容 | URL过滤是内容过滤的一部分 |
| 上网行为管理 | 整套管理系统,含认证、审计、流量控制 | URL过滤是其中的核心功能之一 |
URL过滤在哪里运行?
同样的过滤规则,可以放在网络的不同位置执行。位置不同,能看到的信息和覆盖的范围也不同。
上网行为管理设备
部署在公司网络出口,覆盖办公网里的所有设备。通常还带认证、审计和流量控制。
防火墙
防火墙url过滤把网站类别作为安全策略的一个条件,和端口、应用、用户一起匹配。
DNS服务器
员工的设备解析域名时,DNS服务器按类别返回正常结果或拦截结果。部署简单,覆盖面广。
代理服务器
浏览器的请求先到代理,代理查类别后再决定是否转发。适合需要集中控制出口的网络。
终端软件
网页过滤软件装在每台电脑上,员工在家或出差时规则依然有效。终端需要能离线查询的数据。
自研系统
运营商、安全厂商和软件公司把URL过滤做进自己的产品,分类数据通过授权集成。
URL过滤如何工作:一次访问的六个步骤
无论运行在设备、服务器还是终端上,URL过滤的处理过程基本相同。每一步都在毫秒以内完成,员工几乎感觉不到。
员工发起访问
浏览器或应用要连接一个网站,例如打开一个视频网站的首页,或者某个软件在后台检查更新。
取出主机名
设备从三个地方之一读到要访问的主机名:DNS查询里的域名,HTTP请求里的Host字段,或者HTTPS握手时ClientHello中的SNI字段。
整理成统一格式
主机名统一转成小写,去掉端口号和末尾的点,中文域名转成编码后的形式,避免同一个网站因为写法不同而查不到。
查URL分类库
先查完整的主机名,查不到就退到上一级域名,直到找到类别。一个网站可能同时有多个类别。
匹配策略
按事先定好的顺序比较:白名单、黑名单、类别规则,最后是“未分类”的默认处理。
执行动作并记录
放行、拦截、显示提醒页或只记录。访问结果写入日志,用于报表和上网行为审计。
查询时怎样逐级回退到上级域名
同一个网站常有很多主机名。分类数据通常以域名为单位,所以查询要从完整主机名一级一级往上找。
| 顺序 | 查询的名称 | 结果 |
|---|---|---|
| 1 | m.video.example.cn | 未收录这个主机名,继续向上 |
| 2 | video.example.cn | 未收录,继续向上 |
| 3 | example.cn | 找到:视频网站 |
回退时要认识多级后缀,例如 .com.cn 和 .gov.cn,不能把后缀本身当成一个网站。
策略按什么顺序匹配
白名单
业务必需的网站直接放行,不受类别影响。
黑名单
公司指定拦截的网站,不管属于哪一类。
类别规则
按网站类别执行放行、拦截、提醒或记录。
未分类网站
查不到类别时的默认动作,要事先明确。
网站都用HTTPS了,URL过滤还能看到什么?
现在大多数网站使用HTTPS加密。不做解密时,过滤设备看不到网页内容和完整网址,但在多数情况下仍能看到主机名。下表按情况列出能看到的信息。
| 情况 | 主机名 | 完整网址路径 | 说明 |
|---|---|---|---|
| HTTP明文访问 | 可见 | 可见 | 请求中的Host字段和路径都是明文 |
| HTTPS,不解密 | 可见 | 不可见 | 主机名来自握手时的SNI字段,网址路径已加密 |
| HTTPS,设备解密 | 可见 | 可见 | 需要在终端安装证书,并考虑员工隐私和性能 |
| HTTPS,启用了ECH | 部分可见 | 不可见 | ECH把SNI加密,设备通常只能看到公共入口的名称 |
| 普通DNS查询 | 可见 | 不可见 | DNS服务器能看到要解析的域名 |
| 加密DNS(DoH、DoT) | 取决于设置 | 不可见 | 查询绕过公司的DNS服务器时,DNS过滤就看不到 |
SNI字段
SNI是TLS的扩展字段,定义在RFC 6066中。浏览器在握手时用它告诉服务器要访问哪个主机名。
在TLS 1.3中,握手的大部分已经加密,但SNI仍是明文,所以过滤设备能按主机名分类。
ECH加密握手
ECH(Encrypted Client Hello)在RFC 9849中定义,可以把包含SNI的握手信息加密。
它需要浏览器和网站双方都支持。在已启用的地方,基于SNI的识别会受到影响。
加密DNS
DoH(RFC 8484)通过HTTPS发送DNS查询,DoT(RFC 7858)通过TLS发送。
如果终端直接使用外部的加密DNS,公司的DNS过滤就看不到这些查询,需要在终端或网关上统一DNS设置。
结论:按域名和主机名分类的数据,在加密流量中依然是URL过滤的基础。想进一步了解主机名和应用识别的区别,请看url特征库与应用识别库有什么区别。
url过滤配置:从需求到上线的七步
不同设备和软件的界面各不相同,但网页过滤设置的思路是一样的。按下面的顺序做,可以少走弯路。
明确目的
先写清楚为什么要过滤:提高工作效率、减少数据外泄、降低恶意网站风险,还是满足内部制度。目的决定拦截哪些类别。
选择要管理的类别
从网站类别清单中挑出需要拦截、提醒或只记录的类别。下表是企业常见的做法,可按实际情况调整。
建立白名单
列出业务必需的网站,例如供应商门户、客户系统、招聘平台的企业后台,避免被类别规则误拦。
补充黑名单
把类别规则没有覆盖、但公司明确不允许访问的个别网站加入黑名单。
按部门和时间段区分
市场部门可能需要访问社交和视频网站,其他部门只在午休时开放。策略可以按用户组和时间段设置。
设计提醒页
拦截时显示一个说明页,写明原因和申请开通的方式,比直接断开连接更容易被员工接受。
记录并定期复查
开启日志,每月查看被拦截最多的网站和“未分类”网站,及时调整白名单和策略。
| 网站类别 | 企业常见做法 | 说明 |
|---|---|---|
| 网盘与文件分享 | 拦截或只放行公司指定的网盘 | 减少文件被上传到个人网盘 |
| 游戏 | 拦截 | 与工作无关,且常有大量下载 |
| 视频与直播 | 工作时间拦截或限速,午休开放 | 占用带宽较多 |
| 购物 | 工作时间提醒或拦截 | 采购部门可加入白名单 |
| 招聘 | 只记录 | 人事部门需要正常使用 |
| 赌博、成人内容 | 始终拦截 | 多数企业制度明确禁止 |
| 恶意网站与钓鱼网站 | 始终拦截 | 需要每天更新的数据 |
| 新出现的域名 | 拦截或提醒 | 新域名常被用于钓鱼,可单独设置更严格的规则 |
| 未分类 | 只记录,定期复查 | 直接拦截容易误伤刚开通的业务网站 |
新的过滤策略怎样稳妥上线
一次性对全公司启用拦截,第一天往往会收到大量投诉。由信息部门按下面四个阶段推进,问题会在小范围内暴露并解决。
只记录,不拦截
先让新策略以“只记录”的方式运行一到两周。日志会显示哪些网站将被拦截,而员工的访问不受影响。
小范围启用
选一个部门或信息部门自己的同事先启用拦截。他们熟悉流程,遇到误拦能及时反馈。
补齐白名单
根据前两个阶段的日志和反馈,把业务必需的网站和主机加入白名单,再调整个别类别的动作。
分批推广
按部门或办公点分批启用,每批之间留出几天观察期,并提前通知员工拦截提醒页的样子和申请方式。
上线前先准备好两件事:一是申请开通网站的渠道,例如工单或邮件;二是一份写明各类别处理方式的说明,方便员工和部门负责人查阅。
怎样阅读过滤日志并调整策略
过滤日志是调整策略的依据。每月花半小时看下面几项,就能发现多数需要修改的地方。
| 日志中看到的情况 | 可能的原因 | 建议的处理 |
|---|---|---|
| 同一个网站被大量拦截 | 员工确实需要它,或者它被归到了不合适的类别 | 确认用途后加入白名单,或者只对相关部门开放 |
| 某个主机名被频繁拦截,但员工没有主动访问 | 后台程序、插件或业务系统在调用它 | 查明是哪个程序,必要时只放行这个主机名 |
| “未分类”的访问占比很高 | 分类数据覆盖不足或更新不及时 | 检查数据的更新情况,对比员工常访问的网站 |
| 拦截很少,但仍有员工访问不该访问的网站 | 网站使用了新域名,或者终端绕过了过滤的位置 | 检查终端的DNS设置,并增加终端过滤 |
| 大量访问来自少数几台电脑 | 可能是自动程序或异常软件 | 交给终端管理人员检查这些电脑 |
调整后再观察一个周期,确认拦截和投诉都在下降。日志本身也包含员工的上网记录,查看和保存的范围应符合公司的内部制度。
DNS过滤、网关过滤和终端过滤怎么选
三种方式不是互相替代的关系。很多企业在办公网用网关或DNS过滤,在笔记本电脑上再加终端过滤。
| 方式 | 能看到什么 | 优点 | 局限 | 适合 |
|---|---|---|---|---|
| DNS过滤 | 要解析的域名 | 部署快,不改网络结构,分支机构统一生效 | 看不到网址路径;终端改用外部加密DNS时会失效 | 需要快速覆盖多个办公点的企业 |
| 网关或防火墙过滤 | 主机名,解密后可见完整网址 | 集中管理,可结合认证、审计和流量控制 | 只管办公网内的流量;员工在外办公时不经过网关 | 有统一出口的总部和大型办公室 |
| 终端过滤 | 本机发起的访问 | 在家、出差和任何网络下都有效 | 需要在每台电脑上安装软件,数据要能离线查询 | 笔记本电脑多、经常移动办公的团队 |
三种方式都需要同一类数据:一份可靠的URL分类库。用同一份数据驱动不同位置的过滤,策略的口径才能保持一致。
URL过滤效果不好,常见的六个原因
过滤规则上线后出现“拦不住”或“拦错了”,多数情况可以归到下面几类。
只靠黑名单
手工维护的名单跟不上网站的变化。名单应该补充类别规则,而不是代替它。
“未分类”没人处理
未分类网站默认放行,又没人查看日志,新网站就会一直漏过去。
拦截了业务依赖的主机
拦截整个平台时,连同它的登录、接口和下载主机也被拦掉,导致公司系统或软件更新出错。
数据长期不更新
分类数据过时后,新网站落到“未分类”,改版后的网站仍沿用旧类别。
中文网站覆盖不足
以英文网站为主的数据,对.cn网站、中文后缀和境内托管的网站收录较少。
策略一刀切
所有部门同一套规则,必然有人工作受影响,最后只能频繁加白名单。
URL过滤需要什么样的分类数据
过滤软件决定“怎么拦”,分类数据决定“拦得准不准”。选择数据时,可以对照下面六项。
中文网站覆盖
包括.cn及其二级后缀、中文后缀,以及服务器位于中国境内的其他后缀网站。
每天更新
每日更新文件跟上新网站和网站的变化,定期全量刷新校准差异。
多标签分类
一个网站有多种用途时带多个类别,策略可以更精确,误拦更少。
主机名与角色
区分同一域名下的网站、登录、接口、CDN和邮件主机,拦截页面时不影响业务系统。
离线查询格式
除了CSV,还要有程序可以直接查询的格式,终端和服务器都能本地查询。
清楚的授权
续费价格稳定,可以在多个系统和全部终端上使用,不按查询次数收费。
为URL过滤准备的两份数据
中国域名分类库适合按网站类别过滤;主机名(SNI)分类库再加上主机名和角色,适合需要区分登录、接口和下载主机的策略。两者都离线使用,查询在您的网络内完成,不连接我们的服务器。
中国域名分类库
Chinese Domain Database
约人民币6.6万元
- 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
- 国家、网站语言、中国人气分组与全球人气分组
- 每日更新文件,每月一次全量刷新
- CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
- 离线使用:查询在贵司内部完成,不连接我们的服务器
每年同价,不限终端数量
需要过滤境外网站时,还可以选择全球域名分类库。全部产品和授权条款见价格页,数据处理方式见数据保护与GDPR,公司信息见关于我们。想先看字段,可以下载1000行样例数据;有具体问题,也可以通过询价与联系页面找到我们。
询价与咨询
告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。
- 按年度授权,每年同价
- 付款到账后一个工作日内交付文件和查询工具
- 可开具形式发票,可签署贵司的采购合同
- 欧盟公司直接签约,数据在您的网络内离线使用
常见问题
url过滤是什么意思?
URL过滤是按网站的类别和公司自己的名单,决定员工能否访问某个网站的功能。设备先识别访问的主机名,再查出它属于哪一类,最后按策略放行、拦截、提醒或记录。
url过滤指的是什么?和网页过滤、网站过滤有区别吗?
这几个说法指的基本是同一件事。URL过滤和网址过滤是技术上的叫法,网页过滤和网站过滤更多出现在软件说明里。DNS过滤是其中一种实现方式,只在域名解析这一步判断。
HTTPS网站能做URL过滤吗?
能。不解密时,设备看不到完整网址,但通常能从握手时的SNI字段看到主机名,所以按域名和主机名分类的数据依然有效。只有在网站和浏览器都启用了ECH加密握手时,主机名才会被隐藏。
url过滤配置一般包括哪些内容?
常见内容包括:选择要拦截、提醒或记录的网站类别,建立白名单和黑名单,按部门和时间段设置不同策略,设计拦截提醒页,以及开启日志并定期复查未分类的网站。
防火墙url过滤和DNS过滤哪个好?
两者适合的场景不同。DNS过滤部署快,适合多个办公点统一生效,但只看域名。防火墙url过滤可以结合用户、应用和认证,解密后还能看到完整网址。很多企业两者同时使用,并用同一份分类数据保持口径一致。
新的过滤策略上线前应该怎样准备?
建议先让策略以只记录的方式运行一到两周,根据日志补齐白名单,再在一个部门小范围启用拦截,最后按部门或办公点分批推广。同时准备好申请开通网站的渠道和各类别处理方式的说明。
后台程序被拦截导致软件出错,应该怎样处理?
先在过滤日志里找到被拦截的主机名,确认它属于哪个程序或业务系统,再只把这个主机名加入白名单,不必放行整个网站。能区分主机名角色的分类数据,可以从一开始就减少这类情况。
员工在家办公时,URL过滤还有效吗?
网关和办公网DNS过滤只管经过公司网络的流量。员工在家或出差时,需要在电脑上安装终端过滤软件,并使用能在本地离线查询的分类数据。
查不到类别的网站应该怎样处理?
建议先设为只记录,并定期查看这些网站。直接拦截所有未分类网站,容易影响刚开通的业务网站;直接放行又没人复查,新网站就会一直漏过。数据每天更新,未分类网站会越来越少。