跳到正文

URL过滤是什么,如何工作

URL过滤,也叫网址过滤、网页过滤或网站过滤,是按网站的类别和公司自己的名单,决定员工能否访问某个网站的功能。它运行在上网行为管理设备、防火墙、DNS服务器、代理服务器或终端软件上,背后依靠一份把网站对应到类别的URL分类库。

一句话解释

URL过滤 = 识别访问的是哪个网站 + 查出它属于哪一类 + 按策略执行动作。

识别主机名
查询网站类别
执行放行或拦截
URL过滤需要一份覆盖中文网站的分类数据

中国域名分类库

覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站。每个域名都有状态,已分类的域名带网址过滤分类和IAB内容分类。离线部署,每日更新。

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
9,900 美元/年约人民币6.6万元,每年同价,不限终端数量
查看价格与授权提交询价

下载1000行样例数据

定义

url过滤是什么意思?三种基本做法

url过滤指的是在员工访问网站之前或访问的同时,先判断这个网站该不该访问。判断的依据通常有三种,实际使用时往往组合在一起。

按类别过滤

先给网站分类,再按类别设置策略,例如拦截游戏和网盘,放行新闻和办公网站。

这是URL过滤的主体,管理成千上万个网站只需要几十条规则。

按名单过滤

白名单放行业务必需的网站,黑名单拦截个别指定的网站。

名单由公司自己维护,用来处理类别策略之外的例外情况。

按关键字匹配

网址中出现指定的字符时执行动作,例如某个子域名或路径。

适合少量特殊规则。关键字太宽会误伤正常网站,需要谨慎使用。

常见说法侧重点和URL过滤的关系
URL过滤、网址过滤按网址或域名管理访问同一件事
网页过滤、网站过滤面向使用者的叫法,强调“哪些网站能打开”同一件事,常见于软件说明
DNS过滤在域名解析这一步拦截URL过滤的一种实现方式,只看域名
内容过滤范围更宽,可能包括文件类型和页面内容URL过滤是内容过滤的一部分
上网行为管理整套管理系统,含认证、审计、流量控制URL过滤是其中的核心功能之一
运行位置

URL过滤在哪里运行?

同样的过滤规则,可以放在网络的不同位置执行。位置不同,能看到的信息和覆盖的范围也不同。

上网行为管理设备

部署在公司网络出口,覆盖办公网里的所有设备。通常还带认证、审计和流量控制。

防火墙

防火墙url过滤把网站类别作为安全策略的一个条件,和端口、应用、用户一起匹配。

DNS服务器

员工的设备解析域名时,DNS服务器按类别返回正常结果或拦截结果。部署简单,覆盖面广。

代理服务器

浏览器的请求先到代理,代理查类别后再决定是否转发。适合需要集中控制出口的网络。

终端软件

网页过滤软件装在每台电脑上,员工在家或出差时规则依然有效。终端需要能离线查询的数据。

自研系统

运营商、安全厂商和软件公司把URL过滤做进自己的产品,分类数据通过授权集成。

原理

URL过滤如何工作:一次访问的六个步骤

无论运行在设备、服务器还是终端上,URL过滤的处理过程基本相同。每一步都在毫秒以内完成,员工几乎感觉不到。

  1. 员工发起访问

    浏览器或应用要连接一个网站,例如打开一个视频网站的首页,或者某个软件在后台检查更新。

  2. 取出主机名

    设备从三个地方之一读到要访问的主机名:DNS查询里的域名,HTTP请求里的Host字段,或者HTTPS握手时ClientHello中的SNI字段。

  3. 整理成统一格式

    主机名统一转成小写,去掉端口号和末尾的点,中文域名转成编码后的形式,避免同一个网站因为写法不同而查不到。

  4. 查URL分类库

    先查完整的主机名,查不到就退到上一级域名,直到找到类别。一个网站可能同时有多个类别。

  5. 匹配策略

    按事先定好的顺序比较:白名单、黑名单、类别规则,最后是“未分类”的默认处理。

  6. 执行动作并记录

    放行、拦截、显示提醒页或只记录。访问结果写入日志,用于报表和上网行为审计。

查询时怎样逐级回退到上级域名

同一个网站常有很多主机名。分类数据通常以域名为单位,所以查询要从完整主机名一级一级往上找。

顺序查询的名称结果
1m.video.example.cn未收录这个主机名,继续向上
2video.example.cn未收录,继续向上
3example.cn找到:视频网站

回退时要认识多级后缀,例如 .com.cn 和 .gov.cn,不能把后缀本身当成一个网站。

策略按什么顺序匹配

先

白名单

业务必需的网站直接放行,不受类别影响。

再

黑名单

公司指定拦截的网站,不管属于哪一类。

然后

类别规则

按网站类别执行放行、拦截、提醒或记录。

最后

未分类网站

查不到类别时的默认动作,要事先明确。

HTTPS

网站都用HTTPS了,URL过滤还能看到什么?

现在大多数网站使用HTTPS加密。不做解密时,过滤设备看不到网页内容和完整网址,但在多数情况下仍能看到主机名。下表按情况列出能看到的信息。

情况主机名完整网址路径说明
HTTP明文访问可见可见请求中的Host字段和路径都是明文
HTTPS,不解密可见不可见主机名来自握手时的SNI字段,网址路径已加密
HTTPS,设备解密可见可见需要在终端安装证书,并考虑员工隐私和性能
HTTPS,启用了ECH部分可见不可见ECH把SNI加密,设备通常只能看到公共入口的名称
普通DNS查询可见不可见DNS服务器能看到要解析的域名
加密DNS(DoH、DoT)取决于设置不可见查询绕过公司的DNS服务器时,DNS过滤就看不到

SNI字段

SNI是TLS的扩展字段,定义在RFC 6066中。浏览器在握手时用它告诉服务器要访问哪个主机名。

在TLS 1.3中,握手的大部分已经加密,但SNI仍是明文,所以过滤设备能按主机名分类。

ECH加密握手

ECH(Encrypted Client Hello)在RFC 9849中定义,可以把包含SNI的握手信息加密。

它需要浏览器和网站双方都支持。在已启用的地方,基于SNI的识别会受到影响。

加密DNS

DoH(RFC 8484)通过HTTPS发送DNS查询,DoT(RFC 7858)通过TLS发送。

如果终端直接使用外部的加密DNS,公司的DNS过滤就看不到这些查询,需要在终端或网关上统一DNS设置。

结论:按域名和主机名分类的数据,在加密流量中依然是URL过滤的基础。想进一步了解主机名和应用识别的区别,请看url特征库与应用识别库有什么区别。

配置

url过滤配置:从需求到上线的七步

不同设备和软件的界面各不相同,但网页过滤设置的思路是一样的。按下面的顺序做,可以少走弯路。

  1. 明确目的

    先写清楚为什么要过滤:提高工作效率、减少数据外泄、降低恶意网站风险,还是满足内部制度。目的决定拦截哪些类别。

  2. 选择要管理的类别

    从网站类别清单中挑出需要拦截、提醒或只记录的类别。下表是企业常见的做法,可按实际情况调整。

  3. 建立白名单

    列出业务必需的网站,例如供应商门户、客户系统、招聘平台的企业后台,避免被类别规则误拦。

  4. 补充黑名单

    把类别规则没有覆盖、但公司明确不允许访问的个别网站加入黑名单。

  5. 按部门和时间段区分

    市场部门可能需要访问社交和视频网站,其他部门只在午休时开放。策略可以按用户组和时间段设置。

  6. 设计提醒页

    拦截时显示一个说明页,写明原因和申请开通的方式,比直接断开连接更容易被员工接受。

  7. 记录并定期复查

    开启日志,每月查看被拦截最多的网站和“未分类”网站,及时调整白名单和策略。

网站类别企业常见做法说明
网盘与文件分享拦截或只放行公司指定的网盘减少文件被上传到个人网盘
游戏拦截与工作无关,且常有大量下载
视频与直播工作时间拦截或限速,午休开放占用带宽较多
购物工作时间提醒或拦截采购部门可加入白名单
招聘只记录人事部门需要正常使用
赌博、成人内容始终拦截多数企业制度明确禁止
恶意网站与钓鱼网站始终拦截需要每天更新的数据
新出现的域名拦截或提醒新域名常被用于钓鱼,可单独设置更严格的规则
未分类只记录,定期复查直接拦截容易误伤刚开通的业务网站
上线前

新的过滤策略怎样稳妥上线

一次性对全公司启用拦截,第一天往往会收到大量投诉。由信息部门按下面四个阶段推进,问题会在小范围内暴露并解决。

  1. 只记录,不拦截

    先让新策略以“只记录”的方式运行一到两周。日志会显示哪些网站将被拦截,而员工的访问不受影响。

  2. 小范围启用

    选一个部门或信息部门自己的同事先启用拦截。他们熟悉流程,遇到误拦能及时反馈。

  3. 补齐白名单

    根据前两个阶段的日志和反馈,把业务必需的网站和主机加入白名单,再调整个别类别的动作。

  4. 分批推广

    按部门或办公点分批启用,每批之间留出几天观察期,并提前通知员工拦截提醒页的样子和申请方式。

上线前先准备好两件事:一是申请开通网站的渠道,例如工单或邮件;二是一份写明各类别处理方式的说明,方便员工和部门负责人查阅。

日志

怎样阅读过滤日志并调整策略

过滤日志是调整策略的依据。每月花半小时看下面几项,就能发现多数需要修改的地方。

日志中看到的情况可能的原因建议的处理
同一个网站被大量拦截员工确实需要它,或者它被归到了不合适的类别确认用途后加入白名单,或者只对相关部门开放
某个主机名被频繁拦截,但员工没有主动访问后台程序、插件或业务系统在调用它查明是哪个程序,必要时只放行这个主机名
“未分类”的访问占比很高分类数据覆盖不足或更新不及时检查数据的更新情况,对比员工常访问的网站
拦截很少,但仍有员工访问不该访问的网站网站使用了新域名,或者终端绕过了过滤的位置检查终端的DNS设置,并增加终端过滤
大量访问来自少数几台电脑可能是自动程序或异常软件交给终端管理人员检查这些电脑

调整后再观察一个周期,确认拦截和投诉都在下降。日志本身也包含员工的上网记录,查看和保存的范围应符合公司的内部制度。

对比

DNS过滤、网关过滤和终端过滤怎么选

三种方式不是互相替代的关系。很多企业在办公网用网关或DNS过滤,在笔记本电脑上再加终端过滤。

方式能看到什么优点局限适合
DNS过滤要解析的域名部署快,不改网络结构,分支机构统一生效看不到网址路径;终端改用外部加密DNS时会失效需要快速覆盖多个办公点的企业
网关或防火墙过滤主机名,解密后可见完整网址集中管理,可结合认证、审计和流量控制只管办公网内的流量;员工在外办公时不经过网关有统一出口的总部和大型办公室
终端过滤本机发起的访问在家、出差和任何网络下都有效需要在每台电脑上安装软件,数据要能离线查询笔记本电脑多、经常移动办公的团队

三种方式都需要同一类数据:一份可靠的URL分类库。用同一份数据驱动不同位置的过滤,策略的口径才能保持一致。

常见错误

URL过滤效果不好,常见的六个原因

过滤规则上线后出现“拦不住”或“拦错了”,多数情况可以归到下面几类。

只靠黑名单

手工维护的名单跟不上网站的变化。名单应该补充类别规则,而不是代替它。

“未分类”没人处理

未分类网站默认放行,又没人查看日志,新网站就会一直漏过去。

拦截了业务依赖的主机

拦截整个平台时,连同它的登录、接口和下载主机也被拦掉,导致公司系统或软件更新出错。

数据长期不更新

分类数据过时后,新网站落到“未分类”,改版后的网站仍沿用旧类别。

中文网站覆盖不足

以英文网站为主的数据,对.cn网站、中文后缀和境内托管的网站收录较少。

策略一刀切

所有部门同一套规则,必然有人工作受影响,最后只能频繁加白名单。

所需数据

URL过滤需要什么样的分类数据

过滤软件决定“怎么拦”,分类数据决定“拦得准不准”。选择数据时,可以对照下面六项。

中文网站覆盖

包括.cn及其二级后缀、中文后缀,以及服务器位于中国境内的其他后缀网站。

每天更新

每日更新文件跟上新网站和网站的变化,定期全量刷新校准差异。

多标签分类

一个网站有多种用途时带多个类别,策略可以更精确,误拦更少。

主机名与角色

区分同一域名下的网站、登录、接口、CDN和邮件主机,拦截页面时不影响业务系统。

离线查询格式

除了CSV,还要有程序可以直接查询的格式,终端和服务器都能本地查询。

清楚的授权

续费价格稳定,可以在多个系统和全部终端上使用,不按查询次数收费。

关于分类数据本身的含义和更新方式,请看url库是什么意思。URL过滤在整套管理系统里的位置,请看上网行为管理是什么。

我们的数据

为URL过滤准备的两份数据

中国域名分类库适合按网站类别过滤;主机名(SNI)分类库再加上主机名和角色,适合需要区分登录、接口和下载主机的策略。两者都离线使用,查询在您的网络内完成,不连接我们的服务器。

按网站类别过滤

中国域名分类库

Chinese Domain Database

9,900 美元/年

约人民币6.6万元

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
  • 离线使用:查询在贵司内部完成,不连接我们的服务器

每年同价,不限终端数量

需要区分主机名时

主机名(SNI)分类库

Host-name (SNI) Database

14,900 美元/年

约人民币10万元

  • 包含中国域名分类库的全部字段和更新
  • 主机名记录:分类加角色,例如网站、登录、接口、CDN、邮件、下载与更新
  • 离线分类引擎,用于尚未收录的主机名
  • 加密流量中只看到主机名(SNI)时也能按角色制定策略
  • 每日更新文件,每月一次全量刷新

每年同价,不限终端数量

需要过滤境外网站时,还可以选择全球域名分类库。全部产品和授权条款见价格页,数据处理方式见数据保护与GDPR,公司信息见关于我们。想先看字段,可以下载1000行样例数据;有具体问题,也可以通过询价与联系页面找到我们。

询价与咨询

告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。

  • 按年度授权,每年同价
  • 付款到账后一个工作日内交付文件和查询工具
  • 可开具形式发票,可签署贵司的采购合同
  • 欧盟公司直接签约,数据在您的网络内离线使用

我们只用这些信息回复您的询价,不发送营销邮件,也不向第三方提供。

常见问题

url过滤是什么意思?

URL过滤是按网站的类别和公司自己的名单,决定员工能否访问某个网站的功能。设备先识别访问的主机名,再查出它属于哪一类,最后按策略放行、拦截、提醒或记录。

url过滤指的是什么?和网页过滤、网站过滤有区别吗?

这几个说法指的基本是同一件事。URL过滤和网址过滤是技术上的叫法,网页过滤和网站过滤更多出现在软件说明里。DNS过滤是其中一种实现方式,只在域名解析这一步判断。

HTTPS网站能做URL过滤吗?

能。不解密时,设备看不到完整网址,但通常能从握手时的SNI字段看到主机名,所以按域名和主机名分类的数据依然有效。只有在网站和浏览器都启用了ECH加密握手时,主机名才会被隐藏。

url过滤配置一般包括哪些内容?

常见内容包括:选择要拦截、提醒或记录的网站类别,建立白名单和黑名单,按部门和时间段设置不同策略,设计拦截提醒页,以及开启日志并定期复查未分类的网站。

防火墙url过滤和DNS过滤哪个好?

两者适合的场景不同。DNS过滤部署快,适合多个办公点统一生效,但只看域名。防火墙url过滤可以结合用户、应用和认证,解密后还能看到完整网址。很多企业两者同时使用,并用同一份分类数据保持口径一致。

新的过滤策略上线前应该怎样准备?

建议先让策略以只记录的方式运行一到两周,根据日志补齐白名单,再在一个部门小范围启用拦截,最后按部门或办公点分批推广。同时准备好申请开通网站的渠道和各类别处理方式的说明。

后台程序被拦截导致软件出错,应该怎样处理?

先在过滤日志里找到被拦截的主机名,确认它属于哪个程序或业务系统,再只把这个主机名加入白名单,不必放行整个网站。能区分主机名角色的分类数据,可以从一开始就减少这类情况。

员工在家办公时,URL过滤还有效吗?

网关和办公网DNS过滤只管经过公司网络的流量。员工在家或出差时,需要在电脑上安装终端过滤软件,并使用能在本地离线查询的分类数据。

查不到类别的网站应该怎样处理?

建议先设为只记录,并定期查看这些网站。直接拦截所有未分类网站,容易影响刚开通的业务网站;直接放行又没人复查,新网站就会一直漏过。数据每天更新,未分类网站会越来越少。