跳到正文

防火墙URL过滤:境外网站覆盖不足怎么办

防火墙的URL过滤已经开了,日志里却有大量“未分类”:境外供应商的网站、海外的在线工具、各种云服务的主机名,还有不少小型中文网站。按类别写的策略在这些访问上一概落空。

不必更换防火墙。把一份覆盖中国网站和境外网站的分类数据,以自定义分类或外部域名列表的形式导入,现有的策略就能管到它们。

1.2亿全球域名分类库的最大档位
58类网址过滤分类,中英对照
每日更新中国域名分类库
CSV导入自定义分类与外部域名列表
给防火墙补充类别数据

中国域名分类库

覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站。每个域名都有状态,已分类的域名带网址过滤分类和IAB内容分类。离线部署,每日更新。

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
9,900 美元/年约人民币6.6万元,每年同价,不限终端数量
查看价格与授权提交询价

下载1000行样例数据

需要境外网站:全球域名分类库

问题

防火墙日志里的“未分类”,从哪里来

防火墙自带的URL库通常侧重某一个地区的网站,查不到时再依靠云端查询补充。下面几类访问最容易落到“未分类”。

未分类的来源典型情况对策略的影响
境外的中小网站海外供应商、行业协会、外贸平台上的店铺网站按类别放行或拦截都无从下手
境外在线工具和云服务文件分享、在线转换、协作工具和AI工具数据外泄的风险点恰好没有类别
小型中文网站地方门户、个人网盘分享站、新开的购物站效率类策略出现漏洞
非.cn的境内网站使用.com、.net、.top等后缀、服务器在中国大陆的网站只看后缀会漏掉它们
新出现的域名近期才出现、内容还不稳定的网站可疑页面常藏在其中
云端查询失败授权到期、跨境线路慢或设备无法联网本地库之外的网站全部变成未分类

默认放行就是漏洞

未分类默认放行时,所有新网站和长尾网站都不受管理,类别策略形同虚设。

默认拦截就是投诉

未分类默认拦截时,海外客户和供应商的网站频繁被误拦,业务部门的工单不断。

报表说明不了问题

按类别统计的上网报表里,未分类占了很大比例,管理层看不出员工到底访问了什么。

原理

防火墙url过滤怎样判断一个网站

防火墙把网站类别作为安全策略的一个条件,和用户、应用、时间一起匹配。判断类别的顺序通常如下,补充数据就加在中间这一层。

1

白名单

业务必需的网站直接放行。

2

黑名单

公司指定拦截的网站。

3

自定义分类

导入的补充数据,按类别匹配。

4

内置URL库

防火墙自带的分类和云端查询。

5

未分类

都查不到时的默认动作。

不解密时看什么

HTTPS连接不解密时,防火墙从握手中的SNI字段读到主机名,按主机名和域名匹配类别。按域名分类的数据在这里同样有效。

解密后看什么

启用解密后可以看到完整网址,但要在终端安装证书,并考虑性能和员工隐私。按类别过滤多数情况下不需要解密。

URL过滤的完整过程和查询顺序,见URL过滤是什么,如何工作。

url过滤配置

在防火墙上导入补充数据:url过滤配置六步

不同防火墙的界面和名称不同,但思路一致:把我们的类别变成防火墙认识的自定义分类或域名列表,再放进现有的策略里。

  1. 统计未分类的访问

    导出一段时间内被判为未分类的主机名,按访问量排序。这一步告诉贵司缺的主要是中国网站、境外网站,还是两者都缺。

  2. 选定要补充的类别

    只为策略里真正用到的类别建立自定义分类,例如购物、流媒体、网盘与文件托管、AI与大模型工具、赌博、恶意软件、钓鱼与可疑网站。

  3. 生成导入文件

    从CSV中按类别取出域名,生成防火墙要求的格式。设备对条目数量有上限时,可以按人气分组只导入访问量大的网站。

  4. 建立自定义分类或外部列表

    支持外部动态域名列表的防火墙,可以从内部的一台网页服务器定时拉取列表;不支持的,就以自定义分类的形式导入。

  5. 放进现有策略

    在原有的类别规则旁边加上自定义分类,动作保持一致,放在内置类别之前匹配,并开启日志。

  6. 每天更新列表

    每天用更新文件重新生成列表,防火墙定时拉取或由脚本导入,每月用全量刷新校准一次。

先补哪些

最值得先补充的五个类别

不必一次导入全部58个类别。下面五个类别和企业的规定关系最密切,未分类时造成的漏洞也最大,适合作为第一批。

类别为什么先补常见缺口
网盘与文件托管直接关系到公司文件外传新开的网盘和文件分享站、境外的在线文件服务
AI与大模型工具公司的AI使用规定要靠它执行新出现的AI写作、翻译和编程工具
恶意软件、钓鱼与可疑网站始终拦截的类别,漏一个就是隐患近期新出现的仿冒页面
赌博多数企业制度明确禁止频繁更换域名的推广页面
购物;流媒体工作效率类策略的主体小型购物站和视频站
两种导入方式

自定义分类和外部域名列表,怎么选

多数防火墙支持其中至少一种。两种方式的区别主要在更新是否方便、条目数量是否受限。

外部域名列表(定时拉取)

  • 防火墙按设定的间隔从内部服务器拉取列表
  • 每天更新不需要登录防火墙
  • 多台防火墙共用同一个列表地址
  • 需要一台内部网页服务器存放列表

自定义分类(导入)

  • 几乎所有防火墙都支持
  • 不需要额外的服务器
  • 条目数量常有上限,需要精选
  • 更新要通过脚本或手动导入

条目数量受限时,先导入要拦截的类别,再按中国人气分组和全球人气分组挑选访问量大的网站。拦截类别的网站数量通常远少于全部网站,容量够用的可能性更大。

选哪份数据

中国网站、境外网站,分别用哪份数据

中国域名分类库覆盖.cn及其二级后缀、中文后缀,以及服务器位于中国大陆或面向中国用户的其他后缀网站,每天更新。全球域名分类库覆盖各国网站,包括中国,按规模分为四个档位。

贵司的情况常见选择原因
员工主要访问中国网站中国域名分类库中文网站覆盖全,每天更新,字段更全
外贸、跨境电商,员工常访问海外网站中国域名分类库加全球档位境内网站用每日更新的中国数据,境外网站用全球数据补充
跨国企业的中国办公室中国域名分类库,按需加全球档位集团的类别口径和中国网站的覆盖都要兼顾
防火墙厂商或安全服务商OEM授权把数据集成进产品,提供给客户
2000万

个域名

补充员工常用的境外网站。

4000万

个域名

员工经常访问境外网站的企业。

8000万

个域名

面向多个国家提供服务的企业。

1.2亿

个域名

尽量减少未分类的产品和分析。

全球域名分类库按档位报价,请在询价时说明用途,我们推荐合适的档位。产品厂商的集成授权见在您的产品中集成URL分类库。

类别冲突

补充数据和防火墙自带的类别不一致,听谁的

同一个网站,补充数据和内置URL库给出的类别可能不同。事先定好规则,冲突时就不会手忙脚乱。

做法一

只补空白

自定义分类只收录内置库查不到的网站。最稳妥,原有策略的结果完全不变。

做法二

拦截类别优先

任何一方判为拦截类别就拦截。安全要求高的企业常用,误拦会略多,需要白名单配合。

做法三

补充数据优先

中文网站以我们的类别为准,适合内置库对中文网站覆盖不足的防火墙。

一个网站在我们的数据中可以有1至3个类别,第一个是主要类别。导入时可以只用主要类别,也可以把同一网站放进它所属的每一个类别。

未分类

补充之后仍查不到的网站,默认怎样处理

再全的数据也会有查不到的网站。未分类的默认动作,要按员工群体和风险分别设定,而不是全公司一个开关。

员工群体未分类的默认动作配套措施
一般办公人员放行并记录每月查看未分类访问量靠前的网站,补进白名单或黑名单
财务和管理人员提醒后放行提醒页说明风险,员工确认后继续访问
只需访问少数业务系统的岗位拦截白名单列出业务必需的网站,申请渠道清楚
访客网络放行,拦截高风险类别与办公网隔离,单独记录
  1. 第1周

    导入补充数据,只记录,统计未分类比例的变化。

  2. 第2周

    对照日志补齐白名单,确定冲突时听谁的。

  3. 第3周

    在一个部门启用拦截,检查提醒页和例外。

  4. 第4周

    全部启用,设置每天自动更新和每月复查。

配合使用

防火墙之外,同一份数据还能放在哪里

防火墙只管经过出口的流量。同一份分类数据可以同时用在其他位置,不另收费,终端数量也不设上限。

内部DNS服务器

在没有防火墙的小办公点,用DNS过滤执行同一套类别规则。

办公电脑

居家和出差的电脑用终端过滤,规则和防火墙一致。

日志与报表

给防火墙日志里的域名补上类别,生成按部门和类别的统计。

DNS上的做法见企业DNS过滤;总部和分支用不同防火墙时,见多分支机构统一网址过滤策略;防火墙的url库订阅到期时,见设备的URL库到期了;防火墙上的白名单和黑名单怎样维护,见网站黑名单与白名单;集团规定要在中国办公室落地时,见外资企业中国办公室的网址过滤。

检查清单

导入之前,先确认这些

下面几项弄清楚了,导入通常一两天就能完成。它们也是询价时最有用的信息。

  • 防火墙支持外部动态域名列表,还是只支持导入自定义分类
  • 自定义分类或列表的条目数量上限,是否支持星号匹配子域名
  • 最近一个月未分类访问的主机名清单和访问量
  • 员工访问的网站以中国网站为主,还是境外网站也占很大比例
  • 现有策略用到了哪些类别,各自的动作和例外
  • 由谁负责每天的更新,是否有内部服务器可以存放列表
产品与价格

补充防火墙类别的两份数据

中国网站选择中国域名分类库,每年同价,每天更新;境外网站选择全球域名分类库的一个档位,按档位报价。两者可以合在一份报价里。

中国网站

中国域名分类库

Chinese Domain Database

9,900 美元/年

约人民币6.6万元

  • 58个网址过滤分类,每行同时带IAB内容分类2.2与3.1(最多四级)
  • 国家、网站语言、中国人气分组与全球人气分组
  • 每日更新文件,每月一次全量刷新
  • CSV、SQLite、LMDB和内存映射查询表,附C语言参考代码
  • 离线使用:查询在贵司内部完成,不连接我们的服务器

每年同价,不限终端数量

境外网站

全球域名分类库

Global Domain Database

按档位报价

年度授权

  • 四个档位:2000万、4000万、8000万、1.2亿个域名
  • 网址过滤分类与IAB内容分类2.2、3.1
  • 国家与人气分组,适合出海业务和境外网站过滤
  • 文件交付,离线使用

全部产品和授权条款见价格页。url库和应用识别库在防火墙中的分工,见url特征库与应用识别库有什么区别。

询价与咨询

告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。

  • 按年度授权,每年同价
  • 付款到账后一个工作日内交付文件和查询工具
  • 可开具形式发票,可签署贵司的采购合同
  • 欧盟公司直接签约,数据在您的网络内离线使用

我们只用这些信息回复您的询价,不发送营销邮件,也不向第三方提供。

常见问题

防火墙url过滤是什么?

防火墙url过滤是把网站类别作为安全策略的一个条件,和用户、应用、时间一起匹配。防火墙识别访问的主机名,查出它的类别,再按策略放行、拦截或记录。

防火墙日志里未分类的网站太多,怎么办?

先统计未分类访问的主机名,看缺的是中国网站还是境外网站。再把对应的分类数据以自定义分类或外部域名列表的形式导入防火墙,放在内置类别之前匹配,并每天更新。

url过滤配置一般有哪些步骤?

统计未分类访问,选定要补充的类别,按类别生成导入文件,在防火墙上建立自定义分类或外部列表,把它们放进现有策略并开启日志,最后设置每天自动更新。

防火墙能导入外部的网站分类吗?

多数防火墙支持自定义网址分类,很多还支持从内部服务器定时拉取外部域名列表。具体的格式和条目上限请以防火墙的说明为准。

自定义分类有条目数量上限,怎么办?

先导入策略中要拦截的类别,再按中国人气分组和全球人气分组只选访问量大的网站。支持外部域名列表的防火墙,上限通常比自定义分类宽松。

员工访问很多境外网站,用哪份数据?

中国网站用中国域名分类库,每天更新;境外网站用全球域名分类库的一个档位补充,档位为2000万、4000万、8000万和1.2亿个域名。

补充数据和防火墙自带类别冲突时怎么办?

常见做法有三种:只补内置库查不到的网站;任何一方判为拦截类别就拦截;中文网站以补充数据为准。事先定好规则,再用白名单处理个别情况。

防火墙不解密HTTPS,还能按类别过滤吗?

能。不解密时,防火墙从握手中的SNI字段读到主机名,按主机名和域名匹配类别。按类别过滤多数情况下不需要解密。

补充数据多久更新一次?

中国域名分类库每天提供更新文件,每月一次全量刷新。全球域名分类库的更新方式按授权约定。防火墙可以定时拉取列表,或由脚本每天导入。

补充数据后,未分类的网站还多吗?

会明显减少,但不会完全消失,新网站每天都在出现。建议按员工群体分别设定未分类的默认动作,每月查看访问量靠前的未分类网站,再补进白名单或黑名单。

只补充境外网站,可以不买中国域名分类库吗?

可以只授权全球域名分类库的一个档位,它覆盖各国网站,也包括中国网站。员工大量访问中国网站时,中国域名分类库对中文网站的覆盖更全、字段更多,并且每天更新,两者常常一起使用。

外部域名列表放在哪里,防火墙怎样拉取?

常见做法是放在贵司内部的一台网页服务器上,每天用更新文件重新生成列表,防火墙按设定的间隔拉取。多台防火墙可以共用同一个列表地址,更新时不需要逐台登录。

一份授权可以用在几台防火墙上?

授权用于贵司内部,防火墙、DNS服务器和终端的数量都不设上限。总部和各分支的防火墙可以共用同一份数据。

防火墙的url信誉库和分类数据是一回事吗?

不完全一样。信誉库侧重网站的安全评价,分类数据说明网站属于哪一类。我们的数据提供网址过滤分类,其中包括恶意软件、钓鱼与可疑网站以及停放与待售域名等类别,可以用于安全策略。

我们是防火墙厂商,可以把数据集成进产品吗?

可以,需要OEM授权,按集成的产品、覆盖范围和用量单独报价。请在询价时说明贵司的产品和客户类型。