跳到正文

在您的产品中集成URL分类库(OEM)

贵司在做防火墙、上网行为管理网关、终端软件或DNS安全服务,产品需要一份覆盖中文网站、每天更新、能在客户现场离线运行的URL分类库。

自己建库需要多年积累和持续维护,按次调用的在线接口又不适合离线设备。OEM授权让贵司把我们的分类数据和查询代码集成进产品,提供给贵司的客户。

4种格式CSV、SQLite、LMDB、内存映射查询表
C语言每种格式附参考代码
830万次每秒域名查询(单线程)
每日更新另有每月全量刷新
集成进产品,常从主机名(SNI)分类库开始

主机名(SNI)分类库

包含中国域名分类库的全部内容,另加这些域名下的主机名。每个主机名带所属域名的分类和角色(网站、登录、API、CDN、邮件等),并附离线分类引擎。

  • 包含中国域名分类库的全部字段和更新
  • 主机名记录:分类加角色,例如网站、登录、接口、CDN、邮件、下载与更新
  • 离线分类引擎,用于尚未收录的主机名
  • 加密流量中只看到主机名(SNI)时也能按角色制定策略
14,900 美元/年约人民币10万元,每年同价,不限终端数量
查看价格与授权提交询价

下载1000行样例数据

需要各国网站:全球域名分类库

适合谁

哪些产品需要集成URL分类库

凡是要按网站类别做决定的产品,都需要一份分类数据。下面是最常见的六类,它们对数据的要求各有侧重。

防火墙与网关

按类别执行访问策略,需要高速查询和主机名级别的数据,设备常在离线或内网环境中运行。

上网行为管理设备

按类别管理和审计员工上网,需要覆盖中文网站、类别细致,并能生成按类别的报表。

终端安全与管控软件

在每台电脑上本机查询,数据要小、查询要快,更新要能通过产品自己的渠道分发。

DNS安全服务

在解析时按类别拦截,需要域名和主机名数据,规则每天更新。

运营商与云服务商

为企业客户提供上网管理和安全服务,需要覆盖面广、授权方式清楚的数据。

数据分析与广告技术

按网站内容做统计、定向或品牌安全判断,需要IAB内容分类2.2和3.1。

三种来源

自建、按次调用,还是授权数据文件

产品里的分类数据,来源无非三种。对需要在客户现场运行的安全和网络产品,三者的差别很明显。

对比项自己建库按次调用在线接口OEM授权数据文件
上线时间需要长期积累快快,付款后一个工作日内交付
客户现场离线运行可以不可以可以
查询速度取决于实现取决于网络,跨境时更慢本地查询,内存映射查询表每秒约830万次
客户的访问记录留在客户处每次查询都发往接口提供方留在客户处
中文网站覆盖与维护需要专门团队持续维护取决于提供方由我们每天更新
成本和客户数量的关系固定投入大随查询量增长按授权约定,不按查询次数计费

我们不提供需要联网调用的查询接口。数据以文件交付,查询在贵司的产品里完成,这也是安全和网络产品通常需要的方式。

交付内容

OEM授权交付哪些内容

OEM授权的具体范围按贵司的产品约定。下表是常见的交付内容,可以按需要选择其中一部分。

内容说明
完整数据中国域名,每个域名带状态、1至3个网址过滤分类、IAB内容分类2.2与3.1(最多四级)、国家、语言和人气分组
主机名与角色主机名(SNI)分类库另含主机名,每个主机名带角色,例如网站、登录、接口、CDN、邮件、下载与更新
离线分类引擎主机名(SNI)分类库附带,用于尚未收录的主机名,在产品中离线运行
每日更新与每月全量刷新新增、类别变化和删除的记录;每月一次完整数据用于校准
近30天新出现域名清单每天更新,供产品对新域名单独设定策略
查询格式与参考代码CSV、SQLite、LMDB、内存映射查询表,每种格式附C语言参考代码
字段说明与分类对照中文字段说明,58个网址过滤分类的中英对照表
各国网站(可选)全球域名分类库,2000万、4000万、8000万或1.2亿个域名四个档位
集成架构

数据怎样从我们到达贵司客户的设备

常见的集成方式是:贵司的更新服务器每天从我们这里下载文件,转换成产品自己的格式,再通过产品现有的升级渠道分发给客户。客户的设备不需要连接我们。

我们

每天发布更新

通过HTTPS下载链接交付,每个文件附带校验值。

贵司

更新服务器

下载并校验文件,合并到产品的特征库或数据包。

贵司

升级渠道

按产品现有的升级机制,把数据包推送给客户。

客户

设备本地查询

产品在客户现场离线查询,访问记录留在客户处。

沿用现有升级机制

数据作为产品特征库的一部分发布,客户的使用方式不变。

按型号裁剪

资源有限的型号可以只装热门网站或部分类别,按人气分组裁剪。

客户隐私

查询在客户的设备上完成,客户的访问记录不会经过我们。

性能

查询格式与速度

以下是单个处理器线程上的实测速度。打开一个网页通常只需要几十次查询,即使是最慢的格式,每个网页增加的时间也远低于一毫秒。

格式中国域名分类库主机名(SNI)分类库在产品中的典型用途
内存映射查询表每秒约830万个域名每秒约400万个主机名网关数据面、终端软件、高流量设备
LMDB每秒约140万个域名每秒约82万个主机名代理、DNS服务和需要本地写入的场景
SQLite每秒约17万个域名每秒约17万个主机名管理后台、报表和日志分析
CSV通用表格文件,UTF-8编码转换成产品自己的格式

每种格式都附C语言参考代码,贵司可以直接编译进产品,也可以按参考代码用其他语言实现。查询顺序是先查完整主机名,查不到再逐级退到根域名。

类别映射

映射到贵司产品自己的类别体系

贵司的产品已有自己的类别名称和界面,客户也习惯了这些名称。集成时不必改变产品的类别体系,把我们的类别映射过去即可。

网址过滤

58个网址过滤分类

英文官方名称与中文名称一一对应,适合映射到防火墙和上网行为管理产品的类别。

内容分类

IAB内容分类2.2与3.1

最多四级,适合需要更细类别的产品,以及数据分析和广告技术场景。

多标签

每个网站1至3个类别

第一个是主要类别。产品可以只用主要类别,也可以任一类别命中即执行。

映射情况处理方式
一对一直接对应,例如游戏、赌博、招聘与求职
多对一贵司的一个类别对应我们的几个类别,例如“购物”对应购物和电商平台、分类信息与拍卖
一对多结合IAB的二级或三级类别拆分,例如把流媒体拆成视频和音乐
贵司特有的类别由贵司的规则或名单补充,我们的数据提供基础类别
主机名

加密流量中的精细控制:主机名与角色

客户越来越要求在不解密的情况下精细控制。主机名(SNI)分类库给每个主机名标出角色,产品可以只拦截某个平台的网页,让登录、接口和更新照常工作。

主机名分类能做的

  • 按SNI中的主机名判断类别和角色
  • 区分同一平台的网站、登录、接口、CDN、邮件、下载与更新
  • 离线分类引擎处理尚未收录的主机名
  • 和产品现有的应用识别引擎配合使用

它不替代的

  • 按协议和流量特征识别应用的识别库
  • 需要解密后才能看到的网址路径和内容

url库和应用识别库在产品中的分工,见url特征库与应用识别库有什么区别。

技术评估

集成之前,开发团队通常会确认这些

下面是厂商在集成前最常确认的技术问题。多数可以从样例数据和字段说明中找到答案,其余的我们通过邮件解答。

问题答案
域名的写法全部小写;中文域名使用国际化编码,与DNS查询中的写法一致
多级后缀.com.cn、.gov.cn等二级后缀单独识别,逐级回退时不会把后缀当成网站
没有网站的域名每个域名有状态:已分类、停放或待售、无网站、无内容、尚未检测
增量更新每日更新文件包含新增、类别变化和删除的记录,可以只处理变化
文件完整性每个文件附带校验值,下载后先校验再加载
多个类别一个域名可以有1至3个网址过滤分类,用竖线分隔,第一个是主要类别
授权

OEM授权怎样报价

普通授权只用于贵司内部;把数据集成进产品、提供给客户,需要OEM授权。OEM授权按下面三个因素单独报价,合同中写明使用范围。

集成的产品

防火墙、网关、终端软件、DNS服务或平台,以及数据在产品中的用途。

覆盖范围

只要中国域名,还是加上主机名与角色,或者再加全球域名分类库的档位。

用量

产品的部署规模和客户类型,在询价时说明大致情况即可。

AI工具库的OEM授权每年10,000美元起(约人民币6.7万元)。域名分类数据的OEM授权按产品、覆盖范围和用量报价。授权条款的一般规定见服务条款,价格见价格页。

流程

从询价到集成上线

OEM合作的流程很直接。技术问题通过邮件解答,贵司的开发团队按参考代码完成集成。

  1. 提交询价

    说明贵司的产品、数据用途、需要的覆盖范围和大致的部署规模,我们在一个工作日内回复。

  2. 查看样例和字段

    下载1000行样例数据和中文字段说明,评估字段、类别和格式是否适合贵司的产品。

  3. 确定范围和报价

    确定数据范围、格式和更新方式,我们出具报价和合同,可以签署贵司的保密协议。

  4. 付款与交付

    付款到账后一个工作日内交付数据、参考代码和字段说明,每日更新从第二天开始。

  5. 集成与发布

    贵司按参考代码集成,并通过产品的升级渠道发布给客户。授权期内提供邮件支持。

关于我们

欧盟数据公司,直接签约

URL分类库由欧盟公司 Alpha Quantum d.o.o.(斯洛文尼亚卢布尔雅那)提供。我们自2007年起从事企业软件,300多家机构使用过我们的数据和接口。

直接签约

合同和发票由欧盟公司直接开具,我们在中国没有经销商。

客户保密

授权协议是保密的,我们不公开客户名称,也不会公开贵司的合作。

不含个人数据

数据文件只有网站层面的信息,便于贵司的产品合规交付。

不回传

数据在产品中离线运行,我们看不到贵司客户的任何查询。

公司信息见关于我们。终端、DNS和防火墙上的典型用法,可以参考终端离线过滤、企业DNS过滤和防火墙URL过滤。

产品与价格

OEM授权的数据基础

下面的价格是贵司内部使用的授权价格,供了解产品内容参考;集成进产品的OEM授权另行报价。AI工具库的OEM授权每年10,000美元起。

内部使用价格,OEM另行报价

主机名(SNI)分类库

Host-name (SNI) Database

14,900 美元/年

约人民币10万元

  • 包含中国域名分类库的全部字段和更新
  • 主机名记录:分类加角色,例如网站、登录、接口、CDN、邮件、下载与更新
  • 离线分类引擎,用于尚未收录的主机名
  • 加密流量中只看到主机名(SNI)时也能按角色制定策略
  • 每日更新文件,每月一次全量刷新

每年同价,不限终端数量

OEM授权每年10,000美元起

AI工具库

AI Tools Database

999 美元/年

约人民币6,700元

  • AI工具与AI服务的域名清单
  • 工具类型与用途分类,例如写作、绘画、视频、编程
  • CSV和JSON格式,可导入防火墙、DNS过滤和终端软件
  • 下载文件每日刷新
  • 单一组织内部使用;产品集成另有OEM授权

数据订阅;OEM授权每年10,000美元起(约人民币6.7万元)

url库的基本概念和字段,见url库是什么意思。

OEM询价

告诉我们您的用途和部署方式,我们在一个工作日内用邮件回复,并附上报价。

  • 按年度授权,每年同价
  • 付款到账后一个工作日内交付文件和查询工具
  • 可开具形式发票,可签署贵司的采购合同
  • 欧盟公司直接签约,数据在您的网络内离线使用

我们只用这些信息回复您的询价,不发送营销邮件,也不向第三方提供。

常见问题

url分类数据库软件有哪些?

使用url分类数据库的软件主要有防火墙、上网行为管理设备、终端安全与管控软件、DNS安全服务、代理服务器,以及数据分析和广告技术平台。它们都需要一份把网站对应到类别的数据,按类别执行策略或做统计。

应用识别库企业有哪些?

应用识别库通常由防火墙和上网行为管理设备的厂商随设备提供,和各自的识别引擎绑定。我们不提供按流量特征识别应用的识别库;我们提供网站和主机名的分类数据,可以和贵司自己的识别引擎配合使用。

OEM授权怎么收费?

按集成的产品、覆盖范围和用量单独报价。AI工具库的OEM授权每年10,000美元起,约人民币6.7万元。请在询价时说明贵司的产品和客户类型。

你们提供在线查询接口吗?

不提供需要联网调用的查询接口。数据以文件交付,查询在贵司的产品里完成,适合需要在客户现场离线运行的安全和网络产品,客户的访问记录也不会经过我们。

数据怎样更新到客户的设备上?

贵司的更新服务器每天从我们这里下载更新文件并核对校验值,转换成产品自己的格式,再通过产品现有的升级渠道分发给客户。客户的设备不需要连接我们。

可以用我们自己的类别名称吗?

可以。把我们的58个网址过滤分类和IAB内容分类映射到贵司产品的类别体系即可,客户看到的仍是贵司产品的类别名称。

资源有限的设备装得下吗?

可以按中国人气分组和全球人气分组只装热门网站,或只装部分类别。内存映射查询表启动时直接映射文件,不需要先把数据读进内存,适合资源有限的设备。

参考代码是什么语言?

每种格式都附C语言参考代码,可以直接编译进产品,也可以按参考代码用其他语言实现查询逻辑。

主机名(SNI)分类库对产品有什么用?

加密流量中,产品通常只能看到主机名。主机名分类库给每个主机名标出角色,产品可以只拦截网页、放行登录和接口;附带的离线分类引擎用于尚未收录的主机名。

只需要中国网站,还是也要各国网站?

面向国内企业的产品,中国域名分类库或主机名(SNI)分类库通常就够用。产品也面向海外客户时,可以加上全球域名分类库,档位为2000万、4000万、8000万和1.2亿个域名。

集成后,我们的客户能看到数据文件本身吗?

数据以产品特征库或数据包的形式随产品分发,客户通过贵司的产品使用分类结果。数据文件能否以及怎样提供给客户,在OEM合同的使用范围中约定。

产品面向海外市场,类别名称有英文吗?

有。58个网址过滤分类使用英文官方名称,并有一一对应的中文名称;IAB内容分类使用官方英文路径,中英对照,适合同时面向国内和海外客户的产品。

你们会公开我们是客户吗?

不会。授权协议是保密的,我们不公开客户名称。贵司需要签署自己的保密协议时,我们可以配合。

签约后多久能拿到数据?

付款到账后一个工作日内交付数据、参考代码和字段说明,每日更新从第二天开始。技术问题在授权期内通过邮件解答。