一种同步URL分类数据的方法和装置制造方法及图纸

本发明专利技术公开了一种同步URL分类数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：向服务端发送认证请求，以获取授权令牌；根据客户端的历史访问数据、历史同步数据和各个URL分类的属性特征，分别计算各个所述URL分类的同步策略；基于各个所述URL分类的同步策略，使用所述授权令牌从所述服务端获取URL分类数据。该实施方式能够解决网络宽带消耗大或者资源占用大的技术问题。

【技术实现步骤摘要】
一种同步URL分类数据的方法和装置
本专利技术涉及计算机
，尤其涉及一种同步URL分类数据的方法和装置。
技术介绍
通过企业网络访问互联网已成为员工主要的日常行为，员工在工作时间访问这些互联网站点，不仅降低了员工的工作效率，同时也存在一些潜在的安全隐患，甚至可能造成企业信息资产被窃取、泄漏和破环。为了规范员工的访问行为及保护企业数据的安全性，必须对员工访问站点的URL进行特征分类，针对不同URL分类进行不同的安全管控。与此同时，互联网中每天都有大量新增的网络站点以及网页产生，同时也有大量的站点被关闭或者站点网页内容被更新。所以需要在云端建立URL分类特征库，对海量互联网站点进行静态分类和云端智能分类，确保URL分类的准确性。在企业安全管理平台，如何安全、及时、准确地从云端同步URL分类数据到本地，成为企业安全防控的关键问题。客户端从云端URL分类库同步数据，目前有两种方式：一是同步全量数据；二是同步最新的增量数据，即只同步满足条件：云端库更新时间>本地库上次同步时间的数据。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：第一种方式的同步效率低，稳定性差：URL分类包含数十个大类，每个大类下面又包含数个子分类，每个子分类包含各种特征信息和海量URL，每次同步全量数据极大地消耗了网络带宽和存储资源。一旦出现网络抖动或存储资源满载情况，同步过程会被中断而难以自动恢复。第二种方式解决了第一种方式的弊端，但对于客户端来说，会极大占用计算资源而使系统其他服务不稳定。客户端每次同步都需要计算云端增量和本地两个海量数据集，从而确定哪些数据需要新增，哪些数据需要更新，哪些数据需要删除，完成数据合并后才能更新本地库。
技术实现思路
有鉴于此，本专利技术实施例提供一种同步URL分类数据的方法和装置，以解决网络宽带消耗大或者资源占用大的技术问题。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种同步URL分类数据的方法，包括：向服务端发送认证请求，以获取授权令牌；根据客户端的历史访问数据、历史同步数据和各个URL分类的属性特征，分别计算各个所述URL分类的同步策略；基于各个所述URL分类的同步策略，使用所述授权令牌从所述服务端获取URL分类数据。可选地，向服务端发送认证请求，以获取授权令牌，包括：向服务端发送携带第一认证参数的第一认证请求，以使服务端对所述第一认证参数进行验证；其中，所述第一认证参数包括客户端的设备信息、证书公钥的编码、许可证的序列号、第一随机数和第一初始密钥的编码；接收所述服务端返回的第二随机数，以验证所述第二随机数的位数；若验证通过，则向所述服务端发送携带第二认证参数的第二认证请求，以使服务端对所述第二认证参数进行验证；其中，所述第二认证参数包括所述客户端的设备信息、证书公钥的编码、许可证的序列号、第一随机数、第二随机数和第二初始密钥的编码；接收所述服务端返回的授权令牌。可选地，所述设备信息包括设备标识和设备类型；所述第一初始密钥为：以设备信息、许可证的序列号、第一随机数为消息，通过内置固定密钥对所述消息进行签名后得到的字符串；所述第二初始密钥为：以设备信息、许可证的序列号、第一随机数和第二随机数为消息，通过内置固定密钥对所述消息进行签名后得到的字符串。可选地，根据客户端的历史访问数据、历史同步数据和各个URL分类的属性特征，分别计算各个所述URL分类的同步策略，包括：根据客户端的历史访问数据，计算各个URL分类的访问数量和访问时长，从而计算各个所述URL分类的访问频率分值；根据所述客户端的历史同步数据，计算各个所述URL分类的更新频率，从而计算各个所述URL分类的更新频率分值；根据各个所述URL分类的安全级别属性，计算各个所述URL分类的安全级别分值；根据各个所述URL分类下包含的URL，计算各个所述URL分类的所含URL数量；基于各个所述URL分类的访问频率分值、更新频率分值、安全级别分值和所含URL数量，分别计算各个所述URL分类的同步策略。可选地，基于各个所述URL分类的访问频率分值、更新频率分值、安全级别分值和所含URL数量，分别计算各个所述URL分类的同步策略，包括：基于访问频率分值、更新频率分值、安全级别分值和所含URL数量对应的权重，对各个所述URL分类的访问频率分值、更新频率分值、安全级别分值和所含URL数量进行加权求和，得到各个所述URL分类的同步分值；根据各个所述URL分类的同步分值，匹配出各个所述URL分类的对应的同步策略；其中，所述同步策略包括同步方式，同步频率，同步开始时间和同步结束时间，每次同步过程中的同步间隔时间。可选地，基于各个所述URL分类的同步策略，使用所述授权令牌从所述服务端获取URL分类数据，包括：对于每个URL分类，基于所述URL分类的同步策略，使用所述授权令牌从所述服务端获取的所述URL分类的版本号；判断从所述服务端获取的所述URL分类的版本号是否高于客户端本地的所述URL分类的版本号；若是，则基于所述URL分类的同步策略，使用所述授权令牌从所述服务端获取所述URL分类的数据；若否，则结束。可选地，基于所述URL分类的同步策略，使用所述授权令牌从所述服务端获取所述URL分类的数据，包括：基于所述URL分类的同步策略，使用所述授权令牌从所述服务端获取所述URL分类的数据的总大小；根据所述URL分类的数据的总大小，将所述URL分类的数据划分成若干个分片；使用所述授权令牌逐个分片地从所述服务端获取所述URL分类的数据，直到最后一个分片。另外，根据本专利技术实施例的另一个方面，提供了一种同步URL分类数据的装置，包括：获取模块，用于向服务端发送认证请求，以获取授权令牌；计算模块，用于根据客户端的历史访问数据、历史同步数据和各个URL分类的属性特征，分别计算各个所述URL分类的同步策略；同步模块，用于基于各个所述URL分类的同步策略，使用所述授权令牌从所述服务端获取URL分类数据。可选地，所述获取模块还用于：向服务端发送携带第一认证参数的第一认证请求，以使服务端对所述第一认证参数进行验证；其中，所述第一认证参数包括客户端的设备信息、证书公钥的编码、许可证的序列号、第一随机数和第一初始密钥的编码；接收所述服务端返回的第二随机数，以验证所述第二随机数的位数；若验证通过，则向所述服务端发送携带第二认证参数的第二认证请求，以使服务端对所述第二认证参数进行验证；其中，所述第二认证参数包括所述客户端的设备信息、证书公钥的编码、许可证的序列号、第一随机数、第二随机数和第二初始密钥的编码；接收所述服务端返回的授权令牌。可选地，所述设备信息包括设备标识和设备类型；所述第一初始密钥为：以设备信息、许可证的序列号、第一随机数为消息，通过内置固定本文档来自技高网...

【技术保护点】
1.一种同步URL分类数据的方法，其特征在于，包括：/n向服务端发送认证请求，以获取授权令牌；/n根据客户端的历史访问数据、历史同步数据和各个URL分类的属性特征，分别计算各个所述URL分类的同步策略；/n基于各个所述URL分类的同步策略，使用所述授权令牌从所述服务端获取URL分类数据。/n

【技术特征摘要】
1.一种同步URL分类数据的方法，其特征在于，包括：
向服务端发送认证请求，以获取授权令牌；
根据客户端的历史访问数据、历史同步数据和各个URL分类的属性特征，分别计算各个所述URL分类的同步策略；
基于各个所述URL分类的同步策略，使用所述授权令牌从所述服务端获取URL分类数据。


2.根据权利要求1所述的方法，其特征在于，向服务端发送认证请求，以获取授权令牌，包括：
向服务端发送携带第一认证参数的第一认证请求，以使服务端对所述第一认证参数进行验证；其中，所述第一认证参数包括客户端的设备信息、证书公钥的编码、许可证的序列号、第一随机数和第一初始密钥的编码；
接收所述服务端返回的第二随机数，以验证所述第二随机数的位数；
若验证通过，则向所述服务端发送携带第二认证参数的第二认证请求，以使服务端对所述第二认证参数进行验证；其中，所述第二认证参数包括所述客户端的设备信息、证书公钥的编码、许可证的序列号、第一随机数、第二随机数和第二初始密钥的编码；
接收所述服务端返回的授权令牌。


3.根据权利要求2所述的方法，其特征在于，所述设备信息包括设备标识和设备类型；
所述第一初始密钥为：以设备信息、许可证的序列号、第一随机数为消息，通过内置固定密钥对所述消息进行签名后得到的字符串；
所述第二初始密钥为：以设备信息、许可证的序列号、第一随机数和第二随机数为消息，通过内置固定密钥对所述消息进行签名后得到的字符串。


4.根据权利要求1所述的方法，其特征在于，根据客户端的历史访问数据、历史同步数据和各个URL分类的属性特征，分别计算各个所述URL分类的同步策略，包括：
根据客户端的历史访问数据，计算各个URL分类的访问数量和访问时长，从而计算各个所述URL分类的访问频率分值；
根据所述客户端的历史同步数据，计算各个所述URL分类的更新频率，从而计算各个所述URL分类的更新频率分值；
根据各个所述URL分类的安全级别属性，计算各个所述URL分类的安全级别分值；
根据各个所述URL分类下包含的URL，计算各个所述URL分类的所含URL数量；
基于各个所述URL分类的访问频率分值、更新频率分值、安全级别分值和所含URL数量，分别计算各个所述URL分类的同步策略。


5.根据权利要求4所述的方法，其特征在于，基于各个所述URL分类的访问频率分值、更新频率分值、安...

【专利技术属性】
技术研发人员：齐军，叶晨，康新强，
申请(专利权)人：北京天空卫士网络安全技术有限公司，
类型：发明
国别省市：北京;11