数据防爬方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种数据防爬方法、装置、设备及计算机可读存储介质。本发明专利技术通过灵活定义及集成各种防爬方案来作为预设防爬规则，可合理利用基于大数据技术创建的用户画像模型在原有的基础的防爬规则的基础上进行优化补充，从而构建了风险评估规则，以根据这一风险评估规则对访问请求方的基础信息进行更为有效的风险评判；通过确定基础信息的风险等级，并直接终止高风险的基础信息所对应的访问请求方的数据访问请求，能够更大程度地限制住了非法用户请求，降低了敏感数据被直接爬取的可能性，提高了敏感数据的安全性。

【技术实现步骤摘要】
数据防爬方法、装置、设备及计算机可读存储介质
本专利技术涉及数据处理
，尤其涉及一种数据防爬方法、装置、设备及计算机可读存储介质。
技术介绍
互联网数据安全一直是一个比较棘手的问题，黑客或者竞争对手往往会使用网络爬虫来非法获取公司的商业信息。网络爬虫是一种获取网页内容的程序，通过网页的链接地址来寻找网页。目前爬虫技术已经很成熟，通过设定的规则，爬虫可以轻易地抓取页面源代码中一些重要信息。目前，针对平安车险报价信息，已采取了一些防护措施，主要通过黑白名单的形式进行限制，这种方式限制了一大批非法访问系统报价信息的请求。但是不法分子的攻击形式也会升级。不法分子通过利用一些虚拟IP、机器模拟、切换基础参数等各种方式来获取敏感数据，因此，如何解决敏感数据的数据安全性低下的技术问题，成为了目前亟待解决的技术问题。
技术实现思路
本专利技术的主要目的在于提供一种数据防爬方法、装置、设备及计算机可读存储介质，旨在解决敏感数据的数据安全性低下的技术问题。为实现上述目的，本专利技术提供一种数据防爬方法，所述数据防爬方法包括以下步骤：在接收到目标数据访问请求时，获取基于所述目标数据访问请求所确定的基础信息；判断所述基础信息是否满足预设防爬规则，其中，所述防爬规则包括基础规则与基于大数据用户画像模型所制定的优化规则；若所述基础信息不满足所述防爬规则，则确定所述基础信息的风险等级；在所述风险等级为高风险等级时，终止所述目标数据访问请求的发送端对目标数据的访问。可选地，所述判断所述基础信息是否满足预设防爬规则的步骤包括：在检测到所述基础信息满足所述基础规则时，将所述基础信息输入所述大数据用户画像模型，以得到所述基础信息对应的风险评分；判断所述风险评分是否低于预设低风险阈值；若是，则判定所述基础信息满足所述防爬规则。可选地，所述大数据用户画像模型基于贝叶斯理论所创建；设定x代表所述目标数据访问请求的发送端，y1至yn代表预设的n种用户群体类型，每一用户群体类型分别对应不同的风险评分，P(y1|x)至P(yn|x)分别代表所述目标数据访问请求的发送端对应的n种不同用户群体类型的概率值，P(yk|x)代表在所述n种不同用户群体类型的概率值中数值最大的用户群体概率；用于判定所述目标数据访问请求的发送端对应的用户群体类型的公式为：P(yk|x)＝max{P(y1|x),P(y2|x),...,P(yn|x)}，x∈yk。可选地，所述若所述基础信息不满足所述防爬规则，则确定所述基础信息的风险等级的步骤之后，还包括：在所述风险等级为中风险等级时，根据所述优化规则中的预设AI人脸识别算法对所述基础信息中的面部信息进行识别；在识别出所述面部信息与预设已授权的人脸面部数据不匹配时，终止所述目标数据访问请求的发送端对所述目标数据的访问。可选地，所述若所述基础信息不满足所述防爬规则，则确定所述基础信息的风险等级的步骤之后，还包括：在所述风险等级为低风险等级时，输出交互验证信息，以在所述目标数据访问请求的发送端未通过基于所述交互验证信息的验证时，终止所述目标数据访问请求的发送端对所述目标数据的访问。可选地，所述若所述基础信息不满足所述防爬规则，则确定所述基础信息的风险等级的步骤之后，还包括：将不满足所述防爬规则的基础信息保存至所述防爬规则的存储端，以利用未通过所述防爬规则的基础信息优化所述防爬规则中的优化规则。可选地，所述判断所述基础信息是否满足预设防爬规则的步骤之后，还包括：若所述基础信息满足所述防爬规则，则向所述目标数据访问请求的发送端开放所述目标数据的访问权限，其中，所述目标数据存储于区块链中。此外，为实现上述目的，本专利技术还提供一种数据防爬方法装置，所述数据防爬方法装置包括：基础信息获取模块，用于在接收到目标数据访问请求时，获取基于所述目标数据访问请求所确定的基础信息；防爬规则判断模块，用于判断所述基础信息是否满足预设防爬规则，其中，所述防爬规则包括基础规则与基于大数据用户画像模型所制定的优化规则；风险等级确定模块，用于若所述基础信息不满足所述防爬规则，则确定所述基础信息的风险等级；数据访问终止模块，用于在所述风险等级为高风险等级时，终止所述目标数据访问请求的发送端对目标数据的访问。可选地，所述防爬规则判断模块包括：用户画像判断单元，用于在检测到所述基础信息满足所述基础规则时，将所述基础信息输入所述大数据用户画像模型，以得到所述基础信息对应的风险评分；风险阈值判断单元，用于判断所述风险评分是否低于预设低风险阈值；判定通过单元，用于若是，则判定所述基础信息满足所述防爬规则。可选地，所述数据防爬方法装置还包括：用户模型创建模块，用于所述大数据用户画像模型基于贝叶斯理论所创建，设定x代表所述目标数据访问请求的发送端，y1至yn代表预设的n种用户群体类型，每一用户群体类型分别对应不同的风险评分，P(y1|x)至P(yn|x)分别代表所述目标数据访问请求的发送端对应的n种不同用户群体类型的概率值，P(yk|x)代表在所述n种不同用户群体类型的概率值中数值最大的用户群体概率；用于判定所述目标数据访问请求的发送端对应的用户群体类型的公式为：P(yk|x)＝max{P(y1|x),P(y2|x),...,P(yn|x)}，x∈yk。可选地，所述数据防爬方法装置还包括：人脸数据识别模块，用于在所述风险等级为中风险等级时，根据所述优化规则中的预设AI人脸识别算法对所述基础信息中的面部信息进行识别；在识别出所述面部信息与预设已授权的人脸面部数据不匹配时，终止所述目标数据访问请求的发送端对所述目标数据的访问。可选地，所述数据防爬方法装置还包括：交互信息验证模块，用于在所述风险等级为低风险等级时，输出交互验证信息，以在所述目标数据访问请求的发送端未通过基于所述交互验证信息的验证时，终止所述目标数据访问请求的发送端对所述目标数据的访问。可选地，所述数据防爬方法装置还包括：数据样本优化模块，用于将不满足所述防爬规则的基础信息保存至所述防爬规则的存储端，以利用未通过所述防爬规则的基础信息优化所述防爬规则中的优化规则。可选地，所述数据防爬方法装置还包括：访问权限开放模块，用于若所述基础信息满足所述防爬规则，则向所述目标数据访问请求的发送端开放所述目标数据的访问权限，其中，所述目标数据存储于区块链中。此外，为实现上述目的，本专利技术还提供一种数据防爬方法设备，所述数据防爬方法设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据防爬方法程序，其中所述数据防爬方法程序被所述处理器执行时，实现如上述的数据防爬方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据防爬方法程序，其中所述数据防爬方法程本文档来自技高网...

【技术保护点】
1.一种数据防爬方法，其特征在于，所述数据防爬方法包括以下步骤：/n在接收到目标数据访问请求时，获取基于所述目标数据访问请求所确定的基础信息；/n判断所述基础信息是否满足预设防爬规则，其中，所述防爬规则包括基础规则与基于大数据用户画像模型所制定的优化规则；/n若所述基础信息不满足所述防爬规则，则确定所述基础信息的风险等级；/n在所述风险等级为高风险等级时，终止所述目标数据访问请求的发送端对目标数据的访问。/n

【技术特征摘要】
1.一种数据防爬方法，其特征在于，所述数据防爬方法包括以下步骤：
在接收到目标数据访问请求时，获取基于所述目标数据访问请求所确定的基础信息；
判断所述基础信息是否满足预设防爬规则，其中，所述防爬规则包括基础规则与基于大数据用户画像模型所制定的优化规则；
若所述基础信息不满足所述防爬规则，则确定所述基础信息的风险等级；
在所述风险等级为高风险等级时，终止所述目标数据访问请求的发送端对目标数据的访问。


2.如权利要求1所述的数据防爬方法，其特征在于，所述判断所述基础信息是否满足预设防爬规则的步骤包括：
在检测到所述基础信息满足所述基础规则时，将所述基础信息输入所述大数据用户画像模型，以得到所述基础信息对应的风险评分；
判断所述风险评分是否低于预设低风险阈值；
若是，则判定所述基础信息满足所述防爬规则。


3.如权利要求2所述的数据防爬方法，其特征在于，所述大数据用户画像模型基于贝叶斯理论所创建；
设定x代表所述目标数据访问请求的发送端，y1至yn代表预设的n种用户群体类型，每一用户群体类型分别对应不同的风险评分，P(y1|x)至P(yn|x)分别代表所述目标数据访问请求的发送端对应的n种不同用户群体类型的概率值，P(yk|x)代表在所述n种不同用户群体类型的概率值中数值最大的用户群体概率；
用于判定所述目标数据访问请求的发送端对应的用户群体类型的公式为：
P(yk|x)＝max{P(y1|x),P(y2|x),...,P(yn|x)}，x∈yk。


4.如权利要求1所述的数据防爬方法，其特征在于，所述若所述基础信息不满足所述防爬规则，则确定所述基础信息的风险等级的步骤之后，还包括：
在所述风险等级为中风险等级时，根据所述优化规则中的预设AI人脸识别算法对所述基础信息中的面部信息进行识别；
在识别出所述面部信息与预设已授权的人脸面部数据不匹配时，终止所述目标数据访问请求的发送端对所述目标数据的访问。


5.如权利要求1所述的数据防爬方法，其特征在于，所述...

【专利技术属性】
技术研发人员：温海金，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44