基于后端服务的反爬方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:34912947 阅读:15 留言:0更新日期:2022-09-15 07:02
本申请涉及一种基于后端服务的反爬方法、装置、计算机设备及存储介质,其包括基于后端服务的反爬方法包括:获取用户前端指纹数据,对所述用户前端指纹数据进行加密后,得到用户指纹ID;使用预设的反爬风控算法对每个接口的所述用户指纹ID进行验证,得到对应的验证结果;若验证通过,则允许与用户通信,并从用户爬虫行为中获取用户爬虫行为特征,将所述用户反爬虫行为特征输入至全栈风控模型进行识别;根据识别结果对所述用户爬虫行为执行对应的拦截策略。本申请具有提升数据爬取时数据的安全性的效果。性的效果。性的效果。

【技术实现步骤摘要】
基于后端服务的反爬方法、装置、计算机设备及存储介质


[0001]本专利技术涉及数据安全的
,尤其是涉及一种基于后端服务的反爬方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着移动互联网蓬勃发展,越来越多的网站和软件系统为公共网络提供着服务。网站和软件在为用户提供着便捷的服务同时,随之面临着各种异常访问的流量占用了系统资源,其中比较典型的就是被爬虫非法爬取数据。爬虫则会造成网站信息泄露,影响用户正常访问,甚至系统崩溃。
[0003]针对上述中的相关技术,专利技术人认为存在有爬虫者不断地访问服务器获取信息导致服务器速度慢,导致正常用户访问缓慢影响用户的体险的缺陷。

技术实现思路

[0004]为了提升数据爬取时数据的安全性,本申请提供一种基于后端服务的反爬方法、装置、计算机设备及存储介质。
[0005]本申请的上述专利技术目的一是通过以下技术方案得以实现的:一种基于后端服务的反爬方法,所述基于后端服务的反爬方法包括:获取用户前端指纹数据,对所述用户前端指纹数据进行加密后,得到用户指纹ID;使用预设的反爬风控算法对每个接口的所述用户指纹ID进行验证,得到对应的验证结果;若验证通过,则允许与用户通信,并从用户爬虫行为中获取用户爬虫行为特征,将所述用户反爬虫行为特征输入至全栈风控模型进行识别;根据识别结果对所述用户爬虫行为执行对应的拦截策略。
[0006]通过采用上述技术方案,在对用户的爬虫行为是否存在异常时,需要获取属于该用户的爬虫行为,且在判断爬虫行为是否异常时,需要针对该用户一定数据量的用户行为,而对于做出非法爬虫行为的用户,为了避免被拦截,通常会对用户前端指纹数据进行破解修改,从而避免自身的违规行为被识别,因此,在获取到用户前端指纹数据后,对该用户前端指纹数据进行加密,从而能够减少被破解篡改的风险,有利于后续收集每个用户的爬虫行为;在对用户的用户指纹ID验证通过以后,将在每个获取数据的接口中加入该用户指纹ID,从而能够对该用户指纹ID进行验证,以对用户爬虫行为进行归类,分析得到爬虫行为特征,在获取一定数量的用户爬虫行为特征后,通过全栈风控模型进行识别,若识别出异常,则可以采用相应的拦截措施,保证数据的安全,减少因大量恶意爬虫行为而减慢服务器速度的问题,提升了正常爬取数据的用户的使用体验。
[0007]本申请在一较佳示例中可以进一步配置为:所述获取用户前端指纹数据,对所述用户前端指纹数据进行加密后,得到用户指纹ID,具体包括:获取用户首次加载指令,根据所述用户首次加载指令获取本地设备信息;
对所述本地设备信息进行一级加密后,得到所述用户前端指纹数据,再对所述用户前端指纹数据进行二级加密后,得到所述用户指纹ID。
[0008]通过采用上述技术方案,通过获取用户本地设备信息,并将用户本体设备信息作为最终的用户指纹ID,即用户浏览时的使用的硬件信息作为用户指纹ID,能够减少非法用户修改虚拟信息从而频繁改变用户指纹以躲避非法爬取行为被收集;通过对本地设备信息进行多次加密,能够减少数据传输和认证时,数据的安全性。
[0009]本申请在一较佳示例中可以进一步配置为:所述获取用户首次加载指令,根据所述用户首次加载指令获取本地设备信息,具体包括:获取用户设备标识、运行环境信息和设置参数信息的一种或者多种的组合作为所述本地设备信息。
[0010]通过采用上述技术方案,由于用户使用的硬件的用户设备标识在获取时存在难度,因此,通过获取运行环境信息和设备参数信息作为本地设备信息能够有助于增加用户指纹ID的数据维度,提升用户指纹ID的精准度。
[0011]本申请在一较佳示例中可以进一步配置为:所述对所述本地设备信息进行一级加密后,得到所述用户前端指纹数据,再对所述用户前端指纹数据进行二级加密后,得到所述用户指纹ID,具体包括:在获取到用户前端指纹数据时,使用与所述一级加密对应的一级解密对所述用户前端指纹数据进行解密,得到待加密数据,并允许用户在预设时间周期内临时通信;对所述待加密数据进行所述二级加密,得到所述用户指纹ID。
[0012]通过采用上述技术方案,由于用户前端指纹数据是在用户端进行加密传输的,在这过程容易被破解篡改,因此,通过一级解密得到待加密数据后,再进行二级加密,能够提升数据的安全性,便于后续的验证;同时,为了便于后续验证的效率,因此需要对用户前端指纹数据进行一级解密;由于在二级加密认证的过程需要一定的时间,虽然所耗费的时间只有几十秒,但为了提升用户使用体验,在二级加密认证通过前,允许用户进行临时通信。
[0013]本申请在一较佳示例中可以进一步配置为:从用户爬虫行为中获取用户爬虫行为特征,将所述用户反爬虫行为特征输入至全栈风控模型进行识别,具体包括:获取用户爬虫行为,从所述用户爬虫行为中获取通讯接口,从所述通讯接口中获取行为用户指纹ID;根据所述每个所述待验证用户指纹ID统计所述用户爬虫行为,得到所述用户爬虫行为特征。
[0014]通过采用上述技术方案,通过从每个通讯接口中获取用户指纹ID并进行验证,从而能够将用户爬虫行为归类至对应的用户,便于后续的爬虫风控的识别和判断。
[0015]本申请的上述专利技术目的二是通过以下技术方案得以实现的:一种基于后端服务的反爬装置,所述基于后端服务的反爬装置包括:指纹获取模块,用于获取用户前端指纹数据,对所述用户前端指纹数据进行加密后,得到用户指纹ID;验证模块,用于使用预设的反爬风控算法对每个接口的所述用户指纹ID进行验证,得到对应的验证结果;爬虫风控识别模块,用于若验证通过,则允许与用户通信,并从用户爬虫行为中获
取用户爬虫行为特征,将所述用户反爬虫行为特征输入至全栈风控模型进行识别;用户拦截模块,用于根据识别结果对所述用户爬虫行为执行对应的拦截策略。
[0016]通过采用上述技术方案,在对用户的爬虫行为是否存在异常时,需要获取属于该用户的爬虫行为,且在判断爬虫行为是否异常时,需要针对该用户一定数据量的用户行为,而对于做出非法爬虫行为的用户,为了避免被拦截,通常会对用户前端指纹数据进行破解修改,从而避免自身的违规行为被识别,因此,在获取到用户前端指纹数据后,对该用户前端指纹数据进行加密,从而能够减少被破解篡改的风险,有利于后续收集每个用户的爬虫行为;在对用户的用户指纹ID验证通过以后,将在每个获取数据的接口中加入该用户指纹ID,从而能够对该用户指纹ID进行验证,以对用户爬虫行为进行归类,分析得到爬虫行为特征,在获取一定数量的用户爬虫行为特征后,通过全栈风控模型进行识别,若识别出异常,则可以采用相应的拦截措施,保证数据的安全,减少因大量恶意爬虫行为而减慢服务器速度的问题,提升了正常爬取数据的用户的使用体验。
[0017]本申请的上述目的三是通过以下技术方案得以实现的:一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于后端服务的反爬方法的步骤。
[0018]本申请的上述目的四是通过以下技术方案得本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于后端服务的反爬方法,其特征在于,所述基于后端服务的反爬方法包括:获取用户前端指纹数据,对所述用户前端指纹数据进行加密后,得到用户指纹ID;使用预设的反爬风控算法对每个接口的所述用户指纹ID进行验证,得到对应的验证结果;若验证通过,则允许与用户通信,并从用户爬虫行为中获取用户爬虫行为特征,将所述用户反爬虫行为特征输入至全栈风控模型进行识别;根据识别结果对所述用户爬虫行为执行对应的拦截策略。2.根据权利要求1所述的基于后端服务的反爬方法,其特征在于,所述获取用户前端指纹数据,对所述用户前端指纹数据进行加密后,得到用户指纹ID,具体包括:获取用户首次加载指令,根据所述用户首次加载指令获取本地设备信息;对所述本地设备信息进行一级加密后,得到所述用户前端指纹数据,再对所述用户前端指纹数据进行二级加密后,得到所述用户指纹ID。3.根据权利要求2所述的基于后端服务的反爬方法,其特征在于,所述获取用户首次加载指令,根据所述用户首次加载指令获取本地设备信息,具体包括:获取用户设备标识、运行环境信息和设置参数信息的一种或者多种的组合作为所述本地设备信息。4.根据权利要求2所述的基于后端服务的反爬方法,其特征在于,所述对所述本地设备信息进行一级加密后,得到所述用户前端指纹数据,再对所述用户前端指纹数据进行二级加密后,得到所述用户指纹ID,具体包括:在获取到用户前端指纹数据时,使用与所述一级加密对应的一级解密对所述用户前端指纹数据进行解密,得到待加密数据,并允许用户在预设时间周期内临时通信;对所述待加密数据进行所述二级加密,得到所述用户指纹ID。5.根据权利要求1

4任意一项所述的基于后端服务的反爬方法,其特征在于,所述从用户爬虫行为中获取用户爬虫行为特征,将所述用户反爬虫行为特征输入至全栈风控模型进行识别,具体包括:获取用户爬虫行为,从所述用户爬虫行为中获取通讯接口,从所...

【专利技术属性】
技术研发人员:张庆东戴勇波
申请(专利权)人:企知道网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1