一种基于TLS和webrtc的深度反爬方法、系统、设备、及介质技术方案

本发明专利技术涉及一种基于TLS和webrtc的深度反爬方法、系统、设备、及介质，其技术方案要点是：所述方法包括：获取携带有用户信息的TCP握手请求；根据所述TCP握手请求生成对应的TLS指纹；将TLS指纹和用户信息与redis指纹库进行数据比对，判断是否为恶意访问，若为是，则拒绝访问；根据TCP握手请求返回用于检测环境的JavaScript文件，获取用户返回的画布信息、字体信息、音频指纹和即时通信地址；判断即时通信地址与TCP握手请求的IP信息是否一致，若不一致，则拒绝访问；获取与画布信息、字体信息、音频指纹或即时通信地址完全一致的请求的访问频率，根据访问频率和预设访问频率进行比对，若访问频率大于预设访问频率，则拒绝访问；本申请具有能够防止数据被爬虫抓取的优点。本申请具有能够防止数据被爬虫抓取的优点。本申请具有能够防止数据被爬虫抓取的优点。

【技术实现步骤摘要】
一种基于TLS和webrtc的深度反爬方法、系统、设备、及介质


[0001]本专利技术涉及反爬虫
，更具体地说，它涉及一种基于TLS和webrtc的深度反爬方法、系统、设备、及介质。

技术介绍

[0002]公司的数据安全性是一个重要问题，如何保证数据不被竞争对手抓取，减少商业竞争。通常的做法是接入市面上的风控平台安全策略。但是目前市面上的主流风控策略，其大部分都是提高混淆难度，对于指纹检测并不严格，网上也出现了很多绕过方案，所以并不可取。
[0003]网站在开发过程中，考虑到安全问题需要对接口做安全处理，防止数据被爬虫抓取。一般的思路是使用网上免费的混淆工具混淆我们的JavaScript文件，增大识别难度，以及检测IP访问频率，或者使用付费的安全平台反爬策略，但是都存在一个问题，就是不够全面，而且也不够严格，例如画布信息，字体信息，音频指纹只提取不校验，https只涉及TCP握手成功后阶段，不涉及握手阶段等等，因此还有待改进的空间。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术的目的在于提供一种基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于TLS和WebRTC的深度反爬方法，其特征在于，包括：S1、获取携带有用户信息的TCP握手请求；S2、根据所述TCP握手请求生成对应的TLS指纹；S3、将TLS指纹和用户信息与redis指纹库进行数据比对，判断是否为恶意访问，若为否，则执行S4，若为是，则拒绝访问；S4、根据TCP握手请求返回用于检测环境的JavaScript文件，获取用户返回的画布信息、字体信息、音频指纹和即时通信地址；S5、判断所述即时通信地址与TCP握手请求的IP信息是否一致，若一致，则执行S6；若不一致，则拒绝访问；S6、获取与画布信息、字体信息、音频指纹或即时通信地址完全一致的请求的访问频率，根据该访问频率和预设访问频率进行比对，若该访问频率大于预设访问频率，则拒绝访问并在封禁该即时通信地址或音频指纹。2.根据权利要求1所述的方法，其特征在于，所述根据所述TCP握手请求生成对应的TLS指纹，包括：根据所述TCP握手请求获取对应的TLS信息；将所述TLS信息中的version、Cipher Suites、Extension length、Extension:elliptic_curves和Extension:ec_pooint_formats进行组合并通过MD5算法进行加密生成TLS指纹。3.根据权利要求2所述的方法，其特征在于，所述将TLS指纹和用户信息与redis指纹库进行数据比对，包括：获取所有浏览器指纹及其对应的用户代理；将各个浏览器指纹作为值，对应的用户代理作为键存储到redis指纹库中；将所述TLS指纹与所述redis指纹库中的各个浏览器指纹进行比对；若所述redis指纹库存在与TLS指纹相同的浏览器指纹，则将该浏览器指纹对应的用户代理与TLS指纹对应的用户信息进行比对，若该浏览器指纹对应的用户代理与TLS指纹对应的用户信息一致，则判定不是恶意访问；若该浏览器指纹对应的用户代理与TLS指纹对应的用户信息不一致，则判定为恶意访问；若redis指纹库不存在与TLS指纹相同的浏览器指纹，则判定为恶意访问。4.根据权利要求3所述的方法，其特征在于，所述JavaScript文件用于对用户进行画布信息、字体信息和音频指纹检测，与用户进行WebRTC以获...

【专利技术属性】
技术研发人员：李亚平，唐磊，伍泳潮，黄壮强，
申请(专利权)人：广州鑫景信息科技服务有限公司，
类型：发明
国别省市：