【技术实现步骤摘要】
本申请涉及网络数据获取，特别是涉及一种网络资源数据检测方法、装置、计算机设备和存储介质。
技术介绍
1、在进行网页内容拨测时，python编程语言和selenium组件已成为广泛使用的工具，它们能够模拟用户行为并自动化地对网页进行操作，获取网页中的内容。然而，暗网（dark web）的特殊性质使得这一任务变得复杂。由于暗网并不通过常规的搜索引擎访问，用户无法像访问普通网站一样直接打开页面。访问暗网需要通过tor网络或类似的匿名网络，通过多个中继节点（如网桥、入口节点、中间节点和出口节点）来建立安全的连接。这种访问方式虽然能够保护用户的匿名性，但也对访问速度和访问限制提出了挑战，尤其是在需要频繁、批量拨测暗网内容时。如何高效、稳定地进行暗网内容的拨测，成为了当前一个技术难题。
2、相关技术中，在暗网内容拨测的过程中，常见的技术方案通常依赖于tor网络的中继链路构建。在这个过程中，使用selenium结合python编程语言来模拟浏览器操作并抓取页面数据。这种方法的关键在于通过tor代理来突破常规网络限制，绕过对ip的封锁，并通...
【技术保护点】
1.一种网络资源数据检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的网络资源数据检测方法，其特征在于，所述预设代理服务包括预设节点代理和预设正向代理；所述根据预设代理服务对多个所述地址访问请求进行代理，获得多个代理服务链路，包括：
3.根据权利要求2所述的网络资源数据检测方法，其特征在于，所述预设节点池包括入口池、中间池和出口池，所述出口池包括可用节点队列；所述根据预设节点代理和预设节点池对每个所述地址访问请求进行代理筛选，获得筛选后节点以及第一端口，包括：
4.根据权利要求2所述的网络资源数据检测方法，其特征在于，所...
【技术特征摘要】
1.一种网络资源数据检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的网络资源数据检测方法，其特征在于，所述预设代理服务包括预设节点代理和预设正向代理；所述根据预设代理服务对多个所述地址访问请求进行代理，获得多个代理服务链路，包括：
3.根据权利要求2所述的网络资源数据检测方法，其特征在于，所述预设节点池包括入口池、中间池和出口池，所述出口池包括可用节点队列；所述根据预设节点代理和预设节点池对每个所述地址访问请求进行代理筛选，获得筛选后节点以及第一端口，包括：
4.根据权利要求2所述的网络资源数据检测方法，其特征在于，所述筛选后节点包括筛选后入口节点；所述基于预设正向代理对所述筛选后节点进行代理，获得正向代理节点以及第二端口，包括：
5.根据权利要求1所述的网络资源数据检测方法，其特征在于，在所述根据预设配置规则...
【专利技术属性】
技术研发人员：何伟健，叶福贵，刘金铭，
申请(专利权)人：天翼数字生活科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。