一种流量代理方法、系统、智能终端及存储介质技术方案

本申请涉及互联网通信技术领域，尤其涉及一种流量代理方法、系统、智能终端及存储介质，旨在解决现有技术存在服务器收到移动端访问的概率提升，因此大量来自拨号或家庭宽带形式的IP容易被识别为非正常访问，导致IP被封禁的问题，其技术方案是一种流量代理方法，包括：获取用户端发送的用于实现流量代理的请求包，解析请求包以获取用户的访问请求；在预设的移动端口池中选取与用户的访问请求匹配的目标移动端口，移动端口池存储有用于实现流量代理的移动端口；将用户的访问请求发送至目标移动端口，获取目标移动端口返回的访问响应；将目标移动端口返回的访问响应转发至用户端，本申请具有降低代理IP被识别封禁的几率的效果。具有降低代理IP被识别封禁的几率的效果。具有降低代理IP被识别封禁的几率的效果。

【技术实现步骤摘要】
一种流量代理方法、系统、智能终端及存储介质


[0001]本申请涉及互联网通信
，尤其是涉及一种流量代理方法、系统、智能终端及存储介质。

技术介绍

[0002]随着网络技术的迅速发展，互联网成为了大量信息的载体，用户通常需要借助搜索引擎才能有效地检索并提取所需要的信息，但同时搜索引擎作为辅助人们检索信息的工具也有很大的局限性，如返回的结果中有很多无效信息、服务器资源的有限性以及对结构复杂的数据无法进行很好的抓取。
[0003]为了解决上述问题，定向抓取相关网页资源的爬虫技术应运而生，它可以从搜索引擎上下载网页，并根据一定的网页分析算法过滤与搜索条件无关的信息，保留有用的链接并放入URL（Uniform Resource Locator,统一资源定位器）队列中，循环此过程直至达到系统终止条件。
[0004]目前，在用户使用爬虫的过程中，经常发生需要频繁地访问某一网站的情况，导致用户被部分网站认定为非正常访问，于是通过禁用IP的方式拒绝访问请求。因此需要在使用爬虫的过程中使用代理IP，使用代理IP可以更换用户访问时的IP地址，进而规避同一IP频繁访问的情况。
[0005]在实现本申请的过程中，专利技术人发现上述技术至少存在以下问题：已有的IP代理通常采用拨号或家庭宽带形式的IP，但随着移动通信设备的发展，服务器收到移动端访问的概率提升，因此大量来自拨号或家庭宽带形式的IP容易被识别为非正常访问，导致IP被封禁。

技术实现思路

[0006]为了降低代理IP被识别封禁的几率，提高数据爬取的稳定性，本申请提供一种流量代理方法、系统、智能终端及存储介质。
[0007]第一方面，本申请提供的一种流量代理方法，采用如下的技术方案：一种流量代理方法，所述方法包括以下步骤：获取用户端发送的用于实现流量代理的请求包，解析所述请求包以获取用户的访问请求；在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口，所述移动端口池存储有用于实现流量代理的移动端口；将用户的所述访问请求发送至目标移动端口，获取所述目标移动端口返回的访问响应；将所述目标移动端口返回的访问响应转发至用户端。
[0008]通过采用上述技术方案，获取用户发送的请求包后，根据用户的请求包可以解析出用户检索数据的真实访问请求，解析出访问请求后将用户真实的访问请求发送至移动端
口，由移动端口生成真实的访问流量，以移动端口生成的访问流量向服务器发起访问请求，进而使得服务器对访问IP进行识别时，识别到的IP为移动端口IP，进而降低了代理端口被识别为爬虫端口，进而降低了IP被封禁的可能性，最终提高了爬取数据的稳定性。
[0009]可选的，所述获取用户端发送的用于实现流量代理的请求包，解析所述请求包以获取用户的访问请求包括：拆分所述请求包以获取包头、请求类型、用户入参以及业务入参，所述用户入参用于实现用户端的代理请求，所述业务入参用于实现用户端的访问请求；基于所述请求包的包头对访问请求进行分类获取分类结果，并按照预设的规则去除无效的标识请求头；将所述分类结果、用户入参以及业务入参重新装包为用户的访问请求。
[0010]通过采用上述技术方案，去除了请求包中无效的标识请求头，便于获取用户的真实访问请求，以用户的真实访问请求为基础进行代理访问，有助于提高代理系统中的代理信息的流转效率。
[0011]可选的，所述在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口，所述移动端口池存储有用于实现流量代理的移动端口包括：在预设的所述移动端口池中采用预设的轮训机制筛选出与用户的所述访问请求匹配的若干个移动端口，生成可用移动端口集；在所述可用移动端口集中增加预设的随机因子，随机选取一个移动端口并标记为目标移动端口。
[0012]通过采用上述技术方案，在选取移动端口时采用加入随机因子的随机算法，有助于提高端口选取的随机性，进而降低被服务器识别出异常的可能性。
[0013]可选的，所述方法还包括：按照预设的时间间隔周期性地获取所述移动端口池中的每个移动端口的运行状态，所述运行状态包括闲置、繁忙以及离线中的一种；使用当前周期的所述第一运行状态覆盖对应的移动端口在上一时间周期内的第二运行状态。
[0014]通过采用上述技术方案，对移动端口池中的移动端口的运行状态进行监控，并按照预定的频率进行更新，有助于提高端口分配的有效性，降低了移动端口分配之后无法实现代理访问功能的可能性。
[0015]可选的，所述使用所述当前周期的第一运行状态覆盖对应的移动端口在上一时间周期内的第二运行状态之后还包括：监控运行状态为离线的第一移动端口的离线持续时间，当第一移动端口的离线持续时间超过预设的离线阈值时，将第一移动端口的运行状态由离线变更为闲置。
[0016]通过采用上述技术方案，当移动端口在某服务器的访问时间过长，容易被识别为异常IP进而封禁，因此需要使得移动端口按照预设的时间间隔进行离线冷却，对移动端口的离线冷却时间进行监控，有助于提高移动端口的更新效率，降低可用的移动端口被超时冷却的可能性，有利于提高移动端口池的整体利用效率。
[0017]可选的，所述方法还包括：获取用户的端口切换请求；
基于端口切换请求，将用户当前使用的目标移动端口切换为可用移动端口集中的其他移动端口。
[0018]通过采用上述技术方案，可以根据用户的需求主动切换代理IP，提高了代理系统使用上的灵活性。
[0019]可选的，所述将用户的所述访问请求发送至目标移动端口，获取所述目标移动端口返回的访问响应之后还包括：监控所述目标移动端口返回的访问响应，生成与访问请求对应的代理日志。
[0020]通过采用上述技术方案，对访问请求的状态进行监控，有助于在访问请求出现异常时对异常情况进行处理，同时以日志的形式记录访问请求，有助于对发生的异常情况进行分析，提高了后续异常问题的排查和处理效率。
[0021]第二方面，本申请提供一种流量代理系统，采用如下的技术方案：一种流量代理系统，所述系统包括：请求解析模块，用于获取用户端发送的用于实现流量代理的请求包，解析所述请求包以获取用户的访问请求；端口选取模块，用于在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口，所述移动端口池存储有用于实现流量代理的移动端口；端口代理模块，用于将用户的所述访问请求发送至目标移动端口，获取所述目标移动端口返回的访问响应；响应返回模块，用于将所述目标移动端口返回的访问响应转发至用户端。
[0022]通过采用上述技术方案，获取用户发送的请求包后，根据用户的请求包可以解析出用户检索数据的真实访问请求，解析出访问请求后将用户真实的访问请求发送至移动端口，由移动端口生成真实的访问流量，以移动端口生成的访问流量向服务器发起访问请求，进而使得服务器对访问IP进行识别时，识别到的IP为移动端口IP，进而降低了代理端口被识别为爬虫端口，进而降低了IP被封禁的可能性，最终提高了爬取数据的稳定性。
[0023]第三方面，本申请提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流量代理方法，其特征在于，所述方法包括以下步骤：获取用户端发送的用于实现流量代理的请求包，解析所述请求包以获取用户的访问请求；在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口，所述移动端口池存储有用于实现流量代理的移动端口；将用户的所述访问请求发送至目标移动端口，获取所述目标移动端口返回的访问响应；将所述目标移动端口返回的访问响应转发至用户端。2.根据权利要求1所述的一种流量代理方法，其特征在于：所述获取用户端发送的用于实现流量代理的请求包，解析所述请求包以获取用户的访问请求包括：拆分所述请求包以获取包头、请求类型、用户入参以及业务入参，所述用户入参用于实现用户端的代理请求，所述业务入参用于实现用户端的访问请求；基于所述请求包的包头对访问请求进行分类获取分类结果，并按照预设的规则去除无效的标识请求头；将所述分类结果、用户入参以及业务入参重新装包为用户的访问请求。3.根据权利要求1所述的一种流量代理方法，其特征在于：所述在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口，所述移动端口池存储有用于实现流量代理的移动端口包括：在预设的所述移动端口池中采用预设的轮训机制筛选出与用户的所述访问请求匹配的若干个移动端口，生成可用移动端口集；在所述可用移动端口集中增加预设的随机因子，随机选取一个移动端口并标记为目标移动端口。4.根据权利要求1所述的一种流量代理方法，其特征在于：所述方法还包括：按照预设的时间间隔周期性地获取所述移动端口池中的每个移动端口的运行状态，所述运行状态包括闲置、繁忙以及离线中的一种；使用当前周期的所述第一运行状态覆盖对应的移动端口在上一时间周期内的第二运行状态。5.根据权利要求4所述的一种流量代理方法，其特征在于：所述使用所述当前周期的第一运行状态覆盖...

【专利技术属性】
技术研发人员：陆文祥，
申请(专利权)人：同程网络科技股份有限公司，
类型：发明
国别省市：