一种基于ADSL的代理集群服务系统及方法技术方案

本发明专利技术公开了一种基于ADSL的代理集群服务系统及方法，该系统包括状态管理集群、ip计数服务器、ADSL服务器集群和客户端；状态管理集群负责控制ADSL服务器集群中ADSL服务器的重拨和状态收集；ip计数服务器负责对有效时间T内的公网ip计数并提供计数查询功能，超过T后，该ip计数清零；ADSL服务器集群中的每台服务器负责执行ADSL重拨、向状态管理集群汇报ip和状态，并提供代理服务；客户端负责与状态管理集群进行通讯，查询当前可用代理，并通过该代理访问外部网络。本发明专利技术使用代理集群有效提高了数据吞吐量，使用动态ip有效减少目标网站禁止访问的次数，通过设置重拨等待时间，可在重拨等待时间内有效处理已经接收到的请求，不至于因重拨导致请求超时过多。

Agent cluster service system and method based on ADSL

The invention discloses a proxy cluster service system and method based on ADSL, the system includes state management cluster, the count of IP server, ADSL server cluster and client management; cluster state is responsible for the control of the ADSL server in ADSL server cluster and redial state collection; the count of IP server is responsible for effective time of T in public IP and counting provide a count query function, more than T, the IP count is cleared; each server in ADSL server cluster is responsible for the implementation of ADSL to redial, state management report IP cluster and the state, and provide agency services; the client is responsible for the communication with the state management of cluster, query the current available agent, through the proxy to access the external network. The invention uses proxy cluster can effectively improve the data throughput, the number of using dynamic IP to effectively reduce the target site to prohibit access, by setting the redial waiting time, which can effectively deal with the received request in the redial wait time, not because of too much lead to super redial request.

【技术实现步骤摘要】
一种基于ADSL的代理集群服务系统及方法
本专利技术涉及一种基于ADSL的代理集群服务系统及方法。
技术介绍
目前代理服务器如squid(一种代理服务器)等，通常运行在单一服务器节点上，每次仅使用单一ip(网络之间互联的协议)，在需要获取大量目标网站数据时，因单一ip请求次数太多，而被目标网站禁止访问，导致数据获取无法进行。而现有的多ip代理方法无法处理ip重复获取问题，且在切换ip时，对当前代理请求不做任何处理，导致代理请求超时过多。且客户端在使用时，无法统计当前已使用ip数量，而统计这些运行状态对数据采集的策略调整较为重要。
技术实现思路
本专利技术的目的在于针对现有代理技术的不足，提供一种基于ADSL(异步传输模式)的代理集群服务系统及方法。本专利技术的目的是通过以下技术方案来实现的：一种基于ADSL的代理集群服务系统，包括状态管理集群、ip计数服务器、ADSL服务器集群和客户端；所述状态管理集群负责控制ADSL服务器集群中ADSL服务器的重拨和状态收集；所述ip计数服务器负责对有效时间T内的公网ip计数并提供计数查询功能，超过T后，该ip计数清零；所述ADSL服务器集群中的每台服务器负责执行ADSL重拨、向状态管理集群汇报ip和状态，并提供代理服务；所述客户端负责与状态管理集群进行通讯，查询当前可用代理，并通过该代理访问外部网络。一种基于ADSL的代理集群服务方法，该方法包括如下步骤：(1)在状态管理集群中保存所有ADSL服务器的配置，包括最小可用代理数Pmin，同ip可重复次数Lmax，最小重拨时间间隔Tmin，代理请求超时时间Tout。(2)ADSL服务器启动服务后，重拨获取公网ip，查询ip计数服务器中该ip的当前计数，若大于Lmax，则继续重拨直到获取的公网ip计数小于Lmax。然后将ip计数服务器中该ip的计数加1，向状态管理集群汇报可用状态，状态管理集群为其分配一个递增序号Did。(3)状态管理集群监控可用ADSL服务器数量，每当可用ADSL服务器数量发生改变时(即有ADSL服务器向状态管理集群发送可用通知或发送不可用通知)，判断可用ADSL服务器数量是否小于Pmin，若小于Pmin，则继续监控。否则执行步骤4。(4)状态管理集群通知序号最小的ADSL服务器进行重拨。该ADSL服务器接到通知后，判断当前时间与上次重拨时间间隔Tv是否小于Tmin，若小于Tmin，则需等待Tmin-Tv，否则不用等待。通知状态管理集群将该ADSL服务器设置为不可用，此时，状态管理集群中的可用ADSL服务器数目发生改变。等待Tout后执行重拨，方法同步骤2。(5)客户端与状态管理集群通讯，实时获取当前可用ADSL服务器，并通过该ADSL服务器代理访问外部网络。进一步地，状态管理集群保存当前可用ADSL服务器状态列表，该列表包含每一可用ADSL服务器的局域网ip(Local)、广域网ip(Global)、广域网ip已使用次数(count)、代理端口号及序号Did。本专利技术的有益效果是：本专利技术使用代理集群有效提高了数据吞吐量，使用动态ip有效减少目标网站禁止访问的次数，通过设置重拨等待时间，可在重拨等待时间内有效处理已经接收到的请求，不至于因重拨导致请求超时过多。附图说明图1为本专利技术实施例的代理集群服务系统示意图。具体实施方式下面结合附图与实施例对本专利技术进行进一步说明。本专利技术提供的一种基于ADSL的代理集群服务系统，包括状态管理集群、ip计数服务器、ADSL服务器集群和客户端；所述状态管理集群负责控制ADSL服务器集群中ADSL服务器的重拨和状态收集；具体地，状态管理集群可采用ZooKeeper集群实现；所述ip计数服务器负责对有效时间T内的公网ip计数并提供计数查询功能，超过T后，该ip计数清零；可采用redis或memcache实现；所述ADSL服务器集群中的每台服务器负责执行ADSL重拨、向状态管理集群汇报ip和状态，并提供代理服务；具体地，代理服务可通过squid方式实现，代理端口为Pproxy。所述客户端负责与状态管理集群进行通讯，查询当前可用代理，并通过该代理访问外部网络。本专利技术还提供一种基于ADSL的代理集群服务方法，该方法包括如下步骤：(1)在状态管理集群中保存所有ADSL服务器的配置，包括最小可用代理数Pmin，同ip可重复次数Lmax，最小重拨时间间隔Tmin，代理请求超时时间Tout。具体地，每台ADSL服务器的配置可以json格式保存，如：Config＝{"Pmin"：3,"Lmax":10,"Tmin":180,"Tout":5}(2)ADSL服务器启动服务后，重拨获取公网ip，查询ip计数服务器中该ip的当前计数，若大于Lmax，则继续重拨直到获取的公网ip计数小于Lmax。然后将ip计数服务器中该ip的计数加1，向状态管理集群汇报可用状态，状态管理集群为其分配一个递增序号Did。(3)状态管理集群监控可用ADSL服务器数量，每当可用ADSL服务器数量发生改变时(即有ADSL服务器向状态管理集群发送可用通知或发送不可用通知)，判断可用ADSL服务器数量是否小于Pmin，若小于Pmin，则继续监控。否则执行步骤4。(4)状态管理集群通知序号最小的ADSL服务器进行重拨。该ADSL服务器接到通知后，判断当前时间与上次重拨时间间隔Tv是否小于Tmin，若小于Tmin，则需等待Tmin-Tv，否则不用等待。通知状态管理集群将该ADSL服务器设置为不可用，此时，状态管理集群中的可用ADSL服务器数目发生改变。等待Tout后执行重拨，方法同步骤2。(5)客户端与状态管理集群通讯，实时获取当前可用ADSL服务器，并通过该ADSL服务器代理访问外部网络。进一步地，状态管理集群保存当前可用ADSL服务器状态列表，该列表包含每一可用ADSL服务器的局域网ip(Local)、广域网ip(Global)、广域网ip已使用次数(count)、代理端口号及序号Did。实施例本实施例提供的一种基于ADSL的代理集群服务系统，参见图1，包括状态管理集群2、ip计数服务器3、ADSL服务器集群1和客户端4；此时状态管理集群2中ADSL服务器的配置见下表1：表1ADSL服务器集群1包含3个ADSL服务器，分别为ADSL11、ADSL12和ADSL13。每个ADSL服务器启动后，都会向状态管理集群2注册监听事件，状态管理集群2为其分配唯一序号和并维持可用代理服务器列表。每当可用代理服务列表发生改变时，状态管理集群2注册的监听事件将会被触发，如果可用代理服务器列表数量不小于Pmin时，被触发的事件向状态管理集群2询问当前最小ADSL序号对应的状态S，查询S中的Iplocal与其ip一致的ADSL服务器获得执行重新拨号的权利，其他的ADSL服务器继续注册监听事件。例如：ADSL11启动后，执行重拨，直到获取到一个计数不大于Lmax的公网ip："183.128.x.x"，记此时时间为T11_1，向状态管理集群2汇报，状态管理集群2为其分配唯一序号Did11，并生成状态Sdid11，并将11加入可用代理服务器列表。较优的，状态Sdid11形式如下：Sdid11＝{"id":3,"Local":"192.168.3.100","G本文档来自技高网...

【技术保护点】
一种基于ADSL的代理集群服务系统，其特征在于，包括状态管理集群、ip计数服务器、ADSL服务器集群和客户端；所述状态管理集群负责控制ADSL服务器集群中ADSL服务器的重拨和状态收集；所述ip计数服务器负责对有效时间T内的公网ip计数并提供计数查询功能，超过T后，该ip计数清零；所述ADSL服务器集群中的每台服务器负责执行ADSL重拨、向状态管理集群汇报ip和状态，并提供代理服务；所述客户端负责与状态管理集群进行通讯，查询当前可用代理，并通过该代理访问外部网络。

【技术特征摘要】
1.一种基于ADSL的代理集群服务系统，其特征在于，包括状态管理集群、ip计数服务器、ADSL服务器集群和客户端；所述状态管理集群负责控制ADSL服务器集群中ADSL服务器的重拨和状态收集；所述ip计数服务器负责对有效时间T内的公网ip计数并提供计数查询功能，超过T后，该ip计数清零；所述ADSL服务器集群中的每台服务器负责执行ADSL重拨、向状态管理集群汇报ip和状态，并提供代理服务；所述客户端负责与状态管理集群进行通讯，查询当前可用代理，并通过该代理访问外部网络。2.一种基于ADSL的代理集群服务方法，其特征在于，该方法包括如下步骤：(1)在状态管理集群中保存所有ADSL服务器的配置，包括最小可用代理数Pmin，同ip可重复次数Lmax，最小重拨时间间隔Tmin，代理请求超时时间Tout。(2)ADSL服务器启动服务后，重拨获取公网ip，查询ip计数服务器中该ip的当前计数，若大于Lmax，则继续重拨直到获取的公网ip计数小于Lmax。然后将ip计数服务器中该ip的计数加1，向状态管理集群汇报可用状态，状态管理集群为其分配一个递增...

【专利技术属性】
技术研发人员：黄琦，王伟琼，姬成龙，
申请(专利权)人：杭州淘淘搜科技有限公司，
类型：发明
国别省市：浙江,33