一种确定可复用代理队列的方法、装置、终端及存储介质制造方法及图纸

本发明专利技术公开了一种确定可复用代理队列的方法，并公开了该方法对应的的装置、终端及存储介质。其中确定可复用代理队列的方法通过给客户端想要访问的目标网站分配代理环境，并依据代理环境的访问结果，确定代理环境是否适用于目标网站，如果适用则将该代理环境保存至目标网站对应的可复用代理队列中，方便访问其他客户端访问目标网站，提高了处理效率。提高了处理效率。提高了处理效率。

【技术实现步骤摘要】
一种确定可复用代理队列的方法、装置、终端及存储介质


[0001]本专利技术涉及计算机应用设计领域，特别涉及一种确定可复用代理队列的方法、装置、终端及存储介质。

技术介绍

[0002]任何网络在建设的时候，一般会采取保护性的措施，这些保护措施当中，最常见的一种保护措施，就是限制每个IP的访问频率，也就是说，单位时间内一个IP在目标网站上获取的信息是非常有限的。
[0003]但是在采集网络数据的时候，目标网络的这种保护机制就会导致信息的获取效率不高，难以将目标网站上的信息进行全面的采集。
[0004]为了解决这种采集网络数据过程中出现的问题，现有技术通常采用IP代理池的方法或随机隧道代理的方法。但是现有的方案中，往往存在管理效率较低、连接速度不理想、线程不安全等一系列问题。

技术实现思路

[0005]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种确定可复用代理队列的方法，能够提供一种高并发可控性且处理迅速的方案。
[0006]本专利技术还提出一种确定可复用代理队列的设备、终端及存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定可复用代理队列的方法，其特征在于，包括以下步骤：获取来自客户端的访问请求；确定适用于所述访问请求的当前代理环境；基于所述当前代理环境向目标网站发送所述访问请求，依据所述目标网站的响应消息判断所述当前代理环境是否适用于所述目标网站；如果所述当前代理环境适用于所述目标网站，则将所述当前代理环境保存至所述目标网站对应的可复用代理环境队列。2.根据权利要求1所述的方法，其特征在于，所述确定适用于所述访问请求的当前代理环境的步骤，包括：确定所述访问请求将要访问的目标网站，获取所述目标网站对应的可复用代理环境队列；若所述可复用代理环境队列中存在可用的代理环境，则从所述可复用代理环境队列选择代理环境作为当前代理环境；若所述可复用代理环境队列中不存在可用的代理环境，则从可用代理队列中选择不在黑名单或灰名单当中的代理，作为当前代理环境，其中所述黑名单中记录有不适用于所述目标网站的代理，所述灰名单中记录有正在被使用的代理。3.根据权利要求2所述的方法，其特征在于，所述从可用代理队列中选择不在黑名单或灰名单当中的代理，作为当前代理环境的步骤，包括：从可用代理队列中选择不在黑名单或灰名单当中的代理；将所述代理与所述目标网站的网站信息进行组合，将组合结果作为对应于所述目标网站的当前代理环境。4.根据权利要求2所述的方法，其特征在于，确定所述可用代理队列的步骤，包括：从第三方代理商获取来源代理并置入代理池；确定代理池中每个所述来源代理的响应速度级别；使用每个所述来源代理的响应速度级别作为存储优先级，将所述来源代理定时存储到可用代理队列当中。5.根据权利要求1所述的方法，其特征在于，所述依据所述目标网站的响应消息判断所述当前代理环境是否适用于所述目标网站的步骤，包括：如果所述响应消息中的响应状态码是环境失效状态码，则判定所述当前代理环境不适用于所述目标网站；如果无法通过所述当前代理环境与所述目标网站建立连接，则判定所述当前代理环境不适用于所述目标网站；如果能够通过所述当前代理环境与所述目标网站建立连接，但接收所述目标网站的响应超时，则判定所述当前...

【专利技术属性】
技术研发人员：吕松科，程正武，
申请(专利权)人：盐城金堤科技有限公司，
类型：发明
国别省市：