代理IP动态管理方法、设备及计算机可读存储介质技术

本发明专利技术涉及金融科技(Fintech)技术领域。本发明专利技术公开了一种代理IP动态管理方法、设备及介质，本发明专利技术针对目标代理IP可能存在的不同种类进行分类分池存储，从而初步提升了代理池的稳定性与有效性；针对不同优先级的代理池提供不同的有效性检测方式，避免了现有的采用独立有效性检测程序异步进行检测的方式为采集效率所带来的影响；通过采用有效性检测所得结果实现目标代理IP所属代理池的动态更新，使得能够时刻准确识别目标代理IP实际的有效性，进而减低误判，提高目标代理IP的使用效率，进一步形成了高可用的代理池；基于动态流动的目标代理IP按照优先级对数据采集任务提供针对性服务，避免了现有方式中代理池无差别对外提供服务，从而有效提高了数据采集任务的完成效率。从而有效提高了数据采集任务的完成效率。从而有效提高了数据采集任务的完成效率。

【技术实现步骤摘要】
代理IP动态管理方法、设备及计算机可读存储介质


[0001]本专利技术涉及金融科技(Fintech)
，尤其涉及代理IP动态管理方法、设备及计算机可读存储介质。

技术介绍

[0002]随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。
[0003]大规模采集互联网公开数据往往会消耗大量代理IP，现有的获取代理IP的方式通常有两种，一种是直接购买付费代理IP，另一种是获取互联网公开的免费代理IP。但付费代理IP的有效时间有限，而免费代理IP可能只有部分可用并且有效时间更短，因此无论是付费代理还是免费代理，都不能保证时刻有效可用，一旦选用了无效的代理IP，势必会影响到数据采集的工作效率，从而导致了基于现有的代理IP管理方式所进行数据采集任务的效率低下的技术问题。

技术实现思路

[0004]本专利技术的主要目的在于提出一种代理IP动态管理方法、设备及计算机可读存储介质，旨在解决基于现有的代理IP管理方式所进行数据采集任务的效率低下的技术问题。
[0005]为实现上述目的，本专利技术提供一种代理IP动态管理方法，所述代理IP动态管理方法包括：
[0006]获取目标代理IP，并确定所述目标代理IP的种类；
[0007]根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储，并确定各所述代理池分别对应的有效性检测方式；
[0008]根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池，并基于所述目标代理池下的目标代理IP按照对应优先级对数据采集任务提供针对性服务。
[0009]可选地，所述目标代理IP的种类包括付费代理IP，
[0010]所述根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储的步骤包括：
[0011]在检测到所述目标代理IP的种类为付费代理IP时，在若干所述代理池中分配高优先级的代理池作为所述初始代理池，以将所述付费代理IP存储至所述高优先级的代理池中。
[0012]可选地，所述有效性检测方式包括第一有效性检测方式，
[0013]所述确定各所述代理池分别对应的有效性检测方式的步骤包括：
[0014]针对所述高优先级的代理池，确定采用采集服务结果检测的方式作为所述第一有
效性检测方式；
[0015]所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤包括：
[0016]按照所述第一有效性检测方式，在检测所述付费代理IP进行高优先级采集服务后得到失败采集结果时，判断所述付费代理IP是否处于有效时间；
[0017]若是，则将所述付费代理IP的所属代理池确定为若干所述代理池中低优先级的代理池，以将所述付费代理IP从所述高优先级的代理池移动至所述低优先级的代理池。
[0018]可选地，所述目标代理IP的种类包括免费代理IP，
[0019]所述根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储的步骤包括：
[0020]在检测到所述目标代理IP的种类为免费代理IP时，计算所述免费代理IP的初始时延因子；
[0021]判断所述初始时延因子是否大于预设第一时延阈值且小于预设第二时延阈值，其中，所述预设第二时延阈值大于所述预设第一时延阈值；
[0022]若是，则将在若干所述代理池中分配低优先级的代理池作为所述初始代理池，以将所述免费代理IP存储至所述低优先级的代理池中。
[0023]可选地，所述有效性检测方式包括第二有效性检测方式，
[0024]所述确定各所述代理池分别对应的有效性检测方式的步骤包括：
[0025]针对所述低优先级的代理池，确定采用固定网站定时检测的方式作为所述第二有效性检测方式；
[0026]所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤包括：
[0027]按照所述第二有效性检测方式，每隔预设检测时间间隔计算所述免费代理IP在固定网站上的目标时延因子；
[0028]判断所述目标时延因子是否大于所述预设第二时延阈值；
[0029]若否，则将所述低优先级的代理池作为所述免费代理IP的目标代理池。
[0030]可选地，所述基于所述目标代理池下的目标代理IP对数据采集任务提供针对性服务的步骤包括：
[0031]获取所述数据采集任务的封禁IP策略以及对代理池的服务质量要求，以根据所述封禁IP策略与所述服务质量要求选用所述目标代理池下的目标代理IP。
[0032]可选地，所述目标代理IP的种类包括免费代理IP和付费代理IP，
[0033]所述获取目标代理IP，并确定所述目标代理IP的种类的步骤包括：
[0034]每隔预设第一采集时间间隔，使用网络爬虫以多线程方式从指定代理源上采集第一代理IP，并将所述第一代理IP标记为所述免费代理IP；
[0035]每隔预设第二采集时间间隔，通过接口形式获取第二付费代理IP，并将所述第二代理IP标记为所述付费代理IP。
[0036]可选地，所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行
有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤之后，还包括：
[0037]检测每一所述代理池中存储的目标代理IP数量是否低于预设数量阈值；
[0038]若所述代理池中存储的目标代理IP数量低于预设数量阈值，则生成代理IP获取指令，以补充新的代理IP至所述代理池。
[0039]此外，为实现上述目的，本专利技术还提供一种代理IP动态管理装置，所述代理IP动态管理装置包括：
[0040]代理IP种类确定模块，用于获取目标代理IP，并确定所述目标代理IP的种类；
[0041]代理IP分池存储模块，用于根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储，并确定各所述代理池分别对应的有效性检测方式；
[0042]代理IP有效性检测模块，用于根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池，并基于所述目标代理池下的目标代理IP按照对应优先级对数据采集任务提供针对性服务。
...

【技术保护点】

【技术特征摘要】
1.一种代理IP动态管理方法，其特征在于，所述代理IP动态管理方法包括：获取目标代理IP，并确定所述目标代理IP的种类；根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储，并确定各所述代理池分别对应的有效性检测方式；根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池，并基于所述目标代理池下的目标代理IP按照对应优先级对数据采集任务提供针对性服务。2.如权利要求1所述的代理IP动态管理方法，其特征在于，所述目标代理IP的种类包括付费代理IP，所述根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储的步骤包括：在检测到所述目标代理IP的种类为付费代理IP时，在若干所述代理池中分配高优先级的代理池作为所述初始代理池，以将所述付费代理IP存储至所述高优先级的代理池中。3.如权利要2所述的代理IP动态管理方法，其特征在于，所述有效性检测方式包括第一有效性检测方式，所述确定各所述代理池分别对应的有效性检测方式的步骤包括：针对所述高优先级的代理池，确定采用采集服务结果检测的方式作为所述第一有效性检测方式；所述根据所述初始代理池对应的有效性检测方式对所述目标代理IP进行有效性检测，以将所述目标代理IP的所属代理池从所述初始代理池动态更新至若干所述代理池中的目标代理池的步骤包括：按照所述第一有效性检测方式，在检测所述付费代理IP进行高优先级采集服务后得到失败采集结果时，判断所述付费代理IP是否处于有效时间；若是，则将所述付费代理IP的所属代理池确定为若干所述代理池中低优先级的代理池，以将所述付费代理IP从所述高优先级的代理池移动至所述低优先级的代理池。4.如权利要求1所述的代理IP动态管理方法，其特征在于，所述目标代理IP的种类包括免费代理IP，所述根据所述目标代理IP的种类为所述目标代理IP在若干优先级不同的代理池中分配初始代理池以供存储的步骤包括：在检测到所述目标代理IP的种类为免费代理IP时，计算所述免费代理IP的初始时延因子；判断所述初始时延因子是否大于预设第一时延阈值且小于预设第二时延阈值，其中，所述预设第二时延阈值大于所述预设第一时延阈值；若是，则将在若干所述代理池中分配低优先级的代理池作为所述初始代理池，以将所述免费代理IP存储至所述低优先级的代理池中。5.如权利要求4所述的代理IP动态管理方法，其特征在于，所述有效性检测方式包...

【专利技术属性】
技术研发人员：张振海，廖海波，陈婷，吴三平，王宗泽，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：