【技术实现步骤摘要】
本申请涉及互联网，具体涉及一种数据采集方法、装置、存储介质及电子设备。
技术介绍
1、随着互联网的高速发展，通常会使用到代理服务器池(代理ip池)技术进行数据采集，目前，通常会提供多个来源的代理服务器池供数据采集系统接入，其中，接入的方式通常是数据采集系统直接对接代理服务器池。
2、目前，由于不同的代理服务器池有不同的接入方式，数据采集系统在接入不同的代理服务器池时，数据采集系统需为每个代理服务器池分别开发一套接入逻辑，并且需自行控制代理服务器池间的负载均衡。
3、目前的方式下，数据采集系统需重复对接不同的代理服务器池，开发工作量大，数据采集系统难以专注于自身的业务逻辑开发。
技术实现思路
1、本申请实施例提供一种方案，可以有效减少数据采集系统需重复对接代理服务器池的工作，降低了开发工作量，使数据采集系统更专注于自身的业务逻辑开发。
2、本申请实施例提供以下技术方案：
3、根据本申请的一个实施例，一种数据采集方法，其包括：接收数据采集系统发送的数据采集代理请求；从多个代理服务器池中选择所述数据采集代理请求匹配的代理服务器池，得到目标代理服务器池；根据所述目标代理服务器池的鉴权方式，生成所述目标代理服务器池对应的鉴权信息；将所述数据采集代理请求及所述鉴权信息转发至所述目标代理服务器池，以触发所述目标代理服务器池进行数据采集。
4、在本申请的一些实施例中，在所述从多个代理服务器池中选择所述数据采集代理请求匹配的代理服务器池之前
5、在本申请的一些实施例中，所述从多个代理服务器池中选择所述数据采集代理请求匹配的代理服务器池，得到目标代理服务器池，包括：获取所述数据采集代理请求对应的请求协议类型以及各所述代理服务器池的特征信息；从所述多个代理服务器池中选择所述请求协议类型匹配的代理服务器池，得到候选代理服务器池；根据所述候选代理服务器池中包括的代理服务器池的特征信息，对所述候选代理服务器池中包括的代理服务器池进行评分；选择所述候选代理服务器池中评分最高的代理服务器池，得到所述目标代理服务器池。
6、在本申请的一些实施例中，所述特征信息包括代理服务器池权重及代理服务器池使用数据；所述根据所述候选代理服务器池中包括的代理服务器池的特征信息，对所述候选代理服务器池中包括的代理服务器池进行评分，包括：根据所述候选代理服务器池中各代理服务器池的代理服务器池使用数据，计算所述候选代理服务器池中各代理服务器池的使用分数；根据所述候选代理服务器池中各代理服务器池的使用分数及代理服务器池权重的乘积，得到所述候选代理服务器池中各代理服务器池的评分。
7、在本申请的一些实施例中，所述从多个代理服务器池中选择所述数据采集代理请求匹配的代理服务器池，得到目标代理服务器池，包括：从所述数据采集代理请求中获取预设系统对接信息；获取各所述代理服务器池对应的服务器池对接信息；将与所述预设系统对接信息匹配的服务器池对接信息对应的代理服务器池，作为所述目标代理服务器池。
8、在本申请的一些实施例中，所述获取各所述代理服务器池对应的服务器池对接信息，包括：从预定存储位置获得预定时间段内各所述代理服务器池对应的服务器池对接信息，其中，所述预定存储位置中的服务器池对接信息为所述预定时间段内各所述代理服务器池发送的。
9、在本申请的一些实施例中，在所述将所述数据采集代理请求及所述鉴权信息转发至所述目标代理服务器池，以触发所述目标代理服务器池进行数据采集之后，所述方法还包括：接收所述目标代理服务器池返回的内容数据，所述内容数据为所述目标代理服务器池在检测所述鉴权信息后根据所述数据采集代理请求采集的；将所述内容数据转发至所述数据采集系统。
10、根据本申请的一个实施例，一种数据采集装置，所述装置包括：接收模块，用于接收数据采集系统发送的数据采集代理请求；选择模块，用于从多个代理服务器池中选择所述数据采集代理请求匹配的代理服务器池，得到目标代理服务器池；生成模块，用于根据所述目标代理服务器池的鉴权方式，生成所述目标代理服务器池对应的鉴权信息；转发模块，用于将所述数据采集代理请求及所述鉴权信息转发至所述目标代理服务器池，以触发所述目标代理服务器池进行数据采集。
11、在本申请的一些实施例中，还包括鉴权模块，用于：对所述数据采集代理请求按照约定的请求鉴权方式进行鉴权，得到鉴权结果；根据所述鉴权结果，确认是否执行后续数据采集步骤。
12、在本申请的一些实施例中，所述选择模块，用于：获取所述数据采集代理请求对应的请求协议类型以及各所述代理服务器池的特征信息；从所述多个代理服务器池中选择所述请求协议类型匹配的代理服务器池，得到候选代理服务器池；根据所述候选代理服务器池中包括的代理服务器池的特征信息，对所述候选代理服务器池中包括的代理服务器池进行评分；选择所述候选代理服务器池中评分最高的代理服务器池，得到所述目标代理服务器池。
13、在本申请的一些实施例中，所述特征信息包括代理服务器池权重及代理服务器池使用数据；所述选择模块，用于：根据所述候选代理服务器池中各代理服务器池的代理服务器池使用数据，计算所述候选代理服务器池中各代理服务器池的使用分数；根据所述候选代理服务器池中各代理服务器池的使用分数及代理服务器池权重的乘积，得到所述候选代理服务器池中各代理服务器池的评分。
14、在本申请的一些实施例中，所述选择模块，用于：从所述数据采集代理请求中获取预设系统对接信息；获取各所述代理服务器池对应的服务器池对接信息；将与所述预设系统对接信息匹配的服务器池对接信息对应的代理服务器池，作为所述目标代理服务器池。
15、在本申请的一些实施例中，所述选择模块，用于：从预定存储位置获得预定时间段内各所述代理服务器池对应的服务器池对接信息，其中，所述预定存储位置中的服务器池对接信息为所述预定时间段内各所述代理服务器池发送的。
16、在本申请的一些实施例中，所述转发模块还用于：接收所述目标代理服务器池返回的内容数据，所述内容数据为所述目标代理服务器池在检测所述鉴权信息后根据所述数据采集代理请求采集的；将所述内容数据转发至所述数据采集系统。
17、根据本申请的另一实施例，一种存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行本申请实施例所述的方法。
18、根据本申请的另一实施例，一种电子设备可以包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行本申请实施例所述的方法。
19、根据本申请的另一实施例，一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指本文档来自技高网...
【技术保护点】
1.一种数据采集方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述从多个代理服务器池中选择所述数据采集代理请求匹配的代理服务器池之前，还包括：
3.根据权利要求1所述的方法，其特征在于，所述从多个代理服务器池中选择所述数据采集代理请求匹配的代理服务器池，得到目标代理服务器池，包括：
4.根据权利要求3所述的方法，其特征在于，所述特征信息包括代理服务器池权重及代理服务器池使用数据；所述根据所述候选代理服务器池中包括的代理服务器池的特征信息，对所述候选代理服务器池中包括的代理服务器池进行评分，包括：
5.根据权利要求1所述的方法，其特征在于，所述从多个代理服务器池中选择所述数据采集代理请求匹配的代理服务器池，得到目标代理服务器池，包括：
6.根据权利要求5所述的方法，其特征在于，所述获取各所述代理服务器池对应的服务器池对接信息，包括：
7.根据权利要求1所述的方法，其特征在于，在所述将所述数据采集代理请求及所述鉴权信息转发至所述目标代理服务器池，以触发所述目标代理服务器池进行数据采集之后，
8.一种数据采集装置，其特征在于，包括：
9.一种存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7任一项所述的方法。
10.一种电子设备，其特征在于，包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行权利要求1至7任一项所述的方法。
...【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述从多个代理服务器池中选择所述数据采集代理请求匹配的代理服务器池之前，还包括：
3.根据权利要求1所述的方法，其特征在于，所述从多个代理服务器池中选择所述数据采集代理请求匹配的代理服务器池，得到目标代理服务器池，包括：
4.根据权利要求3所述的方法，其特征在于，所述特征信息包括代理服务器池权重及代理服务器池使用数据；所述根据所述候选代理服务器池中包括的代理服务器池的特征信息，对所述候选代理服务器池中包括的代理服务器池进行评分，包括：
5.根据权利要求1所述的方法，其特征在于，所述从多个代理服务器池中选择所述数据采集代理请求匹配的代理服务器池，...
【专利技术属性】
技术研发人员：陈生，
申请(专利权)人：深圳TCL新技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。