数据采集方法技术

本公开涉及一种数据采集方法

【技术实现步骤摘要】
数据采集方法、装置、计算机设备、存储介质


[0001]本公开涉及数据处理
，特别是涉及一种数据采集方法
、
装置
、
计算机设备
、
存储介质
。

技术介绍

[0002]随着互联网时代的发展，不仅为信息交流提供了越来越多的载体形式，而且也极大的缩短了交流的延迟，使得信息数据传播进入前所未有的低门槛时代
。
在此背景下，繁杂的信息传播过程构成了一个全新的生态网络，利用互联网进行数据采集，提取数据海洋中的有效信息，发掘数据潜在价值，将为人类生活
、
商业发展
、
科研教育等多方面领域带来不可估量的指导价值
。
因此，数据采集技术的成本
、
时效就是及时进行有效数据分析的门槛所在
。
[0003]然而目前数据采集过程中，由于存在硬件压力等问题，不可避免的会出现资源不足
、
资源浪费的情况
。
若被采集数据源的服务器资源不足，采集方就易产生性能浪费，导致数据采集的效率较低；若采集方的硬件性能不足，又无法充分实现对被采集数据源的访问
、
采集
、
监控，也会导致数据采集的效率较低
。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高数据采集效率的数据采集方法
、
装置
、
计算机设备
、
存储介质
。r/>[0005]第一方面，本公开提供了一种数据采集方法
。
所述方法包括：
[0006]与至少一个数据源连接，基于预先设置的采集程序的控制参数和所述采集程序采集每个所述数据源中的数据，获取每个数据源在数据采集过程中的采集参数；
[0007]根据每个数据源在数据采集过程中的采集参数，确定每个所述数据源的目标级别；
[0008]根据每个所述数据源的目标级别，调整所述控制参数，得到每个所述数据源对应的目标控制参数；
[0009]基于每个所述数据源对应的目标控制参数调整所述采集程序，以指示调整后的所述采集程序采集所述数据源中的数据
。
[0010]在其中一个实施例中，所述基于预先设置的采集程序的控制参数和所述采集程序采集每个所述数据源中的数据，获取每个数据源在数据采集过程中的采集参数，包括：
[0011]利用预先设置的采集程序的控制参数和所述采集程序，采集每个所述数据源中的数据，获取在采集过程中的采集指标和所述采集程序采集到的目标数据，所述采集指标为每个数据源相对应的所述采集程序采集到的指标；所述控制参数包括：采集量
、
访问并发数量
、
访问延迟；所述采集指标包括：采集时间
、
采集数据的数据量；
[0012]根据所述采集到的目标数据，确定数据指标，所述数据指标包括：数据新增量
、
数据刷新量；
[0013]根据每个数据源的所述采集指标和数据指标，确定每个数据源的数据采集过程中的采集参数
。
[0014]在其中一个实施例中，所述基于预先设置的采集程序的控制参数和所述采集程序采集每个所述数据源中的数据，获取每个数据源在数据采集过程中的采集参数，还包括：
[0015]在数据采集过程中，调整所述控制参数中访问频率和访问量，对每个所述数据源进行压力测试，确定每个所述数据源的压力指标；
[0016]根据每个数据源的所述采集指标
、
数据指标和压力指标，确定每个数据源的数据采集过程中的采集参数
。
[0017]在其中一个实施例中，所述根据每个数据源在数据采集过程中的采集参数，确定每个所述数据源的目标级别，包括：
[0018]将每个数据源的每种采集指标进行量化定级，确定每个数据源在每种采集指标下的第一级别；
[0019]将每个数据源的每种数据指标进行量化定级，确定每个数据源在每种数据指标下的第二级别；
[0020]将每个数据源的压力指标进行量化定级，确定每个数据源的压力指标对应的第三级别；
[0021]根据所述第一级别
、
所述第二级别和所述第三级别，确定每个所述数据源的目标级别
。
[0022]在其中一个实施例中，所述根据每个所述数据源的目标级别，调整所述控制参数，得到每个所述数据源对应的目标控制参数，包括：
[0023]确定影响所述采集指标的第一控制参数，确定影响所述数据指标的第二控制参数，确定影响所述压力指标的第三控制参数；
[0024]响应于所述目标级别中第一级别未满足预设的第一阈值级别，调整所述第一控制参数，直至利用调整后的第一控制参数确定的目标级别中第一级别满足预设的第一阈值级别；
[0025]响应于所述目标级别中第二级别未满足预设的第二阈值级别，调整所述第二控制参数，直至利用调整后的第二控制参数确定的目标级别中第二级别满足预设的第一阈值级别；
[0026]响应于所述目标级别中第三级别未满足预设的第三阈值级别，调整所述第三控制参数，直至利用调整后的第三控制参数确定的目标级别中第三级别满足预设的第三阈值级别；
[0027]基于调整后的第一控制参数
、
调整后的第二控制参数
、
调整后的第三控制参数中的一种或几种，确定目标控制参数
。
[0028]在其中一个实施例中，所述方法还包括：
[0029]将所述采集参数进行持久化的保存
。
[0030]第二方面，本公开还提供了一种数据采集装置
。
所述装置包括：
[0031]采集参数获取模块，用于与至少一个数据源连接，基于预先设置的采集程序的控制参数和所述采集程序采集每个所述数据源中的数据，获取每个数据源在数据采集过程中的采集参数；
[0032]目标级别确定模块，用于根据每个数据源在数据采集过程中的采集参数，确定每个所述数据源的目标级别；
[0033]控制参数调整模块，用于根据每个所述数据源的目标级别，调整所述控制参数，得到每个所述数据源对应的目标控制参数；
[0034]数据采集模块，用于基于每个所述数据源对应的目标控制参数调整所述采集程序，以指示所述采集程序采集所述数据源中的数据
。
[0035]第三方面，本公开还提供了一种计算机设备
。
所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法实施例中的步骤
。
[0036]第四方面，本公开还提供了一种计算机可读存储介质
。
所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例中的步骤
。
[0037]第五方面，本公开还提供了一种计算机程序产品...

【技术保护点】

【技术特征摘要】
1.
一种数据采集方法，其特征在于，所述方法包括：与至少一个数据源连接，基于预先设置的采集程序的控制参数和所述采集程序采集每个所述数据源中的数据，获取每个数据源在数据采集过程中的采集参数；根据每个数据源在数据采集过程中的采集参数，确定每个所述数据源的目标级别；根据每个所述数据源的目标级别，调整所述控制参数，得到每个所述数据源对应的目标控制参数；基于每个所述数据源对应的目标控制参数调整所述采集程序，以指示调整后的所述采集程序采集所述数据源中的数据
。2.
根据权利要求1所述的方法，其特征在于，所述基于预先设置的采集程序的控制参数和所述采集程序采集每个所述数据源中的数据，获取每个数据源在数据采集过程中的采集参数，包括：利用预先设置的采集程序的控制参数和所述采集程序，采集每个所述数据源中的数据，获取在采集过程中的采集指标和所述采集程序采集到的目标数据，所述采集指标为每个数据源相对应的所述采集程序采集到的指标；所述控制参数包括：采集量
、
访问并发数量
、
访问延迟；所述采集指标包括：采集时间
、
采集数据的数据量；根据所述采集到的目标数据，确定数据指标，所述数据指标包括：数据新增量
、
数据刷新量；根据每个数据源的所述采集指标和数据指标，确定每个数据源的数据采集过程中的采集参数
。3.
根据权利要求2所述的方法，其特征在于，所述基于预先设置的采集程序的控制参数和所述采集程序采集每个所述数据源中的数据，获取每个数据源在数据采集过程中的采集参数，还包括：在数据采集过程中，调整所述控制参数中访问频率和访问量，对每个所述数据源进行压力测试，确定每个所述数据源的压力指标；根据每个数据源的所述采集指标
、
数据指标和压力指标，确定每个数据源的数据采集过程中的采集参数
。4.
根据权利要求3所述的方法，其特征在于，所述根据每个数据源在数据采集过程中的采集参数，确定每个所述数据源的目标级别，包括：将每个数据源的每种采集指标进行量化定级，确定每个数据源在每种采集指标下的第一级别；将每个数据源的每种数据指标进行量化定级，确定每个数据源在每种数据指标下的第二级别；将每个数据源的压力指标进行量化定级，确定每个数据源的压力指标对应的第三级别；根据所述第一级别
、
所述第二级别和所述第三级别，确定每个...

【专利技术属性】
技术研发人员：王炎，孟育伟，
申请(专利权)人：企查查科技股份有限公司，
类型：发明
国别省市：