数据采集方法和装置制造方法及图纸

本发明专利技术公开了一种数据采集方法和装置，涉及大数据智能分析技术领域。该方法的一具体实施方式包括：接收数据采集请求；获取所述数据采集请求中包含的至少一个区域编码、各所述区域编码对应的请求时间范围及业务类型；针对各所述区域编码：根据所述区域编码对应的请求时间范围及业务类型，生成所述区域编码对应的区域采集请求；从多个区域节点中，确定出所述区域编码对应的目标节点；将所述区域采集请求发送给所述目标节点；接收所述目标节点返回的区域数据；其中，所述目标节点调用所述区域采集请求中的业务类型对应的采集程序，以生成所述区域数据。该实施方式能够提升多数据源数据的采集效率，且时效性较好。且时效性较好。且时效性较好。

【技术实现步骤摘要】
数据采集方法和装置


[0001]本专利技术大数据智能分析
，尤其涉及一种数据采集方法和装置。

技术介绍

[0002]由于业务需求，经常需要对存储在多个信息系统中的数据进行集中处理分析。但很多情况下，各个信息系统都是隔离的，各个信息系统独立存储处理数据，缺乏针对多个系统的综合处理能力。现有技术中，如果需要对多数据源进行数据采集，通常是对各个信息系统进行线下采集再汇总。这种方式耗时较长，时效性较差，且需要耗费较多的人力成本。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种数据采集方法和装置，耗时较短，时效性较好，能够减少多数据源采集数据所需的人力成本。
[0004]第一方面，本专利技术实施例提供了一种数据采集方法，包括：
[0005]接收数据采集请求；
[0006]获取所述数据采集请求中包含的至少一个区域编码、各所述区域编码对应的请求时间范围及业务类型；
[0007]针对各所述区域编码：根据所述区域编码对应的请求时间范围及业务类型，生成所述区域编码对应的区域采集请求；从多个区域节点中，确定出所述区域编码对应的目标节点；将所述区域采集请求发送给所述目标节点；接收所述目标节点返回的区域数据；其中，所述目标节点调用所述区域采集请求中的业务类型对应的采集程序，以生成所述区域数据。
[0008]可选地，所述根据所述区域编码对应的请求时间范围及业务类型，生成所述区域编码对应的区域采集请求，包括：
[0009]获取所述中心节点中的已存储时间范围，所述已存储时间范围对应于所述区域编码及所述业务类型；
[0010]根据所述请求时间范围及所述已存储时间范围，确定采集时间范围；
[0011]生成包含所述采集时间范围及所述业务类型的所述区域采集请求。
[0012]可选地，所述接收所述目标节点返回的区域数据之后，还包括：
[0013]根据所述区域数据对应的业务类型，确定目标表；
[0014]将所述区域数据存储在所述目标表中。
[0015]可选地，所述接收所述目标节点返回的区域数据之后，还包括：
[0016]确定所述区域数据对应的采集时间范围；
[0017]利用所述采集时间范围，更新所述中心节点中的已存储时间范围，所述已存储时间范围与所述区域编码及所述业务类型相对应。
[0018]可选地，所述接收数据采集请求之前，还包括：
[0019]生成所述区域编码对应的采集配置信息，所述采集配置信息包含采集程序与业务
类型的对应关系；
[0020]向所述区域编码对应的区域节点发送部署信息，所述部署信息包括：所述采集配置信息及采集程序的安装包。
[0021]可选地，还包括：
[0022]确定所述区域编码对应的升级程序包及所述升级程序包对应的业务类型；
[0023]向所述区域编码对应的区域节点发送升级信息，所述升级信息包括：所述升级程序包及所述升级程序包对应的业务类型。
[0024]可选地，所述目标节点调用所述区域采集请求中的业务类型对应的采集程序，以生成所述区域数据，包括：
[0025]所述目标节点获取所述区域采集请求中包含的采集时间范围；
[0026]将所述采集时间范围作为输入，调用所述采集程序，得到采集数据；
[0027]生成所述区域数据，所述区域数据中包括：所述采集数据、所述区域节点对应的区域编码及所述业务类型。
[0028]第二方面，本专利技术实施例提供了一种数据采集装置，包括：
[0029]请求接收模块，用于接收数据采集请求；
[0030]信息获取模块，用于获取所述数据采集请求中包含的至少一个区域编码、各所述区域编码对应的请求时间范围及业务类型；
[0031]数据接收模块，用于针对各所述区域编码：根据所述区域编码对应的请求时间范围及业务类型，生成所述区域编码对应的区域采集请求；从多个区域节点中，确定出所述区域编码对应的目标节点；将所述区域采集请求发送给所述目标节点；接收所述目标节点返回的区域数据；其中，所述目标节点调用所述区域采集请求中的业务类型对应的采集程序，以生成所述区域数据。
[0032]可选地，所述数据接收模块具体用于：
[0033]获取所述中心节点中的已存储时间范围，所述已存储时间范围对应于所述区域编码及所述业务类型；
[0034]根据所述请求时间范围及所述已存储时间范围，确定采集时间范围；
[0035]生成包含所述采集时间范围及所述业务类型的所述区域采集请求。
[0036]可选地，还包括：
[0037]存储模块，用于根据所述区域数据对应的业务类型，确定目标表；
[0038]将所述区域数据存储在所述目标表中。
[0039]可选地，还包括：
[0040]更新模块，用于确定所述区域数据对应的采集时间范围；
[0041]利用所述采集时间范围，更新所述中心节点中的已存储时间范围，所述已存储时间范围与所述区域编码及所述业务类型相对应。
[0042]可选地，还包括：
[0043]部署模块，用于生成所述区域编码对应的采集配置信息，所述采集配置信息包含采集程序与业务类型的对应关系；
[0044]向所述区域编码对应的区域节点发送部署信息，所述部署信息包括：所述采集配置信息及采集程序的安装包。
[0045]第三方面，本专利技术实施例提供了一种电子设备，包括：
[0046]一个或多个处理器；
[0047]存储装置，用于存储一个或多个程序，
[0048]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。
[0049]第四方面，本专利技术实施例提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
[0050]第五方面，本专利技术实施例提供了一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
[0051]上述专利技术中的一个实施例具有如下优点或有益效果：中心节点在接收到数据采集请求之后，根据数据采集请求中包含的至少一个区域编码、各区域编码对应的请求时间范围及业务类型，生成针对各区域节点的区域采集请求，将各区域采集请求发送给其对应的区域节点，并接收各区域节点返回的区域数据。因此，能够对各区域节点中的数据高效采集并集中存放处理。相比线下采集的方式，本专利技术实施例的方案耗时较短，时效性较好，且能够减少采集数据所需的人力成本。
[0052]此外，根据区域采集请求中的采集时间范围，区域节点能够更加灵活高效地进行数据采集，避免重复采集。区域节点中针对不同的业务类型部署了不同的采集程序。根据区域采集请求中的业务类型调用对应的采集程序，不仅更有针对性的进行数据采集，还便于后续的运维升级等工作的进行。
[0053]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：接收数据采集请求；获取所述数据采集请求中包含的至少一个区域编码、各所述区域编码对应的请求时间范围及业务类型；针对各所述区域编码：根据所述区域编码对应的请求时间范围及业务类型，生成所述区域编码对应的区域采集请求；从多个区域节点中，确定出所述区域编码对应的目标节点；将所述区域采集请求发送给所述目标节点；接收所述目标节点返回的区域数据；其中，所述目标节点调用所述区域采集请求中的业务类型对应的采集程序，以生成所述区域数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述区域编码对应的请求时间范围及业务类型，生成所述区域编码对应的区域采集请求，包括：获取所述中心节点中的已存储时间范围，所述已存储时间范围对应于所述区域编码及所述业务类型；根据所述请求时间范围及所述已存储时间范围，确定采集时间范围；生成包含所述采集时间范围及所述业务类型的所述区域采集请求。3.根据权利要求1所述的方法，其特征在于，所述接收所述目标节点返回的区域数据之后，还包括：根据所述区域数据对应的业务类型，确定目标表；将所述区域数据存储在所述目标表中。4.根据权利要求1所述的方法，其特征在于，所述接收所述目标节点返回的区域数据之后，还包括：确定所述区域数据对应的采集时间范围；利用所述采集时间范围，更新所述中心节点中的已存储时间范围，所述已存储时间范围与所述区域编码及所述业务类型相对应。5.根据权利要求1所述的方法，其特征在于，所述接收数据采集请求之前，还包括：生成所述区域编码对应的采集配置信息，所述采集配置信息包含采集程序与业务类型的对应关系；向所述区域编码对应的区域节点发送部署信息，所述部署信息包括：所述采集配置信息及采集程序的安装包。6.根据权利要求1所述的方法，其特征在于，还包括：确定所述区域编码对应的升级程序包及所述升级程序包对应的业务类型；向所述区域编码对应的区域节点发送升级信息，所述升级信息包括：所述升级程序包及所述升级程序包对应的业务类型。7.根据权利要求1所述的方法，其特征在于，所述目标节点调用所述区域采集请求中的业务类型对应的采集程序，以生成所述区域数据，包括：所述目标节点获取所述区域采集请求中包含的采集时间范围；将所述采集时间范围作为输入，调用所述采集程序，得到采集数据；生成所述区域数据，所述区域数据中包括：所述采集数据、所述区...

【专利技术属性】
技术研发人员：王能忠，刘朔臣，赵燕，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：