一种数据采集方法技术

本申请公开了一种数据采集方法

【技术实现步骤摘要】
一种数据采集方法、装置、设备及介质


[0001]本申请涉及大数据领域或金融领域，特别涉及一种数据采集方法
、
装置
、
设备及介质
。

技术介绍

[0002]不同的银行系统之间通过数据文件传输信息，上游系统采集下游系统需要的文本数据的过程即为数据采集
。
[0003]相关技术中，在多批次
、
多环境测试并行的场景下，下游系统对数据采集的要求变得更多更复杂，甚至每日固定的批量数据采集无法满足下游系统的数据需求，此时则需要技术人员手工进行数据采集
。
[0004]然而，手工数据采集可能会出现遗漏恢复环境参数
、
遗漏清理文件等操作问题，导致大大降低技术人员的测试效率
。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种数据采集方法
、
装置
、
设备及介质，能够提高技术人员的测试效率
。
[0006]本申请实施例公开了如下技术方案：
[0007]第一方面，本申请提供了一种数据采集方法，应用于上游系统，所述方法包括：
[0008]接收数据采集请求，所述数据采集请求为下游系统发送至所述上游系统的，所述下游系统是具有数据采集需求的系统，所述上游系统是基于所述数据采集需求实际执行数据采集的系统，所述数据采集请求中包括采集指令和参数配置包；
[0009]根据所述参数配置包，配置所述上游系统中的采集配置文件；
[0010]根据所述采集指令，在配置后的采集配置文件中执行数据采集；
[0011]向所述下游系统发送数据采集结果
。
[0012]可选的，所述方法还包括：
[0013]响应于所述下游系统发送的反馈指令，删除所述配置后的采集配置文件中的配置信息
。
[0014]可选的，所述方法还包括：
[0015]保存所述参数配置包和所述数据采集结果
。
[0016]可选的，所述数据采集请求为所述下游系统发送至所述上游系统的，所述数据采集请求中还包括接口名称；
[0017]所述根据所述参数配置包，配置所述上游系统中的采集配置文件，包括：
[0018]验证所述数据采集请求中的接口名称是否与所述上游系统中的本地接口名称一致；
[0019]若是，则根据所述参数配置包，配置所述上游系统中的采集配置文件
。
[0020]可选的，所述数据采集请求为所述下游系统发送至所述上游系统的，所述数据采
集请求中包括应用程序信息，所述应用程序信息包括应用程序名称
、
应用程序编码和应用程序版本号中的一种或多种；
[0021]所述根据所述参数配置包，配置所述上游系统中的采集配置文件，包括：
[0022]验证所述数据采集请求中的应用程序信息是否与所述上游系统中的本地应用程序信息一致；
[0023]若是，则根据所述参数配置包，配置所述上游系统中的采集配置文件
。
[0024]可选的，所述参数配置包中包括采集起始日期
、
采集起始时间
、
所需采集的数据表
、
所需采集的环境表和达成数据采集所需要的配置参数中的一种或多种
。
[0025]第二方面，本申请提供了一种数据采集装置，应用于上游系统，所述装置包括：接收请求模块
、
参数配置模块
、
数据采集模块和发送结果模块；
[0026]所述接收请求模块，用于接收数据采集请求，所述数据采集请求为下游系统发送至所述上游系统的，所述下游系统是具有数据采集需求的系统，所述上游系统是基于所述数据采集需求实际执行数据采集的系统，所述数据采集请求中包括采集指令和参数配置包；
[0027]所述参数配置模块，用于根据所述参数配置包，配置所述上游系统中的采集配置文件；
[0028]所述数据采集模块，用于根据所述采集指令，在配置后的采集配置文件中执行数据采集；
[0029]所述发送结果模块，用于向所述下游系统发送数据采集结果
。
[0030]可选的，所述装置还包括：恢复配置模块；
[0031]所述恢复配置模块，用于响应于所述下游系统发送的反馈指令，删除所述配置后的采集配置文件中的配置信息
。
[0032]第三方面，本申请提供了一种数据采集设备，包括：存储器和处理器；
[0033]所述存储器，用于存储程序；
[0034]所述处理器，用于执行所述计算机程序时实现上述数据采集方法的步骤
。
[0035]第四方面，本申请提供了一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述数据采集方法的步骤
。
[0036]相较于现有技术，本申请具有以下有益效果：
[0037]本申请公开了一种数据采集方法
、
装置
、
设备及介质，该方法应用于上游系统，包括：接收数据采集请求，该数据采集请求为下游系统发送至上游系统的，下游系统是具有数据采集需求的系统，上游系统是基于数据采集需求实际执行数据采集的系统，该数据采集请求中包括采集指令和参数配置包；根据参数配置包，配置上游系统中的采集配置文件；根据采集指令，在配置后的采集配置文件中执行数据采集；向下游系统发送数据采集结果
。
由此，可以根据每次下游系统的不同的数据采集需求，差异化
、
配置化地在不同环境的采集配置文件中执行数据采集，降低测试的时间成本，进而提高技术人员的测试效率
。
附图说明
[0038]为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的
一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0039]图1为本申请实施例提供的一种数据采集方法的流程图；
[0040]图2为本申请实施例提供的一种数据采集装置的示意图；
[0041]图3为本申请实施例提供的一种计算机可读介质的示意图；
[0042]图4为本申请实施例提供的一种服务器的硬件结构示意图
。
具体实施方式
[0043]本专利技术提供的一种数据采集方法
、
装置
、
设备与介质可用于大数据领域或金融领域
。
上述仅为示例，并不对本专利技术提供的一种数据采集方法
、
装置
、
设备与介质的应用领域进行限定
。
[0044]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。
术语“基于”是“至少部分地基于”。
术语“一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据采集方法，其特征在于，应用于上游系统，所述方法包括：接收数据采集请求，所述数据采集请求为下游系统发送至所述上游系统的，所述下游系统是具有数据采集需求的系统，所述上游系统是基于所述数据采集需求实际执行数据采集的系统，所述数据采集请求中包括采集指令和参数配置包；根据所述参数配置包，配置所述上游系统中的采集配置文件；根据所述采集指令，在配置后的采集配置文件中执行数据采集；向所述下游系统发送数据采集结果
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于所述下游系统发送的反馈指令，删除所述配置后的采集配置文件中的配置信息
。3.
根据权利要求1所述的方法，其特征在于，所述方法还包括：保存所述参数配置包和所述数据采集结果
。4.
根据权利要求1所述的方法，其特征在于，所述数据采集请求中还包括接口名称；所述根据所述参数配置包，配置所述上游系统中的采集配置文件，包括：验证所述数据采集请求中的接口名称是否与所述上游系统中的本地接口名称一致；若是，则根据所述参数配置包，配置所述上游系统中的采集配置文件
。5.
根据权利要求1所述的方法，其特征在于，所述数据采集请求中还包括应用程序信息，所述应用程序信息包括应用程序名称
、
应用程序编码和应用程序版本号中的一种或多种；所述根据所述参数配置包，配置所述上游系统中的采集配置文件，包括：验证所述数据采集请求中的应用程序信息是否与所述上游系统中的本地应用程序信息一致；若是，则根据所述参数配置包，配置所述上游系统中的采集配置文件
。6.
根据权利要...

【专利技术属性】
技术研发人员：孔庆钰，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：