【技术实现步骤摘要】
本申请涉及数据处理领域，尤其涉及一种数据采集方法、装置和电子设备。
技术介绍
1、目前，客户端是采用分页查询数据库进行数据的采集，然后通过http(hypertexttransfer protocol，超文本传输协议)接口实时传输数据到服务器。该数据采集方式存在以下缺点：1)循环多次分页查询，占用数据库链接频繁，如果数据库链接释放不及时，容易导致数据库连接池满了造成数据库假死；2)通过http实时传送数据，更容易造成因网络波动传输失败；3)数据采集效率低；4)实时采集数据，对服务器压力大。
2、综上，亟需一种可以解决上述问题的数据采集方法。
技术实现思路
1、本申请实施例提供了一种数据采集方法、装置和电子设备，以解决现有的数据采集方法存在的问题。
2、本申请第一方面提供一种数据采集方法，应用于客户端，数据采集方法包括：接收服务器发送的采集指令，采集指令携带采集参数；根据采集参数，异步从中间数据库中获取不同时间的多批目标数据，中间数据库中存储有业务系统执行相关业务产生的数据；基于多批目标数据，生成压缩文件以及压缩文件的第一文件摘要；向服务器发送压缩文件和第一文件摘要，服务器用于根据第一文件摘要解压缩压缩文件得到目标数据。
3、在本申请一个实施例中，基于多批目标数据，生成压缩文件以及压缩文件的第一文件摘要，包括：采用预设加密算法对多批目标数据进行加密，得到加密数据；将加密数据写入文件，得到目标文件；压缩目标文件，得到压缩文件；基于压缩文件，确定第一文
4、在本申请一个实施例中，采集参数包括：采集范围和/或采集数据类型。
5、本申请第二方面提供一种数据采集方法，应用于服务器，数据采集方法包括：
6、向客户端发送采集指令，采集指令用于指示客户端根据第一方面任一项的数据采集方法采集目标数据。
7、一种可选实施例中，向客户端发送采集指令之后，还包括：接收客户端发送的压缩文件和第一文件摘要；确定压缩文件的第二文件摘要；在第一文件摘要和第二文件摘要比对一致的情况下，解压缩压缩文件，得到目标数据。
8、一种可选实施例中，解压缩压缩文件，得到目标数据，包括：解压缩压缩文件，得到解压文件；采用预设解密算法解密解压文件，得到解密数据；校验解密数据，并在解密数据校验通过的情况下，确定解密数据为目标数据。
9、一种可选实施例中，解压缩压缩文件，得到目标数据之后，还包括：保存目标数据至预设大数据集群。
10、一种可选实施例中，还包括：在解密数据校验不通过的情况下，将校验结果保存至预设大数据集群。
11、本申请第三方面提供一种数据采集装置，应用于客户端，数据采集装置包括：
12、接收模块，用于接收服务器发送的采集指令，采集指令携带采集参数；
13、获取模块，用于根据采集参数，异步从中间数据库中获取不同时间的多批目标数据，中间数据库中存储有业务系统执行相关业务产生的数据；
14、生成模块，用于基于多批目标数据，生成压缩文件以及压缩文件的第一文件摘要；
15、发送模块，用于向服务器发送压缩文件和第一文件摘要，服务器用于根据第一文件摘要解压缩压缩文件得到目标数据。
16、在本申请一个实施例中，生成模块：具体用于采用预设加密算法对多批目标数据进行加密，得到加密数据；将加密数据写入文件，得到目标文件；压缩目标文件，得到压缩文件；基于压缩文件，确定第一文件摘要。
17、在本申请一个实施例中，采集参数包括：采集范围和/或采集数据类型。
18、本申请第四方面提供一种数据采集装置，应用于服务器，数据采集装置包括：
19、发送模块，用于向客户端发送采集指令，采集指令用于指示客户端根据第一方面任一项的数据采集方法采集目标数据。
20、一种可选实施例中，向客户端发送采集指令之后，还包括：处理模块，用于接收客户端发送的压缩文件和第一文件摘要；确定压缩文件的第二文件摘要；在第一文件摘要和第二文件摘要比对一致的情况下，解压缩压缩文件，得到目标数据。
21、一种可选实施例中，处理模块，在解压缩压缩文件，得到目标数据时，具体用于：解压缩压缩文件，得到解压文件；采用预设解密算法解密解压文件，得到解密数据；校验解密数据，并在解密数据校验通过的情况下，确定解密数据为目标数据。
22、一种可选实施例中，还包括，保存模块，用于解压缩压缩文件，得到目标数据之后，保存目标数据至预设大数据集群。
23、一种可选实施例中，保存模块，还用于在解密数据校验不通过的情况下，将校验结果保存至预设大数据集群。
24、本申请第五方面提供一种电子设备，包括存储器与处理器；其中，
25、存储器用于存储程序代码；
26、处理器用于调用程序代码实现上述任一项的数据采集方法。
27、本申请第六方面提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使得电子设备执行上述任一项的数据采集方法。
28、本申请第七方面提供一种计算机程序产品，其上存储有计算机程序，计算机程序被处理器执行时，使得电子设备执行上述任一项的数据采集方法。
29、由上述技术方案可以看出，本申请实施例包括：接收服务器发送的采集指令，采集指令携带采集参数；根据采集参数，异步从中间数据库中获取不同时间的多批目标数据，中间数据库中存储有业务系统执行相关业务产生的数据；基于多批目标数据，生成压缩文件以及压缩文件的第一文件摘要；向服务器发送压缩文件和第一文件摘要，服务器用于根据第一文件摘要解压缩压缩文件得到目标数据。本申请通过将多批目标数据汇总打包后发送给服务器，能够避免实时传输数据导致的网络波动以及数据传输效率低的问题。
本文档来自技高网...【技术保护点】
1.一种数据采集方法，其特征在于，应用于客户端，所述数据采集方法包括：
2.根据权利要求1所述的数据采集方法，其特征在于，所述基于所述多批目标数据，生成压缩文件以及所述压缩文件的第一文件摘要，包括：
3.根据权利要求1或2所述的数据采集方法，其特征在于，所述采集参数包括：采集范围和/或采集数据类型。
4.一种数据采集方法，其特征在于，应用于服务器，所述数据采集方法包括：
5.根据权利要求4所述的数据采集方法，其特征在于，所述向客户端发送采集指令之后，还包括：
6.根据权利要求5所述的数据采集方法，其特征在于，所述解压缩所述压缩文件，得到所述目标数据，包括：
7.根据权利要求6所述的数据采集方法，其特征在于，所述解压缩所述压缩文件，得到所述目标数据之后，还包括：
8.根据权利要求6所述的数据采集方法，其特征在于，还包括：在所述解密数据校验不通过的情况下，将校验结果保存至预设大数据集群。
9.一种数据采集装置，其特征在于，应用于客户端，所述数据采集装置包括：
10.一种电子设备
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得电子设备执行如权利要求1至8中任一项所述的数据采集方法。
12.一种计算机程序产品，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得电子设备执行如权利要求1至8中任一项所述的数据采集方法。
...【技术特征摘要】
1.一种数据采集方法，其特征在于，应用于客户端，所述数据采集方法包括：
2.根据权利要求1所述的数据采集方法，其特征在于，所述基于所述多批目标数据，生成压缩文件以及所述压缩文件的第一文件摘要，包括：
3.根据权利要求1或2所述的数据采集方法，其特征在于，所述采集参数包括：采集范围和/或采集数据类型。
4.一种数据采集方法，其特征在于，应用于服务器，所述数据采集方法包括：
5.根据权利要求4所述的数据采集方法，其特征在于，所述向客户端发送采集指令之后，还包括：
6.根据权利要求5所述的数据采集方法，其特征在于，所述解压缩所述压缩文件，得到所述目标数据，包括：
7.根据权利要求6所述的数据采集方法，其特征在于...
【专利技术属性】
技术研发人员：张旭，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。