本申请一种公开了数据处理方法、装置、终端设备以及存储介质，涉及数据库存储领域，其方法包括：读取业务应用的原始数据；对所述原始数据进行数据转换处理，得到推送文件；将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件，本发明专利技术降低了数据库资源开销，避免系统崩溃的风险。
【技术实现步骤摘要】
本申请涉及数据库存储领域，尤其涉及一种数据处理方法、装置、终端设备以及存储介质。
技术介绍
1、为了提升系统的吞吐量及可扩展性，交易系统通常会通过分库分表的方式进行横向扩展以提升系统的承载能力，这样交易系统的交易数据就分布在多个分库。
2、在后续对账、清算、入账等处理过程中，往往需要收集各个分库的数据，根据各个分库收集的数据生成一个完整的文件并存储在本地数据库。然而，这种方案缺陷非常明显，如果处理涉及的数据多，本地数据库需要承载大量的数据处理任务，且上述完整的文件需要占用大量的本地数据库磁盘空间，造成本地数据库开销过大，容易导致系统因本地数据库空间用尽而崩溃。
技术实现思路
1、本申请的主要目的在于提供一种数据处理方法、装置、终端设备以及存储介质，旨在降低数据库资源开销，避免系统崩溃的风险。
2、为实现上述目的，本申请提供一种数据处理方法，应用于数据处理应用平台，所述数据处理方法包括：
3、读取业务应用的原始数据；
4、对所述原始数据进行数据转换处理，得到推送文件；
5、将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。
6、可选地，所述对所述原始数据进行数据转换处理，得到推送文件的步骤包括：
7、将所述原始数据中的字段信息进行拼接，得到原始字符串；
8、将所述原始字符串以指定编码进行字节数组转换，得到转换后的字节数组；
>9、对所述转换后的字节数组进行组合，得到所述推送文件。10、可选地，所述将所述推送文件以文件输出流的形式推送至远程文件系统的步骤包括：
11、创建所述文件输出流；
12、将所述推送文件以追加的方式写入所述文件输出流并推送至所述远程文件系统；
13、当所述推送文件写入完毕时，关闭所述文件输出流。
14、可选地，所述当所述推送文件写入完毕时，关闭所述文件输出流的步骤之后还包括：
15、获取远程业务系统发送的临时文件的原始信息量和临时文件的最终信息量；
16、获取所述推送文件的信息量；
17、判断所述临时文件的最终信息量是否等于所述临时文件的原始信息量和所述推送文件的信息量之和；
18、若是，则判断若干个数据处理应用平台的若干个分库的数据是否传输完成；
19、若是，则发送数据推送完成信号至所述远程文件系统。
20、可选地，所述对所述原始数据进行数据转换处理，得到推送文件的步骤还包括：
21、判断是否获取文件推送权限时，当已获取文件推送权限时，对所述原始数据进行数据转换处理，得到所述推送文件。
22、为实现上述目的，本申请提供一种数据处理方法，应用于远程文件系统，所述数据处理方法包括：
23、接收数据处理应用平台以文件输出流的形式推送的推送文件，所述推送文件由所述数据处理应用平台对原始数据进行数据转换处理得到；
24、将所述推送文件进行合并，得到汇总文件。
25、可选地，所述将所述推送文件进行合并，得到汇总文件的步骤包括：
26、创建临时文件；
27、将所述推送文件合并写入所述临时文件；
28、当接收到数据处理应用平台发送的数据推送完成信号时，将所述临时文件转为正式文件，得到所述汇总文件。
29、本申请实施例还提出一种数据处理装置，所述数据处理装置包括：
30、数据获取模块，用于读取业务应用的原始数据；
31、数据处理模块，用于对所述原始数据进行数据转换处理，得到推送文件；
32、数据推送模块，用于将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。
33、本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如上所述的数据处理方法的步骤。
34、本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述的数据处理方法的步骤。
35、本申请实施例提出的数据处理方法、装置、终端设备以及存储介质，通过读取业务应用的原始数据；对所述原始数据进行数据转换处理，得到推送文件；将所述推送文件以文件输出流的形式推送至远程文件系统，由所述远程文件系统对所述推送文件进行合并得到汇总文件。在接收到数据处理指令时，读取相关联的业务应用的原始数据，然后对原始数据进行数据转换处理，得到推送文件后并以文件输出流的形式推送至远程文件系统，由远程文件系统对推送文件进行合并得到汇总文件，可以理解地，采取直接从业务应用的数据库读取原始数据并传输到远程文件系统，并直接在远程文件系统进行文件合并处理方式，由于远程文件系统的数据库不在本地，节省了本地数据库资源并同时因无需在本地产生文件，降低数据库资源开销，避免系统崩溃的风险。
本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于数据处理应用平台，所述数据处理方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述原始数据进行数据转换处理，得到推送文件的步骤包括：
3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述推送文件以文件输出流的形式推送至远程文件系统的步骤包括：
4.根据权利要求3所述的数据处理方法，其特征在于，所述当所述推送文件写入完毕时，关闭所述文件输出流的步骤之后还包括：
5.根据权利要求1所述的数据处理方法，其特征在于，所述对所述原始数据进行数据转换处理，得到推送文件的步骤还包括：
6.一种数据处理方法，其特征在于，其特征在于，应用于远程文件系统，所述数据处理方法包括：
7.根据权利要求6所述的数据处理方法，其特征在于，所述将所述推送文件进行合并，得到汇总文件的步骤包括：
8.一种数据处理装置，其特征在于，所述数据处理装置包括：
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1-7中任一项所述的数据处理方法的步骤。
...
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理应用平台，所述数据处理方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述原始数据进行数据转换处理，得到推送文件的步骤包括：
3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述推送文件以文件输出流的形式推送至远程文件系统的步骤包括：
4.根据权利要求3所述的数据处理方法，其特征在于，所述当所述推送文件写入完毕时，关闭所述文件输出流的步骤之后还包括：
5.根据权利要求1所述的数据处理方法，其特征在于，所述对所述原始数据进行数据转换处理，得到推送文件的步骤还包括：
6.一种数据处理方法，其特征在于，其特...
【专利技术属性】
技术研发人员：谢范生，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。