数据传输方法、装置、电子设备、存储介质及程序产品制造方法及图纸

本公开实施例公开了一种数据传输方法、装置、电子设备、存储介质及程序产品，所述方法包括：获取目标海量数据；基于所述目标海量数据生成目标数据文件；将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

【技术实现步骤摘要】
数据传输方法、装置、电子设备、存储介质及程序产品
本公开实施例涉及数据处理
，具体涉及一种数据传输方法、装置、电子设备、存储介质及程序产品。
技术介绍
随着科学技术以及互联网技术的发展，越来越多的海量数据需要被处理以及被传输。现有技术中，在大数据平台处理或计算完毕，生成海量数据或者次海量数据，将生成的海量数据或者次海量数据推送至相应的数据库中时，通常是将所述海量数据或者次海量数据直接写入至相应的数据库中，但由于大数据平台对于接收数据的数据库的数据流量情况并不了解，因此，经常会出现海量数据或者次海量数据的写入导致数据库产生IO(输入输出)高峰、影响IO均衡、数据库性能下降、用户体验变差，严重时还有可能造成数据库运行瘫痪。
技术实现思路
本公开实施例提供一种数据传输方法、装置、电子设备、存储介质及程序产品。第一方面，本公开实施例中提供了一种数据传输方法。具体的，所述数据传输方法，包括：获取目标海量数据；基于所述目标海量数据生成目标数据文件；将所述目标数据文件发送至数据中间组件，以备目本文档来自技高网...

【技术保护点】
1.一种数据传输方法，包括：/n获取目标海量数据；/n基于所述目标海量数据生成目标数据文件；/n将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。/n

【技术特征摘要】
1.一种数据传输方法，包括：
获取目标海量数据；
基于所述目标海量数据生成目标数据文件；
将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。


2.根据权利要求1所述的方法，所述目标数据文件为一个或多个。


3.一种数据传输方法，包括：
接收目标平台发送的目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；
响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；
根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。


4.一种数据传输方法，包括：
目标平台获取目标海量数据，基于所述目标海量数据生成目标数据文件，将所述目标数据文件发送至数据中间组件，并响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；
目标数据库接收所述目标平台发送的目标数据文件接收提示消息，响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息，根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。


5.一种数据传输装置，包括：
第一获取模块，被配置为获取目标海量数据；
生成模块，被配置为基于所述目标海量数据生成目标数据文件；
第一发送模块，被配置为将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：拉卡拉支付股份有限公司，
类型：发明
国别省市：北京;11