数据传输方法、装置、电子设备、存储介质及程序产品制造方法及图纸

本公开实施例公开了一种数据传输方法、装置、电子设备、存储介质及程序产品，所述方法包括：获取目标海量数据；基于所述目标海量数据生成目标数据文件；将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

【技术实现步骤摘要】
数据传输方法、装置、电子设备、存储介质及程序产品
本公开实施例涉及数据处理
，具体涉及一种数据传输方法、装置、电子设备、存储介质及程序产品。
技术介绍
随着科学技术以及互联网技术的发展，越来越多的海量数据需要被处理以及被传输。现有技术中，在大数据平台处理或计算完毕，生成海量数据或者次海量数据，将生成的海量数据或者次海量数据推送至相应的数据库中时，通常是将所述海量数据或者次海量数据直接写入至相应的数据库中，但由于大数据平台对于接收数据的数据库的数据流量情况并不了解，因此，经常会出现海量数据或者次海量数据的写入导致数据库产生IO(输入输出)高峰、影响IO均衡、数据库性能下降、用户体验变差，严重时还有可能造成数据库运行瘫痪。
技术实现思路
本公开实施例提供一种数据传输方法、装置、电子设备、存储介质及程序产品。第一方面，本公开实施例中提供了一种数据传输方法。具体的，所述数据传输方法，包括：获取目标海量数据；基于所述目标海量数据生成目标数据文件；将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。结合第一方面，本公开实施例在第一方面的第一种实现方式中，所述目标数据文件为一个或多个。结合第一方面和第一方面的第一种实现方式，本公开实施例在第一方面的第二种实现方式中，当所述目标数据文件为多个时，所述基于所述目标海量数据生成目标数据文件，包括：获取预设数据长度，并根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件；生成目标数据索引文件，其中，所述目标数据索引文件包括所述多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息；所述将所述目标数据文件发送至数据中间组件，被实施为：将所述多个目标数据文件和所述目标数据索引文件发送至数据中间组件。结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述数据中间组件为中间文件服务器或消息中间件。结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，还包括：响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息。第二方面，本公开实施例中提供了一种数据传输方法。具体的，所述数据传输方法，包括：接收目标平台发送的目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。结合第二方面，本公开实施例在第二方面的第一种实现方式中，所述数据传输条件包括以下条件中的一种或多种：数据传输可用时长大于预设时长阈值、数据传输可用带宽大于预设带宽阈值、数据传输可用资源数量大于预设数量阈值。结合第二方面和第二方面的第一种实现方式，本公开实施例在第二方面的第二种实现方式中，所述目标数据文件为一个或多个。结合第二方面、第二方面的第一种实现方式和第二方面的第二种实现方式，本公开在第二方面的第三种实现方式中，当所述目标数据文件为多个时，所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件，包括：根据所述数据中间组件地址确定目标数据中间组件；根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件。结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式和第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，还包括：根据所述目标数据索引文件将所述多个目标数据文件组合成目标海量数据。第三方面，本公开实施例中提供了一种数据传输方法。具体的，所述数据传输方法，包括：目标平台获取目标海量数据，基于所述目标海量数据生成目标数据文件，将所述目标数据文件发送至数据中间组件，并响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；目标数据库接收所述目标平台发送的目标数据文件接收提示消息，响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息，根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。结合第三方面，本公开实施例在第三方面的第一种实现方式中，所述目标数据文件为一个或多个。结合第三方面和第三方面的第一种实现方式，本公开实施例在第三方面的第二种实现方式中，当所述目标数据文件为多个时，所述基于所述目标海量数据生成目标数据文件，包括：获取预设数据长度，并根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件；生成目标数据索引文件，其中，所述目标数据索引文件包括所述多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息；所述将所述目标数据文件发送至数据中间组件，被实施为：将所述多个目标数据文件和所述目标数据索引文件发送至数据中间组件；所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件，包括：根据所述数据中间组件地址确定目标数据中间组件；根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件。结合第三方面、第三方面的第一种实现方式和第三方面的第二种实现方式，本公开在第三方面的第三种实现方式中，所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件，还包括：根据所述目标数据索引文件将所述多个目标数据文件组合成目标海量数据。结合第三方面、第三方面的第一种实现方式、第三方面的第二种实现方式和第三方面的第三种实现方式，本公开在第三方面的第四种实现方式中，所述数据中间组件为中间文件服务器或消息中间件。第四方面，本公开实施例中提供了一种数据传输装置。具体的，所述数据传输装置，包括：第一获取模块，被配置为获取目标海量数据；生成模块，被配置为基于所述目标海量数据生成目标数据文件；第一发送模块，被配置为将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标本文档来自技高网...

【技术保护点】
1.一种数据传输方法，包括：/n获取目标海量数据；/n基于所述目标海量数据生成目标数据文件；/n将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。/n

【技术特征摘要】
1.一种数据传输方法，包括：
获取目标海量数据；
基于所述目标海量数据生成目标数据文件；
将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。


2.根据权利要求1所述的方法，所述目标数据文件为一个或多个。


3.一种数据传输方法，包括：
接收目标平台发送的目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；
响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；
根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。


4.一种数据传输方法，包括：
目标平台获取目标海量数据，基于所述目标海量数据生成目标数据文件，将所述目标数据文件发送至数据中间组件，并响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；
目标数据库接收所述目标平台发送的目标数据文件接收提示消息，响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息，根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。


5.一种数据传输装置，包括：
第一获取模块，被配置为获取目标海量数据；
生成模块，被配置为基于所述目标海量数据生成目标数据文件；
第一发送模块，被配置为将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：拉卡拉支付股份有限公司，
类型：发明
国别省市：北京;11