一种数据传输方法及系统、电子设备、存储介质技术方案

本申请提供了一种数据传输方法及系统、电子设备、存储介质，所述方法应用于所述系统，所述系统包括容器集群管理系统kubernetes、数据编排软件以及计算引擎，所述数据编排软件以及所述计算引擎通过所述容器集群管理系统kubernetes分别部署在不同容器中，所述方法包括：计算引擎向数据编排软件发送目标数据的获取请求；数据编排软件基于目标数据的获取请求，查找其是否缓存有目标数据；若查找出缓存有目标数据，则将缓存中的目标数据反馈给计算引擎；若未查找出缓存有目标数据，则从远端存储系统获取目标数据；将获取到的目标数据反馈给计算引擎，并缓存目标数据。并缓存目标数据。并缓存目标数据。

【技术实现步骤摘要】
一种数据传输方法及系统、电子设备、存储介质


[0001]本申请涉及数据处理
，特别涉及一种数据传输方法及系统、电子设备、存储介质。

技术介绍

[0002]传统的大数据架构中，数据计算和资源存储是耦合的，即每个节点既是YARN计算节点又是HDFS存储节点。但随着技术不断发展以及数据量激增，对存储空间和计算能力的需求也在增加，所以当前的存算耦合的方式也暴露出了存储空间有限、资源利用率低、运维困难等缺点。
[0003]因此，当前开始使用存算分离的大数据架构，即数据计算和资源存储是分离。由于计算引擎和数据存储系统部署在不同的物理节点上，所以当计算引擎在计算时需要数据时，直接向远程的存储系统发送数据请求，从而可以从远程的存储系统上获取到相应的数据进行计算。
[0004]但是由于当前的计算作业越来越多，所以需要计算引擎高频的从存储系统读取大量的数据，从而不仅会导致计算端与存储端之间需要非常大的通信开销，并且还容易出现堵塞或者传输失败的情况，进而导致计算作业延迟或失败。

技术实现思路

[0005]基于上述现有技术的不足，本申请提供了一种数据传输方法及系统、电子设备、存储介质，以解决现有技术存在通信开销过大，且容易出现数据传输堵塞或失败的问题。
[0006]为了实现上述目的，本申请提供了以下技术方案：
[0007]本申请第一方面提供了一种数据传输方法，应用于数据传输系统，所述数据传输系统包括容器集群管理系统kubernetes、数据编排软件以及计算引擎，所述数据编排软件以及所述计算引擎通过所述容器集群管理系统kubernetes分别部署在不同容器中，所述数据传输方法，包括：
[0008]所述计算引擎向所述数据编排软件发送目标数据的获取请求；
[0009]所述数据编排软件基于所述目标数据的获取请求，查找其是否缓存有所述目标数据；
[0010]若查找出缓存有所述目标数据，则所述数据编排软件将缓存中的所述目标数据反馈给所述计算引擎；
[0011]若未查找出缓存有所述目标数据，则所述数据编排软件从远端存储系统获取所述目标数据；
[0012]所述数据编排软件将获取到的所述目标数据反馈给所述计算引擎，并缓存所述目标数据。
[0013]可选地，在上述的数据传输方法中，所述数据编排软件以及所述计算引擎通过所述容器集群管理系统kubernetes分别部署在不同容器中的方法，包括：
[0014]所述容器集群管理系统kubernetes响应用户的部署操作，将所述计算引擎及所述数据编排软件部署在相同物理节点上的不同容器中。
[0015]可选地，在上述的数据传输方法中，所述容器集群管理系统kubernetes响应用户的部署操作，将所述计算引擎及所述数据编排软件部署在相同物理节点上的不同容器中，包括：
[0016]所述集群管理系统kubernetes响应用户的数据编排软件部署操作，将所述数据编排软件部署在所述集群管理系统kubernetes的容器中，并为所述数据编排软件的各个节点设置对应的标签；
[0017]所述集群管理系统kubernetes响应用户的计算引擎部署操作，基于亲和技术将所述计算引擎部署在所述数据编排软件所部署的物理节点上的一个目标容器中；其中，所述目标容器为未部署有所述数据编排软件的容器。
[0018]可选地，在上述的数据传输方法中，所述集群管理系统kubernetes响应用户的计算引擎部署操作，基于亲和技术将所述计算引擎部署在所述数据编排软件所部署的物理节点上的其他容器中，包括：
[0019]所述集群管理系统kubernetes响应用户的第一计算引擎部署操作，分别基于亲和技术，在所述数据编排软件的各个主节点所部署的物理节点上的一个目标容器中，部署一个所述计算引擎的主节点；
[0020]所述集群管理系统kubernetes响应用户的第二计算引擎部署操作，分别基于亲和技术，在所述数据编排软件的各个工作节点所部署的物理节点上的一个目标容器中，部署一个所述计算引擎的工作节点。
[0021]可选地，在上述的数据传输方法中，还包括：
[0022]所述计算引擎将对所述目标数据的计算结果发送至所述数据编排软件；
[0023]所述数据编排软件将所述目标数据的计算结果进行缓存；
[0024]所述数据编排软件在接收到所述目标数据的计算结果的获取请求时，将所述目标数据的计算结果反馈给所述计算引擎。
[0025]本申请第二方面提供了一种数据传输系统，包括：
[0026]容器集群管理系统kubernetes、数据编排软件以及计算引擎；
[0027]所述容器集群管理系统kubernetes，用于将所述数据编排软件以及所述计算引擎分别部署在不同容器中；
[0028]所述计算引擎，用于向所述数据编排软件发送目标数据的获取请求；
[0029]所述数据编排软件，用于基于所述目标数据的获取请求，查找其是否缓存有所述目标数据，以及在查找出缓存有所述目标数据时，则将缓存中的所述目标数据反馈给所述计算引擎，在未查找出缓存有所述目标数据时，则从远端存储系统获取所述目标数据，并将获取到的所述目标数据反馈给所述计算引擎，且缓存所述目标数据。
[0030]可选地，在上述的数据传输系统中，所述容器集群管理系统kubernetes将所述数据编排软件以及所述计算引擎分别部署在不同容器中时，用于：
[0031]响应用户的部署操作，将所述计算引擎及所述数据编排软件部署在相同物理节点上的不同容器中。
[0032]可选地，在上述的数据传输系统中，所述容器集群管理系统kubernetes响应用户
的部署操作，将所述计算引擎及所述数据编排软件部署在相同物理节点上的不同容器中时，用于：
[0033]响应用户的数据编排软件部署操作，将所述数据编排软件部署在所述集群管理系统kubernetes的容器中，并为所述数据编排软件的各个节点设置对应的标签；
[0034]响应用户的计算引擎部署操作，基于亲和技术将所述计算引擎部署在所述数据编排软件所部署的物理节点上的一个目标容器中；其中，所述目标容器为未部署有所述数据编排软件的容器。
[0035]可选地，在上述的数据传输系统中，所述集群管理系统kubernetes响应用户的计算引擎部署操作，基于亲和技术将所述计算引擎部署在所述数据编排软件所部署的物理节点上的其他容器中时，用于：
[0036]响应用户的第一计算引擎部署操作，分别基于亲和技术，在所述数据编排软件的各个主节点所部署的物理节点上的一个目标容器中，部署一个所述计算引擎的主节点；
[0037]响应用户的第二计算引擎部署操作，分别基于亲和技术，在所述数据编排软件的各个工作节点所部署的物理节点上的一个目标容器中，部署一个所述计算引擎的工作节点。
[0038]可选地，在上述的数据传输系统中，所述数据编排软件，还用于：
[0039]接收所述计算引擎发送本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于数据传输系统，所述数据传输系统包括容器集群管理系统kubernetes、数据编排软件以及计算引擎，所述数据编排软件以及所述计算引擎通过所述容器集群管理系统kubernetes分别部署在不同容器中，所述数据传输方法，包括：所述计算引擎向所述数据编排软件发送目标数据的获取请求；所述数据编排软件基于所述目标数据的获取请求，查找其是否缓存有所述目标数据；若查找出缓存有所述目标数据，则所述数据编排软件将缓存中的所述目标数据反馈给所述计算引擎；若未查找出缓存有所述目标数据，则所述数据编排软件从远端存储系统获取所述目标数据；所述数据编排软件将获取到的所述目标数据反馈给所述计算引擎，并缓存所述目标数据。2.根据权利要求1所述的方法，其特征在于，所述数据编排软件以及所述计算引擎通过所述容器集群管理系统kubernetes分别部署在不同容器中的方法，包括：所述容器集群管理系统kubernetes响应用户的部署操作，将所述计算引擎及所述数据编排软件部署在相同物理节点上的不同容器中。3.根据权利要求2所述的方法，其特征在于，所述容器集群管理系统kubernetes响应用户的部署操作，将所述计算引擎及所述数据编排软件部署在相同物理节点上的不同容器中，包括：所述集群管理系统kubernetes响应用户的数据编排软件部署操作，将所述数据编排软件部署在所述集群管理系统kubernetes的容器中，并为所述数据编排软件的各个节点设置对应的标签；所述集群管理系统kubernetes响应用户的计算引擎部署操作，基于亲和技术将所述计算引擎部署在所述数据编排软件所部署的物理节点上的一个目标容器中；其中，所述目标容器为未部署有所述数据编排软件的容器。4.根据权利要求3所述的方法，其特征在于，所述集群管理系统kubernetes响应用户的计算引擎部署操作，基于亲和技术将所述计算引擎部署在所述数据编排软件所部署的物理节点上的其他容器中，包括：所述集群管理系统kubernetes响应用户的第一计算引擎部署操作，分别基于亲和技术，在所述数据编排软件的各个主节点所部署的物理节点上的一个目标容器中，部署一个所述计算引擎的主节点；所述集群管理系统kubernetes响应用户的第二计算引擎部署操作，分别基于亲和技术，在所述数据编排软件的各个工作...

【专利技术属性】
技术研发人员：杨红强，王宏亮，薛羽，吕虎，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：