数据处理方法、装置、设备、介质及程序产品制造方法及图纸

本申请提供了一种数据处理方法、装置、设备、介质及程序产品，通过获取为计算节点集群中至少一个第一计算节点申请调用目标数据而发起的数据请求，其中，目标数据由多个数据单元组成，然后根据数据请求，在计算节点集群和存储节点集群中分别找到对应的各个数据单元的调用地址，再根据该调用地址获取到所有的数据单元，从而组合得到目标数据。解决了如何对数据库的数据调用请求进行数据分流的技术问题。达到了将目标数据打散到多个位置来获取，而不是仅靠存储节点集群中的数据库来传输，减轻了大规模集群并发数据调用时数据库数据传输压力的技术效果。输压力的技术效果。输压力的技术效果。

【技术实现步骤摘要】
数据处理方法、装置、设备、介质及程序产品


[0001]本申请涉及计算机应用领域，具体涉及一种数据处理方法、装置、设备、介质及程序产品。

技术介绍

[0001]随着大数据及深度学习技术的不断发展，通过深度学习的方法利用大量标记或非标记数据对模型进行对应的学习训练，最终得到较为精准的认知模型。经过训练的深度学习模型能揭示大数据里所承载的复杂且丰富的信息，并对未来或未知事件做更精准的预测。
[0002]但是，对模型的训练需要消耗大量的计算资源，在分布式系统中，每个计算节点承载着各自的运算任务，这些任务执行时会碰到调用数据库中的预存数据。在大规模的计算节点集群中，当并发大量的计算节点向数据库申请调用数据时，就会给数据库造成极大的带宽压力和数据传输压力，严重时会造成信息阻塞，无法及时完成模型的训练任务。
[0003]因此，如何对数据库的数据调用请求进行数据分流成为了亟待解决的技术问题。

技术实现思路

[0004]本申请提供了一种数据处理方法、装置、设备、介质及程序产品，以解决如何对数据库的数据调用请求进行数据分流的技术问题。
[0005]第一方面，本申请提供了一种数据处理方法，包括：
[0006]获取数据请求，所述数据请求用于为计算节点集群中至少一个第一计算节点申请调用目标数据，所述目标数据由多个数据单元组成；
[0007]根据所述数据请求确定各个所述数据单元的调用地址，所述调用地址包括：第一地址，和/或第二地址，所述第一地址为所述计算节点集群中至少一个第二计算节点的地址，所述第二地址为存储节点集群中至少一个目标存储节点中数据库中的存储地址；
[0008]根据所述调用地址调用所有所述数据单元，并将所有所述数据单元组合成所述目标数据。
[0009]在一种可能的设计中，当该方法应用于计算节点集群或存储节点集群中的管理节点上时，所述获取数据请求，包括：
[0010]通过所述计算节点集群中的管理节点接收至少一个所述第一计算节点发送的所述数据请求；
[0011]对应的，所述根据所述数据请求确定各个所述数据单元的调用地址，包括：
[0012]通过所述管理节点向至少一个所述目标存储节点发送所述数据请求，以使所述目标存储节点根据所述目标数据确定所述调用地址；
[0013]通过所述管理节点接收所述目标存储节点反馈的所述调用地址；
[0014]对应的，所述根据所述调用地址调用所有所述数据单元，并将所有所述数据单元组合成所述目标数据，包括：
[0015]通过所述管理节点，根据所述调用地址，将所有所述数据单元组合成所述目标数据，并将所述目标数据发送给所述第一计算节点。
[0016]在一种可能的设计中，当该方法应用于计算节点集群中的计算节点上时，所述获取数据请求，包括：
[0017]在所述第一计算节点中响应于预设任务的触发指令，确定所述数据请求，所述数据请求用于使所述第一计算节点调用所述目标数据来执行所述预设任务；
[0018]对应的，所述根据所述数据请求确定各个所述数据单元的调用地址，包括：
[0019]通过所述第一计算节点，根据所述目标数据以及预设分割方式，向所述计算节点集群中至少一个其它计算节点发送第二数据请求，所述第二数据请求用于从各个所述数据节点中获取到所述数据单元；
[0020]接收各个所述其它计算节点返回的应答结果，并根据所述应答结果判断是否接收到了全部的所述数据单元；
[0021]若是，则将全部的所述数据单元组合成所述目标数据；
[0022]若否，则向至少一个所述目标存储单元发送第三数据请求，所述第三数据请求用于从所述目标存储单元中获取到剩余的所述数据单元。
[0023]在一种可能的设计中，在所述向至少一个所述目标存储节点发送所述数据请求之前，还包括：
[0024]获取所述存储节点集群中各个存储节点的工作状态信息；
[0025]根据所述工作状态信息，在各个所述存储节点中筛选出满足预设要求的至少一个所述目标存储节点。
[0026]在一种可能的设计中，当该方法应用于存储节点集群中的存储节点上时，所述获取数据请求，包括：
[0027]通过所述目标存储节点接收所述数据请求；
[0028]对应的，根据所述数据请求确定各个所述数据单元的调用地址，包括：
[0029]通过所述目标存储节点，根据所述数据请求中的所述目标数据，确定各个所述数据单元；
[0030]通过所述目标存储节点，在所述计算节点集群的各个计算节点中，确定部分或全部所述数据单元所对应的所述第一地址；
[0031]若所述第二计算节点中没有包含所有的所述数据单元，在数据库中确定剩余的所述数据单元对应的所述第二地址。
[0032]在一种可能的设计中，所述目标数据包括Docker镜像，所述Docker镜像用于在宿主机上完成对目标虚拟环境的搭建，所述目标虚拟环境与预设用户相对应。
[0033]在一种可能的设计中，所述存储节点集群中包括多个存储节点，每个所述存储节点中包括：Docker Registry组件以及接口组件，所述Docker Registry组件中的Registry镜像库中存储有各种类型的所述Docker镜像。
[0034]可选的，所述接口组件包括基于Nginx服务平台的URL统一资源定位接口。
[0035]在一种可能的设计中，所述接口组件的功能包括：缓存所述Docker镜像，以及对用户的身份信息进行认证。
[0036]第二方面，本申请提供一种数据处理装置，包括：
[0037]获取模块，用于获取数据请求，所述数据请求用于为计算节点集群中至少一个第一计算节点申请调用目标数据，所述目标数据由多个数据单元组成；
[0038]处理模块，用于根据所述数据请求确定各个所述数据单元的调用地址，所述调用地址包括：第一地址，和/或第二地址，所述第一地址为所述计算节点集群中至少一个第二计算节点的地址，所述第二地址为存储节点集群中至少一个目标存储节点中数据库中的存储地址；
[0039]处理模块，还用于根据所述调用地址调用所有所述数据单元，并将所有所述数据单元组合成所述目标数据。
[0040]在一种可能的设计中，当该装置设置在计算节点集群或存储节点集群中的管理节点上时，所述获取模块，用于通过所述计算节点集群中的管理节点接收至少一个所述第一计算节点发送的所述数据请求；
[0041]所述处理模块，用于：
[0042]通过所述管理节点向至少一个所述目标存储节点发送所述数据请求，以使所述目标存储节点根据所述目标数据确定所述调用地址；通过所述管理节点接收所述目标存储节点反馈的所述调用地址；
[0043]所述处理模块，还用于通过所述管理节点，根据所述调用地址，将所有所述数据单元组合成所述目标数据，并将所述目标数据发送给所述第一计算节点。
[0044]在一种可能的设计中，当该装置设置在计算节点集群中的计算节点上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取数据请求，所述数据请求用于为计算节点集群中至少一个第一计算节点申请调用目标数据，所述目标数据由多个数据单元组成；根据所述数据请求确定各个所述数据单元的调用地址，所述调用地址包括：第一地址，和/或第二地址，所述第一地址为所述计算节点集群中至少一个第二计算节点的地址，所述第二地址为存储节点集群中至少一个目标存储节点中数据库中的存储地址；根据所述调用地址调用所有所述数据单元，并将所有所述数据单元组合成所述目标数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述获取数据请求，包括：通过所述计算节点集群中的管理节点接收至少一个所述第一计算节点发送的所述数据请求；对应的，所述根据所述数据请求确定各个所述数据单元的调用地址，包括：通过所述管理节点向至少一个所述目标存储节点发送所述数据请求，以使所述目标存储节点根据所述目标数据确定所述调用地址；通过所述管理节点接收所述目标存储节点反馈的所述调用地址；对应的，所述根据所述调用地址调用所有所述数据单元，并将所有所述数据单元组合成所述目标数据，包括：通过所述管理节点，根据所述调用地址，将所有所述数据单元组合成所述目标数据，并将所述目标数据发送给所述第一计算节点。3.根据权利要求2所述的数据处理方法，其特征在于，所述获取数据请求，包括：在所述第一计算节点中响应于预设任务的触发指令，确定所述数据请求，所述数据请求用于使所述第一计算节点调用所述目标数据来执行所述预设任务；对应的，所述根据所述数据请求确定各个所述数据单元的调用地址，包括：通过所述第一计算节点，根据所述目标数据以及预设分割方式，向所述计算节点集群中至少一个其它计算节点发送第二数据请求，所述第二数据请求用于从各个所述数据节点中获取到所述数据单元；接收各个所述其它计算节点返回的应答结果，并根据所述应答结果判断是否接收到了全部的所述数据单元；若是，则将全部的所述数据单元组合成所述目标数据；若否，则向至少一个所述目标存储单元发送第三数据请求，所述第三数据请求用于从所述目标存储单元中获取到剩余的所述数据单元。4.根据权利要求2或3所述的数据处理方法，其特征在于，在向至少一个所述目标存储节点发送数据请求之前，还包括：获取所述存储节点集群中各个存储节点的工作状态信息；根据所述工作状态信息，在各个所述存储节点中筛选出满足预设要求的至少一个所述目标存储节点。5.根据权利要...

【专利技术属性】
技术研发人员：张维杰，贾冬冬，姚星星，李伟，孟海秀，王克刚，
申请(专利权)人：海尔卡奥斯物联生态科技有限公司海尔数字科技青岛有限公司，
类型：发明
国别省市：