数据处理方法技术

本发明专利技术公开了一种数据处理方法

【技术实现步骤摘要】
数据处理方法、装置、设备和存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法
、
装置
、
设备和存储介质
。

技术介绍

[0002]大数据处理技术逐步发展，可以利用大数据构建在业务上应用的数据模型，并将该数据模型应用于对业务结果的预测
。
当数据量规模很小的时候，单台计算机的运算能力已足够；但是当数据量规模比较庞大的时候，就需要一个分布式的计算平台进行整套的建模过程
。
然而单机推理服务性能差，不能满足高并发，实时需求，单机负载过高，服务器不稳定；分布式系统实时性较低，分布式预加载框架耗时较长，难以实现实时的接口服务，数据处理效率较低
。

技术实现思路

[0003]本专利技术的主要目的在于提供一种数据处理方法
、
装置
、
设备和存储介质，旨在解决如何提高数据处理的效率的问题
。
[0004]为实现上述目的，本专利技术提供的一种数据处理方法，所述数据处理方法包括以下步骤：...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，应用于分布式集群中的协调节点，所述方法包括：获取分布式集群中的推理节点的内存状态；根据所述内存状态，在所述推理节点中选定待处理的推理任务对应的处理节点；向所述处理节点发送所述推理任务对应的推理数据；接收所述处理节点发送的所述推理数据对应的推理结果
。2.
如权利要求1所述的数据处理方法，其特征在于，所述根据所述内存状态，在所述推理节点中选定待处理的推理任务对应的处理节点的步骤之后，还包括：获取
API
服务器发送的所述推理任务对应的模型文件的存储地址；根据所述存储地址获取所述模型文件，并将所述模型文件分发至所述处理节点
。3.
如权利要求1所述的数据处理方法，其特征在于，所述根据所述内存状态，在所述推理节点中选定待处理的推理任务对应的处理节点的步骤包括：确定内存状态大于预设阈值的推理节点为待确定节点；若所述待确定节点为多个，则确定多个所述待确定节点的编号信息，并根据所述编号信息确定所述处理节点；若所述待确定节点为一个，则确定所述待确定节点为所述处理节点
。4.
一种数据处理方法，其特征在于，应用于
API
服务器，所述数据处理方法包括：接收外部应用发送的推理任务；将所述推理任务的推理数据的存储地址发送至分布式集群中的协调节点；接收所述分布式集群中的处理节点发送的所述推理任务对应的推理结果，并将所述推理结果发送至所述外部应用
。5.
如权利要求4所述的数据处理方法，其特征在于，所述接收外部应用发送的推理任务的步骤之后，还包括：获取所述推理任务对应的模型文件的存储地址；将所述模型文件的存储地址发送至所述分布式集群中的处理节点
。6.
一种数据处理方法，其特征在于，应用于分布式集群中的处理节点，所述数据处理方法包括：获取...

【专利技术属性】
技术研发人员：肖博文，全东方，赵汝强，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：