深度学习模型存储一致性方法、计算子系统以及计算平台技术方案

技术编号:41059969 阅读:24 留言:0更新日期:2024-04-24 11:11
本申请属于数据处理领域,尤其涉及一种深度学习模型存储一致性方法、计算子系统以及计算平台,该方法包括:第一分布式节点创建待更新的提议信息;采用动态参数分发模型,获取与提议信息匹配的提议分发信息;将提议信息发送给第二分布式节点,以使第二分布式节点判断是否响应提议信息;接收第二分布式节点的提议响应信息;若发出提议响应信息的数量达到动态门限,则触发计算子系统中的所有分布式节点更新待更新数据,以使待更新数据在计算子系统中保持存储数据的一致性。该方法能够解决深度学习模型在分布训练过程中的数据一致性问题,以确保训练过程的有效性和准确性,降低训练过程中的系统复杂性和通信开销。

【技术实现步骤摘要】

本申请属于数据处理领域,尤其涉及一种深度学习模型存储一致性方法、计算子系统以及计算平台


技术介绍

1、目前,为提升各个产业、各个领域的智能化应用普及程度,亟待构建一种智能化计算平台,用以辅助智能超算中心的建设,为科研、产业、城市服务提供人工智能平台的构建基础,进一步通过智能化计算平台实现人才聚集、产业升级、发展。

2、深度学习是机器学习的一个分支,它利用多层的人工神经网络来模拟人类的学习过程。深度学习模型通常需要大量的数据进行训练,因此,分布式训练成为了一种有效的解决方案。分布式训练可以将训练任务分配到多个计算节点上并行执行,从而大大提高训练效率。

3、然而,相关技术中,为解决分布式系统中数据不一致问题,提出了一致性存储技术。这种技术通过在多个计算节点之间复制数据,并维护数据的一致性状态,从而保证每个计算节点上的数据都是相同的。现有的一致性存储技术在处理大规模数据时,可能会出现性能瓶颈,影响训练效率。现有技术中,为了解决分布式训练中的数据一致性问题,主要是通过引入协调节点来管理所有计算节点的数据更新。但是,引入协调节点会增加系统的本文档来自技高网...

【技术保护点】

1.一种深度学习模型存储一致性方法,其特征在于,应用于深度学习模型的计算子系统中,所述计算子系统至少包括多个分布式节点;所述方法包括:

2.根据权利要求1所述的深度学习模型存储一致性方法,其特征在于,所述动态参数分发模型至少包括:当前状态监测层、决策引擎、动态门限计算层、参数调整层;

3.根据权利要求2所述的深度学习模型存储一致性方法,其特征在于,所述动态参数分发模型还包括:历史数据分析层;

4.根据权利要求2所述的深度学习模型存储一致性方法,其特征在于,所述选取与所述提议信息以及所述节点连接结构所匹配的提议响应决策策略,包括:p>

5.根据权...

【技术特征摘要】

1.一种深度学习模型存储一致性方法,其特征在于,应用于深度学习模型的计算子系统中,所述计算子系统至少包括多个分布式节点;所述方法包括:

2.根据权利要求1所述的深度学习模型存储一致性方法,其特征在于,所述动态参数分发模型至少包括:当前状态监测层、决策引擎、动态门限计算层、参数调整层;

3.根据权利要求2所述的深度学习模型存储一致性方法,其特征在于,所述动态参数分发模型还包括:历史数据分析层;

4.根据权利要求2所述的深度学习模型存储一致性方法,其特征在于,所述选取与所述提议信息以及所述节点连接结构所匹配的提议响应决策策略,包括:

5.根据权利要求4所述的深度学习模型存储一致性方法,其特征在于,多种提议响应决策策略至少...

【专利技术属性】
技术研发人员:邓练兵巩志国官全龙王岩
申请(专利权)人:广东琴智科技研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1