一种基于云边端跨域数据的专家网络自动混合分布式算法制造技术

一种基于云边端跨域数据的专家网络自动混合分布式算法，属于大模型分布式训练领域。本发明专利技术在大模型分布式训练领域引入了一种创新的方法，用OSDP分布式训练MOE模型，用于优化不同专家在GPU集群中的分布，确保更高的并行计算效率。这种组合动机是为了在不牺牲模型性能的情况下，提升训练效率。通过混合并行加速训练和节约硬件资源，降低大规模模型的训练成本，使得训练超大规模的深度学习模型变得更加经济可行。并且通过引入基于专家网络的自动混合分布式算法，实现了云、边、端协同的跨域异构数据融合，能满足工业智能领域在多基地、多数据源环境下的复杂需求。

【技术实现步骤摘要】

本专利技术属于大模型分布式训练领域，尤其是工业智能领域的应用中，针对云边端的跨域异构数据融合，提出一种基于云边端跨域数据的专家网络自动混合分布式算法。

技术介绍

1、在工业智能领域，随着大数据和人工智能的快速发展，企业和工业现场积累了大量异构、多源的数据，包括传感器数据、日志数据、生产线数据、客户数据等。大量异构数据的使用要求和不断扩大的模型规模，导致单一设备难以满足大模型的训练需求。尤其是在工业智能领域，模型可能会涉及大量历史数据、实时监测数据等，这对计算资源和数据处理能力提出了很高的要求。传统的集中式训练方式不仅速度慢，还容易受限于计算和存储资源。分布式训练成为了一种有效的解决方案，通过多设备、多节点协同进行模型训练，不仅可以提高训练速度，还能加快模型推理速度，使得模型能更好地适应工业场景对实时性和稳定性的要求。为了在处理多种数据和任务时获得更好的性能，许多大模型训练方法引入了“专家网络”机制。专家网络是一种模块化的网络结构，将任务划分给不同的“专家”模块，这些模块专注于不同的任务或数据类型，从而提升模型的表达能力。然而，如何在分布式训练中有效地利用专本文档来自技高网...

【技术保护点】

1.一种基于云边端跨域数据的专家网络自动混合分布式算法，其特征在于：所述算法为：

2.根据权利要求1所述的一种基于云边端跨域数据的专家网络自动混合分布式算法，其特征在于：步骤二中，实现G(x)的方法如下：G(x):＝Softmax(TopK(x*Wg))，其中，x是输入特征向量，通常是来自上一层网络或输入数据的表示；Wg是门控网络的权重矩阵，这个矩阵的作用是通过对输入特征向量x进行线性变换，生成专家激活得分；K是TopK选择的参数，表示选取得分最高的K个专家。

【技术特征摘要】

1.一种基于云边端跨域数据的专家网络自动混合分布式算法，其特征在于：所述算法为：

2.根据权利要求1所述的一种基于云边端跨域数据的专家网络自动混合分布式算法，其特征在于：步骤二中，实现g(x)的方法如下：g(x):＝softm...

【专利技术属性】
技术研发人员：胡睿晗，王忠杰，曹岂鸣，贺向东，王文迪，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：