下载一种基于云边端跨域数据的专家网络自动混合分布式算法的技术资料

文档序号:44760404

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

一种基于云边端跨域数据的专家网络自动混合分布式算法,属于大模型分布式训练领域。本发明在大模型分布式训练领域引入了一种创新的方法,用OSDP分布式训练MOE模型,用于优化不同专家在GPU集群中的分布,确保更高的并行计算效率。这种组合动机是为了...
该专利属于哈尔滨工业大学所有,仅供学习研究参考,未经过哈尔滨工业大学授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。