温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。

本发明提供了一种面向大模型混精度训练的PowerSGD通信压缩优化方法，包括混精度适配、计算优化和通信优化；混精度适配主要针对混精度策略由于切换浮点表示产生的溢出梯度以及损失缩放参数的变化进行了处理，包括了压缩过程中误差补偿公式的修正，对溢...
该专利属于南京大学所有，仅供学习研究参考，未经过南京大学授权不得商用。

详细技术文档下载地址

温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。