温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明提出一种基于高效微调和联邦学习的行业大模型训练方法及系统,涉及联邦学习领域。该方法由中心端执行,包括:获取原始全局模型,初始化可调低秩矩阵;所述可调低秩矩阵用于根据客户端资源量进行秩缩放;将模型结构和可调低秩矩阵发送给各客户端,以使各...该专利属于山东省计算中心(国家超级计算济南中心)所有,仅供学习研究参考,未经过山东省计算中心(国家超级计算济南中心)授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明提出一种基于高效微调和联邦学习的行业大模型训练方法及系统,涉及联邦学习领域。该方法由中心端执行,包括:获取原始全局模型,初始化可调低秩矩阵;所述可调低秩矩阵用于根据客户端资源量进行秩缩放;将模型结构和可调低秩矩阵发送给各客户端,以使各...