温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本申请提供一种预训练大模型的训练方法、装置及设备,涉及人工智能技术领域,该方法通过在对预训练大模型进行微调的过程中,基于预设梯度矩阵的类型,对第一低秩矩阵和第二低秩进行初始化,并基于初始化后的第一低秩矩阵和第二低秩矩阵对待更新模型进行迭代训...该专利属于熵减(成都)智能科技有限责任公司所有,仅供学习研究参考,未经过熵减(成都)智能科技有限责任公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本申请提供一种预训练大模型的训练方法、装置及设备,涉及人工智能技术领域,该方法通过在对预训练大模型进行微调的过程中,基于预设梯度矩阵的类型,对第一低秩矩阵和第二低秩进行初始化,并基于初始化后的第一低秩矩阵和第二低秩矩阵对待更新模型进行迭代训...