温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
基于张量并行的大模型低秩自适应微调方法,包括:从待训练的大模型中确定待调整层,引入低秩参数矩阵;对低秩参数矩阵进行切分,根据切分后的低秩参数子矩阵和初始权重矩阵进行张量并行前向计算,并采用对应的分布式算子,对计算结果进行整合;固定初始权重矩...该专利属于云知声智能科技股份有限公司所有,仅供学习研究参考,未经过云知声智能科技股份有限公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
基于张量并行的大模型低秩自适应微调方法,包括:从待训练的大模型中确定待调整层,引入低秩参数矩阵;对低秩参数矩阵进行切分,根据切分后的低秩参数子矩阵和初始权重矩阵进行张量并行前向计算,并采用对应的分布式算子,对计算结果进行整合;固定初始权重矩...