温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明属于自然语言处理技术领域,公开了一种针对异构GPU显卡的大语言模型分布式流水并行微调方法,基于多任务微调系统同时对多个LoRA模型实现微调;每个LoRA模型切分为多个部分,分布在相应数量的GPU上,并对GPU进行排序;依据用户请求,通...该专利属于浙江省新型互联网交换中心有限责任公司所有,仅供学习研究参考,未经过浙江省新型互联网交换中心有限责任公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明属于自然语言处理技术领域,公开了一种针对异构GPU显卡的大语言模型分布式流水并行微调方法,基于多任务微调系统同时对多个LoRA模型实现微调;每个LoRA模型切分为多个部分,分布在相应数量的GPU上,并对GPU进行排序;依据用户请求,通...