温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明提出了一种可持续扩展专家的大模型多语言增强训练方法,包括:步骤1,对待训练的大型语言模型LLM中的原FFN模块进行抽取并分割为若干个新的细粒度FFN模块,作为细粒度专家;步骤2,设置细粒度路由器,根据预设规则选择预设数量的新增细粒度专...该专利属于中国移动通信有限公司研究院所有,仅供学习研究参考,未经过中国移动通信有限公司研究院授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明提出了一种可持续扩展专家的大模型多语言增强训练方法,包括:步骤1,对待训练的大型语言模型LLM中的原FFN模块进行抽取并分割为若干个新的细粒度FFN模块,作为细粒度专家;步骤2,设置细粒度路由器,根据预设规则选择预设数量的新增细粒度专...