温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。

本发明公开了一种预训练语言模型的训练方法、装置和电子设备。该方法包括：基于大规模中文数据训练得到第一预训练模型；利用其它语言或特定领域的数据对所述第一预训练模型进行训练，得到第二预训练模型；对所述第二预训练模型进行基于MoE的训练，得到最终...
该专利属于北京智源人工智能研究院所有，仅供学习研究参考，未经过北京智源人工智能研究院授权不得商用。

详细技术文档下载地址

温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。