温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。

本发明公开了一种基于外推技术的长上下文大模型创建方法，所述方法包括：步骤1、预训练具有较短上下文窗口的基座大模型；步骤2、位置插值，扩展上下文长度；步骤3、采用位移稀疏注意力减少计算量；步骤4、LoRA<supgt;+</sup...
该专利属于中国科学技术大学所有，仅供学习研究参考，未经过中国科学技术大学授权不得商用。

详细技术文档下载地址

温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。