温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。

本发明公开了一种基于层次化通信的高效混合专家模型方法，基于Transformer模型，将Transformer模型中的部分FFN层替换为设有结构化通信机制的MoE层；MoE层包括多个专家网络，每次计算时只有部分专家网络被激活参与计算，不同专...
该专利属于天津大学所有，仅供学习研究参考，未经过天津大学授权不得商用。

详细技术文档下载地址

温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。