温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明实施例公开了一种基于异构众核的大规模混合专家语言模型推理方法及架构。该方法包括:获取异构众核架构中的计算设备数量,以及各计算设备中的核数量;根据计算设备数量以及各计算设备中的核数量,将专家多层感知机层的输入张量进行切分,得到多个张量切...该专利属于太初(无锡)电子科技有限公司所有,仅供学习研究参考,未经过太初(无锡)电子科技有限公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明实施例公开了一种基于异构众核的大规模混合专家语言模型推理方法及架构。该方法包括:获取异构众核架构中的计算设备数量,以及各计算设备中的核数量;根据计算设备数量以及各计算设备中的核数量,将专家多层感知机层的输入张量进行切分,得到多个张量切...