下载适用于大模型加速芯片的静态图分布式推理系统及方法的技术资料

文档序号:46591725

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

本发明公开了一种适用于大模型加速芯片的静态图分布式推理系统及方法,该系统包括分布式编译框架子系统,用于:将大模型的权重和算子转换到自定义npu_lm;对大模型做量化处理,并保存量化系数;按张量并行拆分模型和量化系数,再按子图进一步拆分;循环...
该专利属于北京谦合益邦云信息技术有限公司所有,仅供学习研究参考,未经过北京谦合益邦云信息技术有限公司授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。