下载一种针对超大模型的分布式推理部署系统的技术资料

文档序号:36096222

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

本发明涉及一种针对超大模型的分布式推理部署系统,所述系统基于中间表述的通用模型构建计算图,将计算图拆分为计算子图,实现对大多数超大模型支持。通过最快推理速度策略或最大吞吐率策略,实现超大模型需满足的性能需求部署。通过将计算子图与推理引擎执行...
该专利属于上海人工智能创新中心所有,仅供学习研究参考,未经过上海人工智能创新中心授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。