专利查询
首页
专利评估
登录
注册
当前位置:
首页
>
专利查询
>
上海人工智能创新中心
>
一种针对超大模型的分布式推理部署系统技术方案
>技术资料下载
下载一种针对超大模型的分布式推理部署系统的技术资料
文档序号:36096222
温馨提示:您尚未登录,请点
登陆
后下载,如果您还没有账户请点
注册
,登陆完成后,请刷新本页查看技术详细信息。
本发明涉及一种针对超大模型的分布式推理部署系统,所述系统基于中间表述的通用模型构建计算图,将计算图拆分为计算子图,实现对大多数超大模型支持。通过最快推理速度策略或最大吞吐率策略,实现超大模型需满足的性能需求部署。通过将计算子图与推理引擎执行...
该专利属于上海人工智能创新中心所有,仅供学习研究参考,未经过上海人工智能创新中心授权不得商用。
详细技术文档下载地址
温馨提示:您尚未登录,请点
登陆
后下载,如果您还没有账户请点
注册
,登陆完成后,请刷新本页查看技术详细信息。