下载用于模型推理的空间分配方法、装置、设备和介质的技术资料

文档序号:40936643

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

本发明提供一种用于模型推理的空间分配方法、装置、设备和介质,所述方法包括:确定并行任务数量;基于并行任务数量,确定模型推理的暂停位置;基于暂停位置,确定已完成模型推理的第一序列集合以及未完成模型推理的第二序列集合;释放第一序列集合对应的缓存...
该专利属于上海壁仞科技股份有限公司所有,仅供学习研究参考,未经过上海壁仞科技股份有限公司授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。