下载一种基于Kserve的批处理方法、装置、设备及介质的技术资料

文档序号:33891454

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

本发明涉及一种基于Kserve的批处理方法、装置、设备和存储介质,所述方法包括:接收用户发送的数据计算请求,将其加入批处理队列中;判断批处理队列中的请求数量是否达到当前最大批处理值;若达到,则将批处理队列中的所有请求数据出队并进行推理计算;...
该专利属于苏州浪潮智能科技有限公司所有,仅供学习研究参考,未经过苏州浪潮智能科技有限公司授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。