下载基于模型服务自动化的多机部署调度方法和装置的技术资料

文档序号:36747359

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

本发明提出一种基于模型服务自动化的多机部署调度方法,包括:通过客户端获取表示模型服务工作流的JSON描述文件并发出服务初始化请求,由调度服务器接收所述请求并分配推理服务器资源;通过调度服务器基于动态加权最少连接算法为每个客户端分配能满足其需...
该专利属于四方联盟(北京)科技发展有限公司中网数安(北京)科技有限公司所有,仅供学习研究参考,未经过四方联盟(北京)科技发展有限公司中网数安(北京)科技有限公司授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。