【技术实现步骤摘要】
模型调用方法、装置、设备及存储介质
本专利技术涉及数据处理领域,尤其涉及一种模型调用方法、装置、设备及存储介质。
技术介绍
模型是采用预设的机器学习算法对预设样本进行训练得到的模型,模型的文件通常被应用程序调用。目前,一般将待上线的模型文件部署在服务器中,在服务器集群中,可以通过集群中的任意一台服务器调用模型,但调用模型时可能出现负载不均衡的情况(例如,调用模型的服务器负载过高),且存在调用模型的URL地址不规范的问题。
技术实现思路
鉴于以上内容,本专利技术提供一种模型调用方法、装置、设备及存储介质,其目的在于解决现有技术中调用模型时可能出现负载不均衡的技术问题。为实现上述目的,本专利技术提供一种模型调用方法,该方法包括:接收客户端发出的模型调用的请求,根据所述请求携带的标识从预设数据库获取待调用模型的配置信息;基于预设选取规则从预先配置的服务器IP地址集合中选取出目标服务器,将所述待调用模型的配置信息发送至所述目标服务器,所述目标服务器基于所述配置信息生成所述请求对应的 ...
【技术保护点】
1.一种模型调用方法,其特征在于,所述方法包括:/n接收客户端发出的模型调用的请求,根据所述请求携带的标识从预设数据库获取待调用模型的配置信息;/n基于预设选取规则从预先配置的服务器IP地址集合中选取出目标服务器,将所述待调用模型的配置信息发送至所述目标服务器,所述目标服务器基于所述配置信息生成所述请求对应的URL地址;/n基于所述URL地址向所述目标服务器调用所述请求对应的模型,判断是否调用到所述请求对应的模型,当判断调用到所述请求对应的模型时,将该模型反馈至所述客户端。/n
【技术特征摘要】
1.一种模型调用方法,其特征在于,所述方法包括:
接收客户端发出的模型调用的请求,根据所述请求携带的标识从预设数据库获取待调用模型的配置信息;
基于预设选取规则从预先配置的服务器IP地址集合中选取出目标服务器,将所述待调用模型的配置信息发送至所述目标服务器,所述目标服务器基于所述配置信息生成所述请求对应的URL地址;
基于所述URL地址向所述目标服务器调用所述请求对应的模型,判断是否调用到所述请求对应的模型,当判断调用到所述请求对应的模型时,将该模型反馈至所述客户端。
2.如权利要求1所述的模型调用方法,其特征在于,所述基于预设选取规则从预先配置的服务器IP地址集合中选取出目标服务器,包括:
获取服务器IP地址集合中各个服务器的预设指标的指标值,基于各所述预设指标的指标值及预设计算规则,计算得到各个服务器的资源使用率,将所述资源使用率最低的服务器作为所述目标服务器。
3.如权利要求2所述的模型调用方法,其特征在于,所述预设计算规则包括:
Li=1-(1-W1×Xi1)×(1-W2×Xi2)×(1-W3×Xi3)
其中,Li表示第i个服务器的资源使用率,Xi1表示第i个服务器的CPU的使用率,Xi2表示第i个服务器内存的使用率,Xi3表示第i服务器的网络使用率,W1表示第i服务器的CPU的预设权重,W2表示第i服务器内存的预设权重,W3表示第i服务器的网络的预设权重。
4.如权利要求1所述的模型调用方法,其特征在于,所述配置信息包括:模型所在的服务器信息、模型服务端口信息、模型名称信息及模型的版本信息,所述目标服务器基于所述配置信息生成所述请求对应的URL地址,包括:
将所述配置信息的模型所在的服务器信息、模型服务端口信息、模型名称信息、模型的版本信息依次填充至预设URL模板中得到所述请求对应的URL地址。
5.如权利要求1所述的模型调用方法,其特征在于,所述判断是否调用到所述请求对应的模型,包括...
【专利技术属性】
技术研发人员:虢全勇,
申请(专利权)人:平安普惠企业管理有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。