本发明专利技术提供一种模型部署方法、装置、设备和计算机存储介质，通过获取当前模型的模型部署请求确定当前模型部署所需的资源信息；并基于资源信息和服务器监控信息，在模型服务集群中选取满足资源信息的第一服务器列表，向第一服务器列表中的目标服务器发送模型部署请求，并以轮询方式向目标服务器发送第一模型预测请求；在指定时间窗口内接收到目标服务器反馈的信息后，确认模型部署成功。在本方案中，根据部署当前模型所需的资源信息在模型服务集群中选取满足条件的服务器列表，利用模型服务集群中服务器列表进行负载均衡，且模型服务集群中服务器不要求具有相同规格，大大增强了容器的扩展性，同时还可以针对模型的特点进行个性化的部署。化的部署。化的部署。
【技术实现步骤摘要】
模型部署方法、装置、设备和计算机存储介质
[0001]本专利技术涉及分布式集群
，尤其涉及一种模型部署方法、装置、设备和计算机存储介质。
技术介绍
[0002]目前，在一些提供服务的平台中会根据不同业务部署大量不同类型的模型以支持相应的服务。现有最常见的模型部署方式为将模型加载到特定容器中，然后以集群方式部署多个实例，并以负载均衡的方式对外提供服务。
[0003]随着模型需求的增多，在进行模型部署时，单个容器的资源无法承载过多的模型，在这种情况下，当前多采用升级容器规格的方式提升单个容器承载模型的数量，但是该种方式不仅对服务器规格的要求高，也影响模型数量的扩展。
技术实现思路
[0004]有鉴于此，本专利技术实施例提供一种模型部署方法、装置、设备和计算机存储介质，以解决现有技术在进行模型部署时受服务器规格和模型数量影响的问题。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：
[0006]本专利技术第一方面公开了一种模型部署方法，所述方法包括：
[0007]获取当前模型的模型部署请求，所述模型部署请求中携带有模型信息；
[0008]根据所述模型部署请求确定当前模型部署所需的资源信息；
[0009]基于所述资源信息和服务器监控信息，在所述模型服务集群中选取满足所述资源信息的第一服务器列表，所述第一服务器列表中至少包含两个目标服务器，所述目标服务器为已进行服务注册的服务器；
[0010]向所述目标服务器发送模型部署请求，并以轮询方式向所述目标服务器发送第一模型预测请求；
[0011]若在指定时间窗口内接收到所述目标服务器基于所述第一模型预测请求反馈的信息，记录成功部署的所述第一服务器列表和所述当前模型的模型标识。
[0012]可选的，还包括：
[0013]若所述模型服务集群中不存在满足所述资源信息的服务器列表，生成部署失败信息。
[0014]可选的，所述向所述目标服务器发送模型部署请求，包括：
[0015]基于MQ广播向所述目标服务器发送模型部署请求。
[0016]可选的，还包括：
[0017]若在指定时间窗口内未接收到所述目标服务器基于所述第一预测请求反馈的信息，记录部署失败的所述第一服务器列表，并生成部署失败信息。
[0018]可选的，还包括：
[0019]接收业务方发送的第二模型预测请求，所述第二模型预测请求中携带有所述当前
模型的模型标识；
[0020]基于所述第二模型预测请求获取包含当前提供服务的所有服务器的第二服务器列表，以及所述当前模型成功部署的所述第一服务器列表；
[0021]获取所述第一服务器列表和第二服务器列表的交集列表；
[0022]向所述交集列表中的任一验证服务器发送验证请求；
[0023]若在预设时间内收到所述验证服务器反馈的信息，确认所述当前模型可用；
[0024]若在预设时间内未收到所述验证服务器反馈的信息，确认所述当前模型不可用。
[0025]可选的，还包括：
[0026]若获取到的所述第一服务列表、所述第二服务器列表和所述交集列表中任一一个列表为空，生成异常信息，所述异常信息用于指示预测失败。
[0027]本专利技术第二方面公开了一种模型部署装置，所述模型部署装置包括：
[0028]监控管理模块，用于获取当前模型的模型部署请求，所述模型部署请求中携带有模型信息，根据所述模型部署请求确定当前模型部署所需的资源信息；基于所述资源信息和服务器监控信息，在所述模型服务集群中选取满足所述资源信息的第一服务器列表，向所述目标服务器发送模型部署请求，并以轮询方式向所述目标服务器发送第一模型预测请求，并接收所述目标服务器在指定时间窗口内基于所述第一模型预测请求反馈的信息，并使所述存储模块进行记录，所述第一服务器列表中至少包含两个目标服务器，所述目标服务器为已进行服务注册的服务器；
[0029]所述模型服务集群模块，用于存储按照资源信息分配的不同的服务器列表；
[0030]存储模块，用于记录成功部署的所述第一服务器列表和所述当前模型的模型标识。
[0031]可选的，还包括：
[0032]路由模块，用于接收业务方发送的第二模型预测请求，所述第二模型预测请求中携带有所述当前模型的模型标识；基于所述第二模型预测请求获取包含当前提供服务的所有服务器的第二服务器列表，以及由所述存储模块获取所述当前模型成功部署的所述第一服务器列表；以及获取所述第一服务器列表和第二服务器列表的交集列表；向所述交集列表中的任一验证服务器发送验证请求；若在预设时间内收到所述验证服务器反馈的信息，确认所述当前模型可用；若在预设时间内未收到所述验证服务器反馈的信息，确认所述当前模型不可用。
[0033]本专利技术第三方面公开了一种电子设备，所述电子设备用于运行程序，其中，所述程序运行时执行如本专利技术第一方面公开的所述的模型部署方法。
[0034]本专利技术第四方面公开了一种计算机存储介质，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如本专利技术第一方面公开的所述的模型部署方法。
[0035]基于上述本专利技术实施例提供的一种模型部署方法、装置、设备和计算机存储介质，通过获取当前模型的模型部署请求，根据模型部署请求确定当前模型部署所需的资源信息；基于所述资源信息和服务器监控信息，在所述模型服务集群中选取满足所述资源信息的第一服务器列表，向所述目标服务器发送模型部署请求，并以轮询方式向所述目标服务器发送第一模型预测请求；若在指定时间窗口内接收到所述目标服务器基于所述第一模型
预测请求反馈的信息，记录成功部署的所述第一服务器列表和所述当前模型的模型标识。在本方案中，根据部署当前模型所需的资源信息在模型服务集群中选取满足条件的服务器列表，利用模型服务集群中服务器列表进行负载均衡，且模型服务集群中的容器，也就是服务器也不要求具有相同规格，支持容器的横向扩容，大大增强了容器的扩展性，还可以针对模型的特点进行个性化的部署。
附图说明
[0036]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0037]图1为本专利技术实施例公开的一种分片式模型部署架构示意图；
[0038]图2为本专利技术实施例公开的一种模型部署方法的流程示意图；
[0039]图3为本专利技术实施例公开的一种模型预测方法的流程示意图；
[0040]图4为本专利技术实施例公开的一种模型部署装置的结构示意图。
具体实施方式
[0041]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型部署方法，其特征在于，所述方法包括：获取当前模型的模型部署请求，所述模型部署请求中携带有模型信息；根据所述模型部署请求确定当前模型部署所需的资源信息；基于所述资源信息和服务器监控信息，在模型服务集群中选取满足所述资源信息的第一服务器列表，所述第一服务器列表中至少包含两个目标服务器，所述目标服务器为已进行服务注册的服务器；向所述目标服务器发送模型部署请求，并以轮询方式向所述目标服务器发送第一模型预测请求；若在指定时间窗口内接收到所述目标服务器基于所述第一模型预测请求反馈的信息，记录成功部署的所述第一服务器列表和所述当前模型的模型标识。2.根据权利要求1所述的方法，其特征在于，还包括：若所述模型服务集群中不存在满足所述资源信息的服务器列表，生成部署失败信息。3.根据权利要求1所述的方法，其特征在于，所述向所述目标服务器发送模型部署请求，包括：基于MQ广播向所述目标服务器发送模型部署请求。4.根据权利要求1所述的方法，其特征在于，还包括：若在指定时间窗口内未接收到所述目标服务器基于所述第一预测请求反馈的信息，记录部署失败的所述第一服务器列表，并生成部署失败信息。5.根据权利要求1所述的方法，其特征在于，还包括：接收业务方发送的第二模型预测请求，所述第二模型预测请求中携带有所述当前模型的模型标识；基于所述第二模型预测请求获取包含当前提供服务的所有服务器的第二服务器列表，以及所述当前模型成功部署的所述第一服务器列表；获取所述第一服务器列表和第二服务器列表的交集列表；向所述交集列表中的任一验证服务器发送验证请求；若在预设时间内收到所述验证服务器反馈的信息，确认所述当前模型可用；若在预设时间内未收到所述验证服务器反馈的信息，确认所述当前模型不可用。6.根据权利要求5所述的方法，其特征在于，还包括：若获取到的所述第一服务列表、所述第二服务器列表和所述交集...
【专利技术属性】
技术研发人员：罗辉，李博，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。