在线预测服务的部署方法、装置、电子设备及存储介质制造方法及图纸

本说明书提供一种在线预测服务的部署方法，包括：获取待部署的预测服务的子模型配置信息；根据所述子模型配置信息，在与所述预测服务对应的机器集群上分别部署至少两个机器学习模型，分别确定上述至少两个机器学习模型对应的注册地址；获取预测服务的多模型组合逻辑配置信息；将上述多模型组合逻辑配置信息以及上述至少两个机器学习模型对应的注册地址发送至预测服务网关，由预测服务网关完成上述预测服务的部署。本说明书还提供了实现上述在线预测服务部署的装置、电子设备及存储介质。

Deployment method, device, electronic equipment and storage medium of online prediction service

【技术实现步骤摘要】
在线预测服务的部署方法、装置、电子设备及存储介质
本说明书一个或多个实施例涉及计算机
，尤其涉及一种在线预测服务的部署方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着机器学习的普遍流行，其应用也越来越广。如，其可以应用于推荐系统、语音助手以及精准广告系统。为实现机器学习的应用，通常需要经历两个阶段：训练和预测(也称推理)。训练是指从数据构建模型的过程。预测是指给定一个输入然后通过模型做出预测。需要说明的是，对于训练好的模型，其通常需要先部署为预测服务，之后才能提供其预测能力。传统技术中，部署的预测服务通常只包含单一的模型，不能支持多模型的组合，因此所提供的预测能力比较单一，往往不能满足多样化的应用程序的预测需求。
技术实现思路
有鉴于此，本说明书一个或多个实施例提出一种在线预测服务的部署方法，可以将多个机器学习模型的组合部署为一个预测服务，满足应用程序的对于使用复杂模型进行预测的需求，提高在线预测的精确度以及在线预测的泛化能力。在本说明书的实施例中，上述在线预测服务的部署方法可以包括：本文档来自技高网...

【技术保护点】
1.一种在线预测服务的部署方法，包括：/n获取待部署的预测服务的子模型配置信息；其中，所述预测服务与已完成训练的至少两个机器学习模型相对应；所述子模型配置信息包括所述至少两个机器学习模型中每个机器学习模型的配置信息；所述机器学习模型的配置信息包括：所述机器学习模型的特征抽取逻辑以及打分逻辑；/n根据所述子模型配置信息，在与所述预测服务对应的机器集群上分别部署所述至少两个机器学习模型，并确定所述至少两个机器学习模型对应的注册地址；/n获取所述预测服务的多模型组合逻辑配置信息；其中，所述多模型组合逻辑配置信息包括所述至少两个机器学习模型之间的组合逻辑；/n将所述多模型组合逻辑配置信息以及所述至少两...

【技术特征摘要】
1.一种在线预测服务的部署方法，包括：
获取待部署的预测服务的子模型配置信息；其中，所述预测服务与已完成训练的至少两个机器学习模型相对应；所述子模型配置信息包括所述至少两个机器学习模型中每个机器学习模型的配置信息；所述机器学习模型的配置信息包括：所述机器学习模型的特征抽取逻辑以及打分逻辑；
根据所述子模型配置信息，在与所述预测服务对应的机器集群上分别部署所述至少两个机器学习模型，并确定所述至少两个机器学习模型对应的注册地址；
获取所述预测服务的多模型组合逻辑配置信息；其中，所述多模型组合逻辑配置信息包括所述至少两个机器学习模型之间的组合逻辑；
将所述多模型组合逻辑配置信息以及所述至少两个机器学习模型对应的注册地址发送至预测服务网关，以使所述预测服务网关将所述多模型组合逻辑配置信息以及所述至少两个机器学习模型对应的注册地址加载到内存中，完成所述预测服务的部署；其中，完成部署后的预测服务用于基于所述至少两个机器学习模型的特征抽取逻辑和打分逻辑以及所述至少两个机器学习模型之间的组合逻辑，预测用户的未来行为。


2.根据权利要求1所述的方法，其中，所述在与所述预测服务对应的机器集群上分别部署所述至少两个机器学习模型包括：
对于所述子模型配置信息中每一个机器学习模型的配置信息分别执行如下步骤：
确定与所述机器学习模型对应的机器集群；所述机器集群中包括多台机器，各台机器均运行有多种预测引擎；其中，每种预测引擎用于加载并执行相应配置形态的机器学习模型；
将所述机器学习模型的配置信息分发至所述机器集群中的各台机器；
对于所述各台机器中任意的第一机器，所述第一机器在接收到所述机器学习模型的配置信息之后，基于所述机器学习模型的配置信息，分析所述机器学习模型的配置形态；基于确定的配置形态从所述多种预测引擎中选取目标预测引擎；通过所述目标预测引擎将所述机器学习模型的配置信息加载到内存中，以完成所述第一预测服务在所述第一机器上的部署；
接收所述各台机器在完成所述预测服务的部署后发送的注册请求；
响应于所述注册请求，对所述各台机器进行注册，并为所述各台机器分配统一的注册地址。


3.根据权利要求2所述的方法，其中，所述预测服务的配置形态包括文件配置形态、自主编码形态以及可视化配置形态之一；
当所述预测服务的配置形态为文件配置形态时，从所述多种预测引擎中选取的目标预测引擎为C++预测引擎CMPS；
当所述预测服务的配置形态为自主编码形态时，从所述多种预测引擎中选取的目标预测引擎为python预测引擎PyMPS；
当所述预测服务的配置形态为可视化配置形态时，从所述多种预测引擎中选取的目标预测引擎为java预测引擎JMPS。


4.根据权利要求1所述的方法，所述获取所述预测服务的多模型组合逻辑配置信息包括：获取用户通过文件配置形态、自主编码形态或可视化配置形态配置的多模型组合逻辑表达式。


5.根据权利要求1所述的方法，所述至少两个机器学习模型之间的组合逻辑包括：模型分段组合逻辑、模型集成组合逻辑、模型链式组合逻辑以及模型加权组合逻辑其中之一。


6.根据权利要求1所述的方法，还包括：
获取所述预测服务的预定义元数据；其中，所述元数据包括：所述预测服务的标识信息；
将所述元数据发送至所述预测服务网关，以使所述预测服务网关建立所述预测服务的标识信息与至少两个机器学习模型的多模型组合逻辑的对应关系。


7.一种在线预测服务的部署方法，包括：
接收模型预测平台发送的待部署预测服务的多模型组合逻辑配置信息以及所述预测服务对应的至少两个机器学习模型的注册地址；
将所述多模型组合逻辑配置信息以及所述至少两个机器学习模型对应的注册地址加载到内存中，以完成所述预测服务的部署；其中，完成部署后的预测服务用于基于所述至少两个机器学习模型的特征抽取逻辑和打分逻辑以及所述至少两个机器学习模型之间的组合逻辑，预测用户的未来行为。


8.根据权利要求7所述的方法，其中，所述将所述多模型组合逻辑配置信息以及所述至少两个机器学习模型对应的注册地址加载到内存中包括：
将所述至少两个机器学习模型的标识信息以及所述至少两个机器学习模型对应的注册地址加载至内存仓库中；
对所述多模型组合逻辑配置信息进行解析，确定所述至少两个机器学习模型的多模型组合逻辑表达式，对所述多模型组合逻辑表达式进行实例化后，加载至内存仓库中。


9.根据权利要求7所述的方法，还包括：
接收所述预测服务的元数据；其中，所述元数据包括：所述预测服务的标识信息；
建立所述预测服务的标识信息与所述至少两个机器学习模型的多模型组合逻辑表达式的对应关系。


10.根据权利要求9所述的方法，还包括：
接收应用程序发送的所述预测服务的访问请求，所述访问请求至少包括所述预测服务的标识信息；
根据所述预测服务的标识信息与所述至少两个机器学习模型的多模型组合逻辑表达式的对应关系，确定对应于所述预测服务的标识信息的所述至少两个机器学习模型的多模型组合逻辑表达式；
运行所述多模型组合逻辑表达式；
根据所述多模型组合逻辑表达式，在需要调用一个机器学习模型时，初始化上下文参数，根据所述机器学习模型的标识确定所述机器学习模型的注册地址，从与所述注册地址对应的各台机器中确定出目标机器，并向所述目标机器发送模型调用请求，其中，所述模型调用请求用于指示所述目标机器通过所述目标预测引擎执行所述机器学习模型...

【专利技术属性】
技术研发人员：乔彦辉，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33