在线预测系统、设备、方法及电子设备技术方案

本申请提供了一种在线预测系统、设备、方法及电子设备，其中，该系统包括：入口接入服务模块和模型服务模块，同一个模型服务模块中的服务器上配置有同一类型的预测模型，预测模型为预先训练好的模型；入口接入服务模块用于接收用户的预测请求，基于预测请求确定至少一个目标服务器，向各个目标服务器下发预测请求对应的预测指令；以及接收各个目标服务器基于预测指令反馈的预测子结果，基于各个预测子结果向用户反馈总预测结果；目标服务器用于接收入口接入服务模块下发的预测指令，应用其上的预测模型对预测指令进行处理，得到预测子结果，将预测子结果反馈给入口接入服务模块。本申请能够在实现实时业务上的在线模型预测的同时，减少开发成本和维护成本。

Online prediction system, equipment, method and electronic equipment

【技术实现步骤摘要】
在线预测系统、设备、方法及电子设备
本申请涉及人工智能
，具体而言，涉及一种在线预测系统、设备、方法及电子设备。
技术介绍
现有的机器学习框架大致包括训练和预测两部分功能，且大规模的框架着重分布式训练和预测。一方面，分布式批处理的架构适用于大数据量的离线计算，往往无法满足或者充分满足高并发、高可用的实时业务上的模型预测需求；特别是在硬件资源有限的小规模公司或者团队内，其已有资源不足以支持分布式集群的建设。另一方面，小公司或者团队内业务需求迭代速度较快，对模型的使用和更新频率较高，随着业务场景的种类与数量逐渐增加，使用模型种类也随之增加。现有的分布式架构中实现的模型预测在面对实际业务场景中对模型进行多变使用方式时，往往需要在原框架的基础上进行再开发，增加开发成本、维护成本等。
技术实现思路
有鉴于此，本申请的目的在于提供一种在线预测系统、设备、方法及电子设备，能够在实现实时业务上的在线模型预测的同时，减少开发成本和维护成本。根据本申请的一个方面，提供一种在线预测系统，包括：入口接入服务模块和模型服务模块，同一个模型服务模块中的服务器上配置有同一类型的预测模型，所述预测模型为预先训练好的模型；所述入口接入服务模块用于接收用户的预测请求，基于所述预测请求确定至少一个目标服务器，向各个所述目标服务器下发所述预测请求对应的预测指令；以及接收各个所述目标服务器基于所述预测指令反馈的预测子结果，基于各个所述预测子结果向所述用户反馈总预测结果；所述目标服务器用于接收所述入口接入服务模块下发的预测指令，应用其上的预测模型对所述预测指令进行处理，得到预测子结果，将所述预测子结果反馈给所述入口接入服务模块。在一些实施例中，所述预测请求包括多个预测子请求和共有特征数据；每个所述预测子请求包括模型信息和私有特征数据；所述入口接入服务模块还用于：解析所述预测请求得到各个预测子请求；对于每个所述预测子请求，根据所述预测子请求中的模型信息确定所述预测子请求对应的请求类型，所述请求类型包括：单模型调用请求和混合顺序模型调用请求；其中，所述单模型调用请求为所述预测子请求的模型信息仅包含一种模型类型的请求；所述混合顺序模型调用请求为所述预测子请求的模型信息包含多种模型类型的请求；根据所述请求类型选择至少一个目标服务器，向各个所述目标服务器下发所述预测子请求对应的预测指令。在一些实施例中，所述入口接入服务模块还用于：如果所述请求类型为单模型调用请求，将所述模型信息中的模型类型对应的模型服务模块确定所述预测子请求对应的目标模型服务模块，并从所述目标模型服务模块中选择目标服务器；根据所述预测子请求中的私有特征数据和所述共有特征数据生成预测指令；将所述预测指令下发给所述目标服务器。在一些实施例中，所述入口接入服务模块还用于：如果所述请求类型为混合顺序模型调用请求，根据所述模型信息中的模型类型的顺序，依次从每个所述模型类型对应的模型服务模块选择目标服务器，得到顺序排列的目标服务器组；根据每个模型类型对应的私有特征数据和所述共有特征数据，生成目标服务器组中每个目标服务器的预测指令；将第一个模型类型对应的预测指令下发给所述目标服务器组中的第一目标服务器，接收所述第一目标服务器返回的第一预测子结果；按照所述目标服务器组中目标服务器的顺序，依次选择当前服务器，对于每个所述当前服务器，均将所述当前服务器的预测指令和所述当前服务器的上一个服务器的预测子结果下发给所述当前服务器，以使所述当前服务器返回预测子结果。在一些实施例中，所述入口接入服务模块还用于：如果所述预测请求中存在批量子请求，将所述批量子请求对应的多个预测子请求进行合并；所述批量子请求指模型类型均相同的多个所述预测子请求；选择所述批量子请求对应的目标服务器；根据合并后的私有特征数据和所述共有特征数据生成预测指令；将所述预测指令下发给所述批量子请求对应的目标服务器。在一些实施例中，所述服务器还用于：从所述预测指令中解析出模型信息，所述模型信息包括模型名称和模型版本号；根据模型名称和模型版本号选择目标预测模型，应用选择出的目标预测模型对所述预测指令中的特征数据进行处理，得到预测子结果。在一些实施例中，所述预测请求包括：司乘判责预测请求；所述司乘判责预测请求包括多个预测子请求；每个所述预测子请求中的私有特征数据包括以下之一：订单取消数据、订单费用数据、订单安全数据和订单评价数据。在一些实施例中，所述预测子请求中的模型信息包括模型类型、模型名称和模型版本；所述模型类型、模型名称之间以第一预设分隔符分隔；当所述预测子请求为混合顺序模型调用请求时，多个子请求间以第二预设分隔符分隔。在一些实施例中，所述模型服务模块至少包括以下之一：LR模型服务器集群、XGB模型服务器集群和DNN模型服务器集群。根据本申请的另一个方面，提供一种在线预测设备，包括：特征数据获取模块，用于获取目标对象的特征数据；请求生成模块，用于根据当前的预测需求和所述特征数据，生成预测请求；预测模块，用于向入口接入服务模块发送所述预测请求，以使所述入口接入服务模块返回所述预测请求对应的总预测结果；其中，所述入口接入服务模块与每个模型服务模块中的服务器连接，同一个模型服务模块中的服务器上配置有同一类型的预测模型，所述预测模型为预先训练好的模型；所述入口接入服务模块通过服务器上的预测模型获取所述预测请求对应的总预测结果。在一些实施例中，所述请求生成模块，还用于：根据应用场景将当前的所述预测需求进行划分，确定所述预测需求对应的多个预测子需求；基于所述预测需求和多个所述预测子需求，将所述特征数据划分为共有特征数据和每个所述预测子需求对应的私有特征数据；以及确定每个所述预测子需求对应的模型信息；根据所述共有特征数据、每个所述预测子需求对应的私有特征数据和所述模型信息，以及预设请求格式，生成所述预测请求。根据本申请的另一个方面，提供一种在线预测方法，所述方法应用于入口接入服务模块，所述入口接入服务模块与每个模型服务模块中的服务器连接，同一个模型服务模块中的服务器上配置有同一类型的预测模型，所述预测模型为预先训练好的模型；所述方法包括：接收用户的预测请求；基于所述预测请求确定至少一个目标服务器；向各个所述目标服务器下发所述预测请求对应的预测指令；接收各个所述目标服务器基于所述预测指令反馈的预测子结果；其中，所述预测子结果为所述目标服务器应用其上的预测模型对所述预测指令进行处理得到的；基于各个所述预测子结果向所述用户反馈总预测结果。在一些实施例中，所述预测请求包括多个预测子请求和共有特征数据；每个所述预测子请求包括模型信息和私有特征数据；基于所述预测请求确定至少一个目标服务器；向各个所述目标服务器下发所述预测请求对应的预测指令的步骤，包括：解析所述预测请求得到各个预测子请求；对于每个所述预测子请求，根据所述预测子请求中的模型信息确定所述预测子请求对应的请求类型，所述请求类型包括：单模型调用请求和混合顺序模型调用请求；其中，所述单模型调用请求为所述预测子请求的模型信息仅包含一种模型类型本文档来自技高网...

【技术保护点】
1.一种在线预测系统，其特征在于，包括：入口接入服务模块和模型服务模块，同一个模型服务模块中的服务器上配置有同一类型的预测模型，所述预测模型为预先训练好的模型；/n所述入口接入服务模块用于接收用户的预测请求，基于所述预测请求确定至少一个目标服务器，向各个所述目标服务器下发所述预测请求对应的预测指令；以及接收各个所述目标服务器基于所述预测指令反馈的预测子结果，基于各个所述预测子结果向所述用户反馈总预测结果；/n所述目标服务器用于接收所述入口接入服务模块下发的预测指令，应用其上的预测模型对所述预测指令进行处理，得到预测子结果，将所述预测子结果反馈给所述入口接入服务模块。/n

【技术特征摘要】
1.一种在线预测系统，其特征在于，包括：入口接入服务模块和模型服务模块，同一个模型服务模块中的服务器上配置有同一类型的预测模型，所述预测模型为预先训练好的模型；
所述入口接入服务模块用于接收用户的预测请求，基于所述预测请求确定至少一个目标服务器，向各个所述目标服务器下发所述预测请求对应的预测指令；以及接收各个所述目标服务器基于所述预测指令反馈的预测子结果，基于各个所述预测子结果向所述用户反馈总预测结果；
所述目标服务器用于接收所述入口接入服务模块下发的预测指令，应用其上的预测模型对所述预测指令进行处理，得到预测子结果，将所述预测子结果反馈给所述入口接入服务模块。


2.根据权利要求1所述的系统，其特征在于，所述预测请求包括多个预测子请求和共有特征数据；每个所述预测子请求包括模型信息和私有特征数据；
所述入口接入服务模块还用于：
解析所述预测请求得到各个预测子请求；
对于每个所述预测子请求，根据所述预测子请求中的模型信息确定所述预测子请求对应的请求类型，所述请求类型包括：单模型调用请求和混合顺序模型调用请求；其中，所述单模型调用请求为所述预测子请求的模型信息仅包含一种模型类型的请求；所述混合顺序模型调用请求为所述预测子请求的模型信息包含多种模型类型的请求；
根据所述请求类型选择至少一个目标服务器，向各个所述目标服务器下发所述预测子请求对应的预测指令。


3.根据权利要求2所述的系统，其特征在于，所述入口接入服务模块还用于：
如果所述请求类型为单模型调用请求，将所述模型信息中的模型类型对应的模型服务模块确定所述预测子请求对应的目标模型服务模块，并从所述目标模型服务模块中选择目标服务器；
根据所述预测子请求中的私有特征数据和所述共有特征数据生成预测指令；
将所述预测指令下发给所述目标服务器。


4.根据权利要求2所述的系统，其特征在于，所述入口接入服务模块还用于：
如果所述请求类型为混合顺序模型调用请求，根据所述模型信息中的模型类型的顺序，依次从每个所述模型类型对应的模型服务模块选择目标服务器，得到顺序排列的目标服务器组；
根据每个模型类型对应的私有特征数据和所述共有特征数据，生成目标服务器组中每个目标服务器的预测指令；
将第一个模型类型对应的预测指令下发给所述目标服务器组中的第一目标服务器，接收所述第一目标服务器返回的第一预测子结果；
按照所述目标服务器组中目标服务器的顺序，依次选择当前服务器，对于每个所述当前服务器，均将所述当前服务器的预测指令和所述当前服务器的上一个服务器的预测子结果下发给所述当前服务器，以使所述当前服务器返回预测子结果。


5.根据权利要求2所述的系统，其特征在于，所述入口接入服务模块还用于：
如果所述预测请求中存在批量子请求，将所述批量子请求对应的多个预测子请求进行合并；所述批量子请求指模型类型均相同的多个所述预测子请求；
选择所述批量子请求对应的目标服务器；
根据合并后的私有特征数据和所述共有特征数据生成预测指令；
将所述预测指令下发给所述批量子请求对应的目标服务器。


6.根据权利要求1所述的系统，其特征在于，所述目标服务器还用于：从所述预测指令中解析出模型信息，所述模型信息包括模型名称和模型版本号；根据模型名称和模型版本号选择目标预测模型，应用选择出的目标预测模型对所述预测指令中的特征数据进行处理，得到预测子结果。


7.根据权利要求2所述的系统，其特征在于，所述预测请求包括：司乘判责预测请求；所述司乘判责预测请求包括多个预测子请求；每个所述预测子请求中的私有特征数据包括以下之一：订单取消数据、订单费用数据、订单安全数据和订单评价数据。


8.根据权利要求2所述的系统，其特征在于，所述预测子请求中的模型信息包括模型类型、模型名称和模型版本；所述模型类型、模型名称之间以第一预设分隔符分隔；当所述预测子请求为混合顺序模型调用请求时，多个子请求间以第二预设分隔符分隔。


9.根据权利要求1所述的系统，其特征在于，所述模型服务模块至少包括以下之一：LR模型服务器集群、XGB模型服务器集群和DNN模型服务器集群。


10.一种在线预测设备，其特征在于，包括：
特征数据获取模块，用于获取目标对象的特征数据；
请求生成模块，用于根据当前的预测需求和所述特征数据，生成预测请求；
预测模块，用于向入口接入服务模块发送所述预测请求，以使所述入口接入服务模块返回所述预测请求对应的总预测结果；其中，所述入口接入服务模块与每个模型服务模块中的服务器连接，同一个模型服务模块中的服务器上配置有同一类型的预测模型，所述预测模型为预先训练好的模型；所述入口接入服务模块通过服务器上的预测模型获取所述预测请求对应的总预测结果。


11.根据权利要求10所述的设备，其特征在于，所述请求生成模块，还用于：
根据应用场景将当前的所述预测需求进行划分，确定所述预测需求对应的多个预测子需求；
基于所述预测需求和多个所述预测子需求，将所述特征数据划分为共有特征数据和每个所述预测子需求对应的私有特征数据；以及确定每个所述预测子需求对应的模型信息；
根据所述共有特征数据、每个所述预测...

【专利技术属性】
技术研发人员：罗世欣，夏婷婷，张雨，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11