一种应用机器学习的方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及应用机器学习的方法、装置、电子设备及存储介质，直接对接业务场景，积累业务场景相关数据进而探索模型方案，保证线下模型方案探索用到的数据和模型在线预估服务用到的数据同源，实现线下线上数据的同源性。为避免离线模型直接部署上线后由于线上特征计算和线下特征计算得到的数据存在不一致，导致预估效果较差的问题，只部署模型方案上线，而不部署离线模型上线。模型方案部署上线后接收预估请求可得到带特征和反馈的样本数据，进而可使用样本数据进行模型自学习，自学习得到的模型可部署上线，保证模型自学习用到的数据和特征工程方案分别与模型在线预估服务用到的数据和特征工程方案一致，实现模型自学习效果和模型预估效果一致性。和模型预估效果一致性。和模型预估效果一致性。

【技术实现步骤摘要】
一种应用机器学习的方法、装置、电子设备及存储介质


[0001]本公开实施例涉及机器学习
，具体涉及一种应用机器学习的方法、装置、电子设备及存储介质。

技术介绍

[0002]机器学习的应用可包括但不限于：问题定义、机器学习模型建立(简称建模)、模型上线服务、反馈信息收集和模型迭代更新等过程。目前，建模是基于离线数据探索模型，进而基于离线评估方式确定模型效果，在模型效果达标(也即达到预设要求)后由IT人员将模型部署上线，进行模型上线服务。
[0003]但是离线效果达标的模型上线效果可能达不到要求，本申请专利技术人发现是因为建模所用的数据与线上的数据存在不一致，建模过程中计算的特征很难保证一致，导致模型效果线上线下差别很大，达不到预期，使得模型上线服务难度较大。
[0004]上述对问题的发现过程的描述，仅用于辅助理解本公开的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种应用机器学习的方法、装置、电子设备及存储介质。
[0006]第一方面，本公开实施例提出一种应用机器学习的方法，所述方法包括：
[0007]基于数据服务接口在线获取指定业务场景的相关数据流；
[0008]将所述相关数据流中的数据积累到第一数据库中；
[0009]当第一预设条件被满足时，基于所述第一数据库中的数据探索模型方案；所述模型方案包括以下方案子项：特征工程方案、模型算法和模型的超参数；
[0010]将探索得到的模型方案部署上线以提供模型在线预估服务，其中，所述模型在线预估服务基于所述数据服务接口在线获取的所述指定业务场景的相关数据流进行。
[0011]第二方面，本公开实施例提出一种应用机器学习的装置，所述装置包括：
[0012]数据管理模块，用于基于数据服务接口在线获取指定业务场景的相关数据流；将所述相关数据流中的数据积累到第一数据库中；
[0013]模型方案探索模块，用于当第一预设条件被满足时，基于所述第一数据库中的数据探索模型方案；所述模型方案包括以下方案子项：特征工程方案、模型算法和模型的超参数；
[0014]模型在线预估服务模块，用于将所述模型方案探索模块得到的模型方案部署上线以提供模型在线预估服务，其中，所述模型在线预估服务基于所述数据服务接口在线获取的所述指定业务场景的相关数据流进行。
[0015]第三方面，本公开实施例提出一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面所述应用机器学习的方法的
步骤。
[0016]第四方面，本公开实施例提出一种非暂态计算机可读存储介质，用于存储程序或指令，所述程序或指令使计算机执行如第一方面所述应用机器学习的方法的步骤。
[0017]可见，本公开的至少一个实施例中，直接对接业务场景，积累业务场景相关数据进而探索模型方案，得到模型方案及离线模型，保证线下模型方案探索用到的数据和模型在线预估服务用到的数据是同源的，实现线下线上数据的同源性。为避免离线模型直接部署上线后由于线上特征计算得到的数据和线下特征计算得到的数据存在不一致，导致部署上线的离线模型的预估效果较差的问题，只部署模型方案上线，而不部署离线模型上线。模型方案部署上线后接收预估请求(也即请求数据流的数据)可得到带特征和反馈的样本数据，进而可使用带特征和反馈的样本数据进行模型自学习，自学习得到的模型可部署上线，保证模型自学习用到的数据和特征工程方案分别与模型在线预估服务用到的数据和特征工程方案是一致的，实现模型自学习效果和模型预估效果一致性。
附图说明
[0018]为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0019]图1是本公开实施例提供的一种应用机器学习的装置的示例性架构图；
[0020]图2是本公开实施例提供的另一种应用机器学习的装置的示例性架构图；
[0021]图3是图2所示的应用机器学习的装置的示例性流程逻辑框图；
[0022]图4是图2所示的应用机器学习的装置的示例性数据流向图；
[0023]图5是本公开实施例提供的一种电子设备的示例性架构图；
[0024]图6是本公开实施例提供的一种应用机器学习的方法的示例性流程图。
具体实施方式
[0025]为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
[0026]需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
[0027]各行各业不同的业务场景具有不同的业务处理逻辑，但是不同的业务场景中大多需要应用机器学习来处理业务数据，可减少人工处理业务数据带来的多种问题，例如耗时、人工成本高、不准确等问题。为此，图1为本公开实施例提供的一种应用机器学习的装置的示例性架构图，其中所述应用机器学习的装置适用于各类不同数据的有监督学习人工智能建模，包括但不仅限于二维结构化数据、图像、NLP(Natural Language Processing，自然语言处理)、语音等。所述应用机器学习的装置可应用于指定业务场景，其中所述指定业务场
景中预先定义了业务场景的相关数据流的信息，其中所述相关数据流可包括但不限于：请求数据流、展示数据流、反馈数据流和业务数据流，其中所述展示数据流的数据为所述指定业务场景基于请求数据流展示的数据。以短视频应用程序场景为例，请求数据例如为用户滑动或点击用户终端等刷新短视频的操作后，应用后台会筛选出一个候选视频集合，形成需要做模型预估的请求数据。展示数据就是短视频应用程序实际给用户展示了哪些短视频。反馈数据例如为用户是否点击或者观看短视频应用程序展示的短视频。业务数据例如为用户在观看短视频时的评论数据、点赞数据等与业务逻辑相关的数据。
[0028]预先定义的业务场景的相关数据流的信息可以理解为相关数据所包括的字段，例如，所述相关数据流为请求数据流，相应地，预先定义的请求数据流的信息可以理解为所述请求数据流中请求数据所包括的字段，所述字段可以为用户ID、请求内容、请求时间、候选物料ID等。
[0029]在指定业务场景后，即可通过图1所示的应用机器学习的装置提供模型在线预估服务。如图1所示，应用机器学习的装置可包括但不限于：数据管理模块100、模型方案探本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用机器学习的方法，其特征在于，所述方法包括：基于数据服务接口在线获取指定业务场景的相关数据流；将所述相关数据流中的数据积累到第一数据库中；当第一预设条件被满足时，基于所述第一数据库中的数据探索模型方案；所述模型方案包括以下方案子项：特征工程方案、模型算法和模型的超参数；将探索得到的模型方案部署上线以提供模型在线预估服务，其中，所述模型在线预估服务基于所述数据服务接口在线获取的所述指定业务场景的相关数据流进行。2.根据权利要求1所述的方法，其特征在于，在所述基于数据服务接口在线获取指定业务场景的相关数据流的步骤之前，该方法还包括：提供用户界面，基于所述用户界面接收用户输入的关于所述指定业务场景的相关数据流的信息；基于所述关于所述指定业务场景的相关数据流的信息创建所述数据服务接口。3.根据权利要求1所述的方法，其特征在于，所述相关数据流包括：请求数据流、反馈数据流和业务数据流。4.根据权利要求3所述的方法，其特征在于，所述将所述相关数据流中的数据积累到第一数据库中包括：处理所述请求数据流的数据得到样本数据；将所述请求数据流的数据、所述样本数据、所述反馈数据流的数据和所述业务数据流的数据积累到所述第一数据库中。5.根据权利要求4所述的方法，其特征在于，所述相关数据流还包括展示数据流；其中所述展示数据流的数据为所述指定业务场景基于所述请求数据流展示的数据；相应地，处理所述请求数据流的数据得到样本数据包括：基于所述展示数据流的数据对所述请求数据流的数据进行过滤，得到交集数据；处理所述交集数据得到样本数据；相应地，将所述展示数据流的数据和所述样本数据积累到所述第一数据库中。6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述...

【专利技术属性】
技术研发人员：张青，周振华，张世健，石光川，方荣，陈雨强，戴文渊，郑曌，黄缨宁，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：