模型训练方法、装置及电子设备制造方法及图纸

本申请公开了模型训练方法、装置及电子设备，涉及机器学习等人工智能技术领域。具体实现方案为：获取多个待训练模型，所述多个待训练模型包括结构不同的第一待训练模型和第二待训练模型；获取所述第二待训练模型输出的第一目标预估信息，所述第一目标预估信息为所述第二待训练模型输出的与所述第一待训练模型输入的特征信息相关的预估信息；将所述第一目标预估信息作为所述第一待训练模型对应的第一标签信息，对所述第一待训练模型进行训练，以更新所述第一待训练模型的参数。根据本申请的技术，解决了对于系统链上多个场景加载的相同任务但是结构各异的预估模型的预估结果一致性比较低的问题，提高了多个预估模型的预估结果的一致性。

【技术实现步骤摘要】
模型训练方法、装置及电子设备
本申请涉及人工智能
，尤其涉及机器学习
，具体涉及一种模型训练方法、装置及电子设备。
技术介绍
随着计算机技术的高速发展，模型得到了高速发展，各个系统通常都会嵌入模型，以进行任务预估。对于系统链上的不同场景，受制于性能约束，对于相同的预估任务而言，通常加载的模型往往也不尽相同。以搜索广告系统为例，从上游广告触发、排序、计费各个环节到最终的展现，本质上是一个包含多级漏斗的复杂系统，而受制于性能与优化方式的约束，在系统的各级漏斗都会有排序和截断问题，因此，往往会在系统的不同环节，有着对于相同任务但是结构各异的预估模型，这些模型的预估因子会作为重要排序依据。目前，对于系统链上多个场景加载的相同任务但是结构各异的预估模型通常都是独立训练，以分别得到各个模型的预估因子。
技术实现思路
本公开提供了一种模型训练方法、装置及电子设备。根据本公开的第一方面，提供了一种模型训练方法，包括：获取多个待训练模型，所述多个待训练模型包括结构不同的第一待训练模型和第二待训练模型；获取所述第二待训练模型输出的第一目标预估信息，所述第一目标预估信息为所述第二待训练模型输出的与所述第一待训练模型输入的特征信息相关的预估信息；将所述第一目标预估信息作为所述第一待训练模型对应的第一标签信息，对所述第一待训练模型进行训练，以更新所述第一待训练模型的参数。根据本公开的第二方面，提供了一种模型训练装置，包括：第一获取模块，用于获取多个待训练模型，所述多个待训练模型包括结构不同的第一待训练模型和第二待训练模型；第二获取模块，用于获取所述第二待训练模型输出的第一目标预估信息，所述第一目标预估信息为所述第二待训练模型输出的与所述第一待训练模型输入的特征信息相关的预估信息；第一训练模块，用于将所述第一目标预估信息作为所述第一待训练模型对应的第一标签信息，对所述第一待训练模型进行训练，以更新所述第一待训练模型的参数。根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的任一项方法。根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行第一方面中的任一项方法。根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面中的任一项方法。根据本申请的技术解决了对于系统链上多个场景加载的相同任务但是结构各异的预估模型的预估结果一致性比较低的问题，提高了多个预估模型的预估结果的一致性。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请第一实施例的模型训练方法的流程示意图；图2是本申请实施例中多场景异构的模型实例示意图；图3是多场景异构模型中各个模型独立训练后的预估分布的一致性拟合示意图；图4是多场景异构模型中各个模型共同训练后的预估分布的一致性拟合示意图；图5是多场景异构模型的软件架构示意图；图6是根据本申请第二实施例的模型训练装置的结构示意图；图7是用来实施本公开的实施例的示例电子设备700的示意性框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。第一实施例如图1所示，本申请提供一种模型训练方法，包括如下步骤：步骤S101：获取多个待训练模型，所述多个待训练模型包括结构不同的第一待训练模型和第二待训练模型。本实施例中，模型训练方法涉及人工智能技术，具体涉及机器学习
，其可以广泛应用于包括预估模型的系统中。该方法可以由本申请实施例的模型训练装置执行。而模型训练装置可以配置在任意电子设备中，以执行本申请实施例的模型训练方法，该电子设备可以服务器，也可以为终端，这里不做具体限定。所述多个待训练模型可以均为预估模型，也可以包括至少两个待训练模型为预估模型。其中，预估模型可以为机器学习模型，其用于针对输入信息进行任务预估，以得到该输入信息对应的预估信息，该输入信息可以为图片、文本或视频等，其预估信息可以为针对相应任务预估出来的参数，如相关性参数或排序参数等。所述多个待训练模型至少包括结构不同的第一待训练模型和第二待训练模型，其结构不同可以指的是模型的复杂程度、实现方式或输入特征维度等不同。比如，第一待训练模型可以为神经网络模型，而第二待训练模型可以为逻辑回归模型。又比如，第一待训练模型可以为二分类模型，而第二待训练模型可以为三分类模型。还比如，第一待训练模型可以为大模型，第二待训练模型可以为小模型，其大模型和小模型是针对模型的复杂程度而言的。所述多个待训练模型可以为多级漏斗的复杂系统中的预估模型，该复杂系统可以包括多个结构各异的预估模型。所述多个待训练模型中第一待训练模型和第二待训练模型的其中之一可以为系统的线上模型，其中另一可以为系统的线下模型。在一些应用场景中，虽然大模型的性能比较好，但是由于需要兼顾系统的处理能力，大模型在有些系统中并不适用，因此，可以将针对相同任务的线下大模型和线下小模型进行同时训练，以兼顾其性能一致性，这样既能够保证系统的性能，又能够兼顾系统的处理能力。在上述应用场景中，所述多个待训练模型分别应用于不同场景，以针对不同场景分别实现相同的任务预估，即这些待训练模型属于多场景异构的模型。而多场景异构的模型相对于同场景同构多模型而言，所述多个待训练模型与其存在不同之处，其中，同场景同构多模型可以指的是同一场景下，存在多个模型，且模型的架构是相同的，如架构都是神经网络，而不是一个采用神经网络，另一个用树模型，并且这多个模型是独立的，即分别对同一个学习任务独立训练得到。具体的，其不同之处包括以下几个方面：这多个待训练模型的结构不同，以搜索广告系统而言，从上游广告触发、排序、计费各个环节到最终的展现，本质上是一个包含多级漏斗的复杂系统。受制于性能与优化方式的约束，在系统的各级漏斗都会有排序和截断问题，因此，往往会在搜索广告系统的不同环节，有着对于相同任务但是结构各异的预估模型。本申请实施例的目的即是保证这些预估模型的预估分布的一致性，以保证系统的性能。以搜索广告系统为例，对于用户检索的关键词，其具有相关性匹配、粗排和精排等本文档来自技高网...

【技术保护点】
1.一种模型训练方法，包括：/n获取多个待训练模型，所述多个待训练模型包括结构不同的第一待训练模型和第二待训练模型；/n获取所述第二待训练模型输出的第一目标预估信息，所述第一目标预估信息为所述第二待训练模型输出的与所述第一待训练模型输入的特征信息相关的预估信息；/n将所述第一目标预估信息作为所述第一待训练模型对应的第一标签信息，对所述第一待训练模型进行训练，以更新所述第一待训练模型的参数。/n

【技术特征摘要】
1.一种模型训练方法，包括：
获取多个待训练模型，所述多个待训练模型包括结构不同的第一待训练模型和第二待训练模型；
获取所述第二待训练模型输出的第一目标预估信息，所述第一目标预估信息为所述第二待训练模型输出的与所述第一待训练模型输入的特征信息相关的预估信息；
将所述第一目标预估信息作为所述第一待训练模型对应的第一标签信息，对所述第一待训练模型进行训练，以更新所述第一待训练模型的参数。


2.根据权利要求1所述的方法，其中，所述将所述第一目标预估信息作为所述第一待训练模型对应的第一标签信息，对所述第一待训练模型进行训练，以更新所述第一待训练模型的参数，包括：
获取所述第一待训练模型输出的第一预估信息；
确定所述第一标签信息与所述第一预估信息的第一差异信息；
基于所述第一差异信息，更新所述第一待训练模型的参数。


3.根据权利要求2所述的方法，所述基于所述第一差异信息，更新所述第一待训练模型的参数之前，所述方法还包括：
获取所述第一待训练模型对应的第二标签信息；
确定所述第二标签信息与所述第一预估信息的第二差异信息；
所述基于所述第一差异信息，更新所述第一待训练模型的参数，包括：
基于所述第一差异信息和第二差异信息，更新所述第一待训练模型的参数。


4.根据权利要求1所述的方法，其中，所述多个待训练模型还包括第三待训练模型，所述第三待训练模型输出的预估信息的维度大于或等于所述第二待训练模型输出的预估信息的维度；
所述获取所述第二待训练模型输出的第一目标预估信息，包括：
获取所述第三待训练模型输出的第二目标预估信息，所述第二目标预估信息为所述第三待训练模型输出的与所述第二待训练模型输入的特征信息相关的预估信息；
将所述第二目标预估信息作为所述第二待训练模型对应的第三标签信息，对所述第二待训练模型进行训练，以更新所述第二待训练模型的参数；
基于更新的所述第二待训练模型的参数，确定所述第一目标预估信息。


5.根据权利要求1所述的方法，其中，所述第一待训练模型输出的预估信息的维度等于所述第二待训练模型输出的预估信息的维度；
所述将所述第一目标预估信息作为所述第一待训练模型对应的第一标签信息，对所述第一待训练模型进行训练，以更新所述第一待训练模型的参数之后，所述方法还包括：
基于更新的所述第一待训练模型的参数，确定所述第一待训练模型输出的第二预估信息；
将所述第二预估信息作为所述第二待训练模型对应的第四标签信息，对所述第二待训练模型进行训练，以更新所述第二待训练模型的参数。


6.一种模型训练装置，包括：
第一获取模块，用于获取多个待训练模型，所述多个待训练模型包括结构不同的第一待训练模型和第二待训练模型；
第二获取模块，用于获取所述第二待训练模型输出...

【专利技术属性】
技术研发人员：李健，殷硕，叶超，宋斌斌，何洋，丁斌，嵇智，邓涛，张文，国智，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11