一种基于样本模式增广的机器学习模型训练方法及系统技术方案

本说明书实施例公开了一种基于样本模式增广的机器学习模型训练方法及系统，涉及人工智能技术领域，技术要点包括：利用真实样本以及增广样本对目标模型进行一轮以上迭代训练；其中的一轮迭代训练包括：通过目标模型分别处理真实样本和增广样本的特征值，得到对应的第一输出；通过滑动平均模型至少处理增广样本的特征值，得到对应的第二输出；其中，滑动平均模型的模型参数基于两轮以上历史迭代训练中的目标模型的模型参数获得；调整目标模型的模型参数，以减小真实样本对应的第一输出与对应标签之间的差异，同时减小增广样本对应的第一输出与第二输出之间的差异。出与第二输出之间的差异。出与第二输出之间的差异。

【技术实现步骤摘要】
一种基于样本模式增广的机器学习模型训练方法及系统


[0001]本专利技术涉及人工智能
，特别涉及一种基于样本模式增广的机器学习模型训练方法和系统。

技术介绍

[0002]在机器学习模型训练过程中，可能存在训练样本不足或样本模式单一，训练出来的模型效果不理想的问题。本说明书一些实施例旨在提供一种基于样本模式增广的模型训练方法及系统，以获取增广样本作为真实样本的补充，联合真实样本和增广样本训练机器学习模型，让模型能够“见到”更为充足、全面的样本，从而提高模型的稳定性。

技术实现思路

[0003]本说明书实施例之一提供一种基于样本模式增广的机器学习模型训练方法，包括利用真实样本以及增广样本对目标模型进行一轮以上迭代训练；真实样本包括特征值及标签，增广样本不具有标签且其特征值对照所述真实样本的特征值获取以具备与真实样本不同的模式；其中，一轮迭代训练包括：通过目标模型分别处理真实样本和增广样本的特征值，得到对应的第一输出；通过滑动平均模型至少处理增广样本的特征值，得到对应的第二输出；其中，滑动平均模型的模型参数基于两轮以上历史迭代训练中的目标模型的模型参数获得；调整目标模型的模型参数，以减小真实样本对应的第一输出与对应标签之间的差异，同时减小增广样本对应的第一输出与第二输出之间的差异。
[0004]本说明书实施例之一提供一种基于样本模式增广的机器学习模型训练系统，用于利用真实样本以及增广样本对目标模型进行一轮以上迭代训练；真实样本包括特征值及标签，增广样本的特征值对照所述真实样本的特征值获取以具备与真实样本不同的模式；所述系统进一步包括：第一处理模块，用于在一轮迭代训练中通过目标模型分别处理真实样本和增广样本的特征值，得到对应的第一输出；第二处理模块，用于在一轮迭代训练中通过滑动平均模型至少处理增广样本的特征值，得到对应的第二输出；其中，滑动平均模型的模型参数基于两轮以上历史迭代训练中的目标模型的模型参数获得；调参模块，用于在一轮迭代训练中调整目标模型的模型参数，以减小真实样本对应的第一输出与对应标签之间的差异，同时减小增广样本对应的第一输出与第二输出之间的差异。
[0005]本说明书实施例之一提供一种装置，包括处理器以及存储介质，存储介质存储有计算机指令，处理器用于执行计算机指令以实现所述基于样本模式增广的机器学习模型训练方法。
附图说明
[0006]本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
[0007]图1是根据本说明书一些实施例所示的因果效应评估模型示意图；
[0008]图2是根据本说明书一些实施例所示的基于样本模式增广的机器学习模型训练方法的示例性流程图；
[0009]图3是根据本说明书一些实施例所示的不同场景中样本分布的示意图；
[0010]图4是根据本说明书另一些实施例所示的基于样本模式增广的机器学习模型训练方法的示例性流程图；
[0011]图5是根据本说明书一些实施例所示的协同分类器的示意图；
[0012]图6是根据本说明书一些实施例所示的表征泛化的原理示意图；
[0013]图7是根据本说明书一些实施例所示的基于样本模式增广的机器学习模型训练系统的示意框图。
具体实施方式
[0014]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0015]应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
[0016]如本说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
[0017]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0018]随着机器学习技术的发展，因果效应预估模型得以发展。因果效应预测模型旨在预测向对象施加特定的干预措施后的效果，通常我们认为这种效果与干预措施存在因果关联。例如，预测用户(或患者)服用某药品的预后信息，又例如，预测向用户发放商品价格折扣或奖励后，商品的转化率，如用户购买相应商品的概率。一般而言，为了训练因果效应预估模型，相关方会先进行试验来收集训练样本。具体地，对于目标对象集，相关方会选择部分对象施加干预(称为测试组)，记录相应的效果；选择目标对象集中与其属性或特征相似的另一部分对象作为对比，不施加干预(称为对照组)，记录相应的效果。然后获得来自测试组和对照组的训练样本，对因果效应预估模型进行训练。
[0019]图1是一些实施例所示的因果效应预估模型的示意框图。输入模型的特征值包括对象的自身特征信息X以及分组标识t，t取0时，指示对象属于测试组，t取1时，指示对象属于对照组。模型对特征值进行处理，得到效应输出y。以预后信息预测任务为例，A医疗机构
的医生向某种疾病的患者集合中的部分患者发放目标药品，这部分患者遵医嘱服用，记录这部分患者中每一位患者的痊愈时间，基于这部分患者获得测试组的多个训练样本。同时，患者集合中的其余患者不服用目标药品，记录这部分患者中每一位的痊愈时间，基于这部分患者获得对照组的多个训练样本。训练样本包括患者的年龄、性别、基础病史、职业等特征值，同时包括患者的痊愈时间(标签)。可以利用测试组和训练组的训练样本(特征值除患者自身特征信息外，还包括分组标识)训练图1所示的模型。训练完成后，对于一个新的患者，将其自身特征信息分别与两种分组标识组合后依次输入该模型，模型会输出该患者在使用目标药品和不使用目标药品两种情形下的痊愈时间，两种情形下痊愈时间的差值即为向该患者施加目标药品的预后效果。
[0020]在又一些实施例中，因果效应预估模型可以包括第一模型和第二模型，两个模型的输入数据、内部结构以及输出数据可以相似。以商品转化率预测为例，某业务方向目标用户集中的部分用户发放优惠措施，例如给与商品价格折扣或购买商品后送奖品等，记录这部分用户是否够买商品，基于这部分用户获得测试组的多个训练样本。对于目标用户集的剩余用户不发放优惠措施，记录这部分用户是否购买商品，基于这部分用户获得对照组的多个训练样本。训练样本包括用户的年本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于样本模式增广的机器学习模型训练方法，包括利用真实样本以及增广样本对目标模型进行一轮以上迭代训练；真实样本包括特征值及标签，增广样本不具有标签且其特征值对照所述真实样本的特征值获取以具备与真实样本不同的模式；其中，一轮迭代训练包括：通过目标模型分别处理真实样本和增广样本的特征值，得到对应的第一输出；通过滑动平均模型至少处理增广样本的特征值，得到对应的第二输出；其中，滑动平均模型的模型参数基于两轮以上历史迭代训练中的目标模型的模型参数获得；调整目标模型的模型参数，以减小真实样本对应的第一输出与对应标签之间的差异，同时减小增广样本对应的第一输出与第二输出之间的差异。2.如权利要求1所述的方法，所述增广样本的特征值基于对真实样本的特征值进行变换得到，或者来自其他场景的真实样本；增广样本的特征值具备与真实样本不同的模式，包括增广样本的至少一个特征的特征值不同于真实样本的相应特征值。3.如权利要求1所述的方法，所述一轮迭代训练中的滑动平均模型的模型参数基于前一轮迭代训练中的滑动平滑模型的模型参数以及更新后的目标模型的模型参数运算获得；当所述一轮迭代训练为第二轮迭代训练时，所述前一轮迭代训练中的滑动平滑模型的模型参数为目标模型的初始模型参数。4.如权利要求1所述的方法，所述目标模型为因果效应评估模型，所述真实样本包括测试组中的第一真实样本和对照组中的第二真实样本，所述增广样本包括测试组中的第一增广样本和/或对照组中的第二增广样本。5.如权利要求4所述的方法，其中，测试组中的第一增广样本的特征值来自对照组中的第二真实样本，对照组中的第二增广样本的特征值来自测试组中的第一真实样本。6.如权利要求4所述的方法，所述一轮迭代训练还包括：通过目标模型处理真实样本的特征值，得到对应的中间结果；通过协同分类模型分别处理各中间结果，得到对应的分类输出；所述分类输出反映对应的中间结果属于测试组的概率和/或属于对照组的概率；调整所述目标模型的模型参数，以同时均衡中间结果属于测试组的概率和属于对照组的概率。7.如权利要求6所述的方法，其中，调整所述目标模型的模型参数，以均衡中间结果属于测试组的概率和属于对照组的概率，包括：基于分类输出确定测试组的典型中间结果，以及对照组的典型中间结果；当分类输出反映对应的中间结果属于测试组的概率大到...

【专利技术属性】
技术研发人员：韩彬，张雅淋，李龙飞，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：