一种模型训练方法及相关装置制造方法及图纸

本申请实施例公开了一种人工智能领域的模型训练方法及相关装置，其中该方法包括：基于负样本衡量机制，确定未标记样本集合中各未标记样本各自对应的负样本置信度；根据各未标记样本各自对应的负样本置信度，从未标记样本集合中选出目标负样本；基于目标负样本和目标正样本构建第一训练样本集；根据未标记样本集合中除目标负样本外的未标记样本各自对应的负样本置信度，选出参考正样本和参考负样本；基于目标负样本和参考负样本、以及目标正样本和参考正样本构建第二训练样本集；基于第一训练样本集和第二训练样本集，训练目标分类模型。该方法能够使训练得到的模型可以更全面准确地识别各种输入数据。确地识别各种输入数据。确地识别各种输入数据。

【技术实现步骤摘要】
一种模型训练方法及相关装置


[0001]本申请涉及人工智能
，尤其涉及一种模型训练方法及相关装置。

技术介绍

[0002]在实际应用中，存在许多只有正样本以及大量未标记样本的情况，出现这种情况通常是因为负样本的获取难度较高、或者负样本过于多样化且动态变化。
[0003]对于上述情况，目前通常采用半监督学习中的PU learning(Positive and Unlabeled data learning)来解决。PU learning通常基于两步法实现；第一步是采用预设的分类方法，从未标记样本中选出置信度较高的负样本；第二步是利用所选出的负样本和本身就正确的正样本组成训练样本集，进而，利用该训练样本集进行模型训练。
[0004]然而，经本申请专利技术人研究发现，上述PU learning的实现方法存在以下缺陷：在第二步中仅利用通过第一步选出的负样本和正样本进行模型训练，而丢弃其余没有被选出作为负样本的未标记样本，将会导致训练得到的模型存在局限性，难以全面准确地识别各种输入数据；其原因在于，没有被选出作为负样本的未标注样本往往占比较大，其中蕴含着丰富的关键信息，在模型训练过程中放弃学习此部分关键信息，将会导致训练得到的模型难以准确地识别包括此类关键信息的输入数据。

技术实现思路

[0005]本申请实施例提供了一种模型训练方法及相关装置，能够使训练得到的模型可以更全面准确地识别各种输入数据。
[0006]有鉴于此，本申请第一方面提供了一种模型训练方法，所述方法包括：
[0007]基于负样本衡量机制，确定未标记样本集合中各未标记样本各自对应的负样本置信度；
[0008]根据所述未标记样本集合中各未标记样本各自对应的负样本置信度，从所述未标记样本集合中选出目标负样本；基于所述目标负样本和目标正样本，构建第一训练样本集；
[0009]根据参考未标记样本集合中各未标记样本各自对应的负样本置信度，从所述参考未标记样本集合中选出参考正样本和参考负样本，所述参考未标记样本集合包括所述未标记样本集合中除所述目标负样本以外的未标记样本；基于所述目标负样本和所述参考负样本、以及所述目标正样本和所述参考正样本，构建第二训练样本集；
[0010]基于所述第一训练样本集和所述第二训练样本集，训练目标分类模型。
[0011]本申请第二方面提供了一种模型训练装置，所述装置包括：
[0012]置信度确定模块，用于基于负样本衡量机制，确定未标记样本集合中各未标记样本各自对应的负样本置信度；
[0013]第一样本集构建模块，用于根据所述未标记样本集合中各未标记样本各自对应的负样本置信度，从所述未标记样本集合中选出目标负样本；基于所述目标负样本和目标正样本，构建第一训练样本集；
[0014]第二样本集构建模块，用于根据参考未标记样本集合中各未标记样本各自对应的负样本置信度，从所述参考未标记样本集合中选出参考正样本和参考负样本，所述参考未标记样本集合包括所述未标记样本集合中除所述目标负样本以外的未标记样本；基于所述目标负样本和所述参考负样本、以及所述目标正样本和所述参考正样本，构建第二训练样本集；
[0015]模型训练模块，用于基于所述第一训练样本集和所述第二训练样本集，训练目标分类模型。
[0016]本申请第三方面提供了一种计算机设备，所述设备包括处理器和存储器：
[0017]所述存储器用于存储计算机程序；
[0018]所述处理器用于根据所述计算机程序，执行如上述第一方面所述的模型训练方法的步骤。
[0019]本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的模型训练方法的步骤。
[0020]本申请第五方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面所述的模型训练方法的步骤。
[0021]从以上技术方案可以看出，本申请实施例具有以下优点：
[0022]本申请实施例提供了一种模型训练方法，该方法采用PU learning基于未标记样本和目标正样本训练目标分类模型时，不仅会根据未标记样本集合中各未标记样本各自对应的负样本置信度，从该未标记样本集合中选出目标负样本(即较为可靠的负样本)，利用所选出的目标负样本和已知的目标正样本构建训练样本集；还会根据未标记样本集合中除目标负样本外的未标记样本对应的负样本置信度，对未标记样本集合中剩余的未标记样本进行二轮筛选，以选出对于模型训练具有参考价值的参考负样本和参考正样本，进而利用所选出的参考负样本和此前选出的目标负样本、以及所选出的参考正样本和已知的目标正样本，构建另一训练样本集；最终，利用所构建的两个训练样本集协同训练目标分类模型。如此，对于未标记样本集合中除目标负样本以外的其它未标记样本，实现了充分合理的利用，使得这些未被选出作为目标负样本的未标记样本也可以参与到目标分类模型的训练过程；相应地，在模型训练过程中，可以使所训练的目标分类模型学习到此类未标记样本中蕴含的关键信息，从而提升所训练的目标分类模型的模型性能，使该目标分类模型能够更全面准确地识别各种输入数据。
附图说明
[0023]图1为本申请实施例提供的模型训练方法的应用场景示意图；
[0024]图2为本申请实施例提供的模型训练方法的流程示意图；
[0025]图3为本申请实施例提供的PU Bagging算法的实现原理示意图；
[0026]图4为本申请实施例提供的SPY算法的实现原理示意图；
[0027]图5为本申请实施例提供的训练样本集的构建原理示意图；
[0028]图6为本申请实施例提供的目标分类模型的训练过程的实现架构示意图；
[0029]图7为本申请实施例提供的模型训练方法的实现架构示意图；
[0030]图8为本申请实施例提供的一种模型训练装置的结构示意图；
[0031]图9为本申请实施例提供的另一种模型训练装置的结构示意图；
[0032]图10为本申请实施例提供的又一种模型训练装置的结构示意图；
[0033]图11为本申请实施例提供的终端设备的结构示意图；
[0034]图12为本申请实施例提供的服务器的结构示意图。
具体实施方式
[0035]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0036]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：基于负样本衡量机制，确定未标记样本集合中各未标记样本各自对应的负样本置信度；根据所述未标记样本集合中各未标记样本各自对应的负样本置信度，从所述未标记样本集合中选出目标负样本；基于所述目标负样本和目标正样本，构建第一训练样本集；根据参考未标记样本集合中各未标记样本各自对应的负样本置信度，从所述参考未标记样本集合中选出参考正样本和参考负样本，所述参考未标记样本集合包括所述未标记样本集合中除所述目标负样本以外的未标记样本；基于所述目标负样本和所述参考负样本、以及所述目标正样本和所述参考正样本，构建第二训练样本集；基于所述第一训练样本集和所述第二训练样本集，训练目标分类模型。2.根据权利要求1所述的方法，其特征在于，所述基于负样本衡量机制，确定未标记样本集合中各未标记样本各自对应的负样本置信度，包括：基于多种负样本衡量机制，确定所述未标记样本集合中各未标记样本各自在每种所述负样本衡量机制下的负样本置信度；所述基于所述目标负样本和目标正样本，构建第一训练样本集，包括：针对每种所述负样本衡量机制，基于所述负样本衡量机制下的目标负样本和所述目标正样本，构建所述第一训练样本集；所述负样本衡量机制下的目标负样本，是根据所述未标记样本集合中各未标记样本各自在所述负样本衡量机制下的负样本置信度选出的；所述基于所述目标负样本和所述参考负样本、以及所述目标正样本和所述参考正样本，构建第二训练样本集，包括：针对每种所述负样本衡量机制，基于所述负样本衡量机制下的目标负样本、参考负样本和参考正样本、以及所述目标正样本，构建所述第二训练样本集；所述负样本衡量机制下的参考负样本和参考正样本，均是根据所述负样本衡量机制对应的参考未标记样本集合中各未标记样本各自在所述负样本衡量机制下的负样本置信度选出的；所述负样本衡量机制对应的参考未标记样本集合，包括所述未标记样本集合中除所述负样本衡量机制下的目标负样本以外的未标记样本。3.根据权利要求2所述的方法，其特征在于，所述基于多种负样本衡量机制，确定所述未标记样本集合中各未标记样本各自在每种所述负样本衡量机制下的负样本置信度，包括以下至少两种：基于所述未标记样本集合中的未标记样本以及所述目标正样本，训练半监督分类模型；通过所述半监督分类模型，确定所述未标记样本集合中各未标记样本各自在半监督机制下的负样本置信度；根据所述未标记样本集合中各未标记样本以及各所述目标正样本在特征空间的分布情况，确定所述未标记样本集合中各未标记样本各自在无监督机制下的负样本置信度；获取所述未标记样本集合中各未标记样本各自对应的参考特征；根据目标业务场景下的业务规则、以及所述未标记样本集合中各未标记样本各自对应的参考特征，确定所述未标记样本集合中各未标记样本各自在强规则机制下的负样本置信度；所述目标业务场景是产生所述未标记样本的业务场景。4.根据权利要求3所述的方法，其特征在于，所述基于所述未标记样本集合中的未标记
样本以及所述目标正样本，训练半监督分类模型；通过所述半监督分类模型，确定所述未标记样本集合中各未标记样本各自在半监督机制下的负样本置信度，包括以下至少一种：将所述未标记样本集合划分为m个未标记样本子集合，所述m为大于1的整数；针对每个所述未标记样本子集合，将所述未标记样本子集合包括的未标记样本作为第一模拟负样本，基于所述目标正样本和所述第一模拟负样本，训练所述未标记样本子集合对应的第一半监督分类模型；通过m个所述第一半监督分类模型，确定所述未标记样本集合中各未标记样本各自在第一半监督机制下的负样本置信度；从各所述目标正样本中选出部分所述目标正样本，将所选出的所述目标正样本、以及所述未标记样本集合中的各未标记样本作为第二模拟负样本；基于未选出的所述目标正样本和所述第二模拟负样本，训练第二半监督分类模型；通过所述第二半监督分类模型，确定所述未标记样本集合中各未标记样本各自在第二半监督机制下的负样本置信度。5.根据权利要求3所述的方法，其特征在于，所述根据所述未标记样本集合中各未标记样本以及各所述目标正样本在特征空间的分布情况，确定所述未标记样本集合中各未标记样本各自在无监督机制下的负样本置信度，包括以下至少一种：对所述未标记样本集合中各未标记样本以及各所述目标正样本进行聚类处理，得到多个聚类簇；针对所述未标记样本集合中每个未标记样本，根据其所属的聚类簇中包括的所述目标正样本的数量，确定所述未标记样本在第一无监督机制下的负样本置信度；针对所述未标记样本集合中每个未标记样本，在特征空间中确定所述未标记样本对应的多个邻近样本；根据所述多个邻近样本中包括的所述目标正样本的数量，确定所述未标记样本在第二无监督机制下的负样本置信度。6.根据权利要求3所述的方法，其特征在于，所述未标记样本为已通过参考验证、被识别为使用用户为目标对象的目标账号的特征数据；所述获取所述未标记样本集合中各未标记样本各自对应的参考特征；根据目标业务场景下的业务规则、以及所述未标记样本集合中各未标记样本各自对应的参考特征，确定所...

【专利技术属性】
技术研发人员：邓金涛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：