模型训练方法、异常数据检测方法、装置和电子设备制造方法及图纸

本说明书实施例公开了模型训练方法、异常数据检测方法、装置和电子设备的实施例。所述方法包括：获取训练样本集，所述训练样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签；根据所述无标签样本集，对第一模型进行训练，所述第一模型包括特征提取子模型；根据所述有标签样本集和所述特征提取子模型的训练结果，对第二模型进行训练，所述第二模型包括所述特征提取子模型和异常数据检测子模型，所述异常数据检测子模型用于根据所述特征提取子模型的输出检测异常数据。本说明书实施例可以提高第二模型的训练效果。

【技术实现步骤摘要】
模型训练方法、异常数据检测方法、装置和电子设备
本说明书实施例涉及计算机
，特别涉及一种模型训练方法、异常数据检测方法、装置和电子设备。
技术介绍
在实际应用中，经常需要检测业务数据是否为异常数据。为此可以训练模型，进而可以通过训练的模型检测业务数据是否为异常数据。如何提高模型的训练效果是当前亟需解决的技术问题。
技术实现思路
本说明书实施例提供一种模型训练方法、异常数据检测方法、装置和电子设备，以提高模型的训练效果。本说明书实施例的技术方案如下。本说明书实施例的第一方面，提供了一种模型训练方法，包括：获取训练样本集，所述训练样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签，所述类型标签用于表示所述有标签样本集中是否包含异常的第二样本；根据所述无标签样本集，对第一模型进行训练，所述第一模型包括特征提取子模型；根据所述有标签样本集和所述特征提取子模型的训练结果，对第二模型进行训练，所述第二模型包括所述特征提取子模型和异常数据检测子模型，所述异常数据检测子模型用于根据所述特征提取子模型的输出检测异常数据。本说明书实施例的第二方面，提供了一种异常数据检测方法，包括：将业务数据集输入至使用如第一方面所述方法训练后的第二模型，得到所述业务数据集的检测结果，所述业务数据集包括多个业务数据。本说明书实施例的第三方面，提供了一种模型训练装置，包括：获取单元，用于获取训练样本集，所述样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签，所述类型标签用于表示所述有标签样本集中是否包含异常的第二样本；第一训练单元，用于根据所述无标签样本集，对第一模型进行训练，所述第一模型包括特征提取子模型；第二训练单元，用于根据所述有标签样本集和所述特征提取子模型的训练结果，对第二模型进行训练，所述第二模型包括所述特征提取子模型和异常数据检测子模型，所述异常数据检测子模型用于根据所述特征提取子模型的输出检测异常数据。本说明书实施例的第四方面，提供了一种异常数据检测装置，包括：检测单元，用于将业务数据集输入至使用如第一方面所述方法训练后的第二模型，得到所述业务数据集的检测结果，所述业务数据集包括多个业务数据。本说明书实施例的第五方面，提供了一种电子设备，包括：至少一个处理器；存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如第一方面或第二方面所述方法的指令。本说明书实施例提供的技术方案，第一模型和第二模型均包括特征提取子模型。通过无标签样本集对第一模型进行训练，可以实现对第二模型的部分模型参数进行无监督的预训练。通过有标签样本集可以实现对第二模型的模型参数进行有监督的再次训练。这样便于利用大量的无标签样本，并结合相对少量的有标签样本，实现对第二模型的模型参数进行训练，有利于提高第二模型的训练效果。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书实施例中的模型结构示意图；图2为本说明书实施例中的特征提取子模型结构示意图；图3为本说明书实施例中模型训练方法的流程示意图；图4为本说明书实施例中异常数据检测方法的流程示意图；图5为本说明书实施例中模型训练装置的结构示意图；图6为本说明书实施例中异常数据检测装置的结构示意图；图7为本说明书实施例中电子设备的结构示意图。具体实施方式下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。请参阅图1和图2。其示出了本说明书实施例涉及的模型结构示意图。本说明书实施例涉及的模型包括第一模型和第二模型。在一些实施例中，所述第一模型可以包括特征提取子模型。所述特征提取子模型用于从输入数据中提取特征数据，所述特征数据能够反映输入数据的特征。所述特征提取子模型包括编码模块(Encoder)和注意力模块(Attention)。所述编码模块用于对输入数据进行编码，得到编码数据。所述注意力模块用于对编码数据执行基于注意力机制的运算，得到特征数据。所述编码模块可以为神经网络模型。神经网络模型有较大的模型容量，有利于充分挖掘学习大数据中深层而复杂的规律。具体地，所述编码模块可以包括全连接层(Fullconnectedlayer)和自注意力层(Self-Attentionlayer)。所述全连接层用于对输入数据进行降维处理，得到降维处理结果。所述自注意力层用于对降维处理结果执行基于注意力机制的运算，得到编码数据。在实际应用中，所述编码模块可以包括一个全连接层和一个自注意力层。或者，所述编码模块可以包括多个组成单元，每个组成单元可以包括一个全连接层和一个自注意力层。所述多个组成单元在所述编码模块中依次堆叠，使得上一个组成单元中自注意力层的输出可以作为下一个组成单元中全连接层的输入。所述多个组成单元在所述编码模块中可以以残差网络的方式依次堆叠，当然也可以以其它的方式依次堆叠。值得说明的是，所述编码模块还可以采用其它方式实现。例如，所述编码模块还可以为Transformer网络、多层CNN(ConvolutionalNeuralNetworks)网络、或LSTM(LongShort-TermMemory)网络等。在一些实施例中，所述第一模型还可以包括数据关系检测子模型，所述数据关系检测子模型可以与所述特征提取子模型相连接。所述数据关系检测子模型用于根据所述特征提取子模型的输出检测两个数据是否对应同一业务对象。所述两个数据是否对应同一业务对象可以理解为：所述两个数据是否来自同一业务对象。所述业务对象例如可以为用户、公司或数据对象(例如控件)等。所述数据关系检测子模型的输出可以包括数据关系检测结果。所述数据关系检测结果可以为概率值，所述概率值用于表示两个数据对应同一业务对象的概率。或者，所述数据关系检测结果还可以为数据关系类别。所述数据关系类别可以为1或0，1表示两个数据对应同一业务对象，0表示两个数据对应不同的业务对象。这里的1和0仅为示例，所述数据关系类别还可以采用其它的数值或字符来表示。所述数据关系检测子模型可以为分类模型，例如可以为二分类模型。例如，所述数据关系检测子模型可以包括Softmax层。所述Softmax层可以基于Softmax函数实现。当然，所述数据关系检测子模型还可以采用其它方式实现。在一些实施例中，所述第本文档来自技高网...

【技术保护点】
1.一种模型训练方法，包括：/n获取训练样本集，所述训练样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签，所述类型标签用于表示所述有标签样本集中是否包含异常的第二样本；/n根据所述无标签样本集，对第一模型进行训练，所述第一模型包括特征提取子模型；/n根据所述有标签样本集和所述特征提取子模型的训练结果，对第二模型进行训练，所述第二模型包括所述特征提取子模型和异常数据检测子模型，所述异常数据检测子模型用于根据所述特征提取子模型的输出检测异常数据。/n

【技术特征摘要】
1.一种模型训练方法，包括：
获取训练样本集，所述训练样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签，所述类型标签用于表示所述有标签样本集中是否包含异常的第二样本；
根据所述无标签样本集，对第一模型进行训练，所述第一模型包括特征提取子模型；
根据所述有标签样本集和所述特征提取子模型的训练结果，对第二模型进行训练，所述第二模型包括所述特征提取子模型和异常数据检测子模型，所述异常数据检测子模型用于根据所述特征提取子模型的输出检测异常数据。


2.如权利要求1所述的方法，所述第一模型还包括数据关系检测子模型，所述数据关系检测子模型用于根据所述特征提取子模型的输出检测两个无标签样本集是否对应同一业务对象；所述对第一模型进行训练，包括：
将至少两个无标签样本集输入至特征提取子模型，得到至少两个第一特征数据；
将至少两个第一特征数据输入至数据关系检测子模型，得到至少一个数据关系检测结果；
根据数据关系检测结果，确定所述第一模型的模型参数。


3.如权利要求2所述的方法，所述特征提取子模型包括编码模块和注意力模块；所述将至少两个无标签样本集输入至所述特征提取子模型，包括：
将至少两个无标签样本集输入至编码模块，得到至少两个第一编码数据集；
将至少两个第一编码数据集输入至注意力模块，得到至少两个第一特征数据。


4.如权利要求3所述的方法，所述编码模块包括全连接层和自注意力层；所述将至少两个无标签样本集输入至编码模块，得到至少两个第一编码数据集，包括：
将至少两个无标签样本集输入至全连接层，以分别对所述至少两个无标签样本集进行降维处理，得到至少两个降维处理结果集；
将至少两个降维处理结果集输入至自注意力层，以分别对所述至少两个降维处理结果集执行基于注意力机制的运算，得到至少两个第一编码数据集。


5.如权利要求3所述的方法，所述第一模型还包括数据预测子模型，所述数据预测子模型用于根据所述特征提取子模型的输出进行数据预测；所述方法还包括：
将无标签样本集中的至少一个第一样本替换为特定样本；
将替换后的无标签样本集输入至编码模块，得到第二编码数据集；
将第二编码数据集中与所述特定样本相对应的编码数据输入至数据预测子模型，得到与所述特定样本相对应的预测结果；...

【专利技术属性】
技术研发人员：顾喆旭，齐翔，吴新琪，周荣旺，楼景华，周斌，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33