一种模型的监督训练方法、装置及设备制造方法及图纸

本说明书实施例公开了一种模型的监督训练方法、装置及设备，该方法包括：获取用于训练预设模型的样本数据，并对所述样本数据进行特征提取，得到每个所述样本数据对应的特征向量；使用预设的字典学习算法，并基于每个所述样本数据对应的特征向量、预设的字典矩阵和待确定的每个所述样本数据对应的类别构建的优化目标，对每个所述样本数据进行分类，得到每个所述样本数据对应的类别，所述字典矩阵由预设的用于构建样本数据类别的多个基向量构建；基于每个所述样本数据对应的特征向量和每个所述样本数据对应的类别对所述预设模型进行监督训练。

【技术实现步骤摘要】
一种模型的监督训练方法、装置及设备
本说明书涉及计算机
，尤其涉及一种模型的监督训练方法、装置及设备。
技术介绍
在工业应用中，通过有监督的训练得到的一些网络模型已有较多应用，但在模型训练的实际应用中，由于标注数据的稀缺，通常模型无法实现在大规模标注数据的条件下进行监督训练，从而导致该模型的实际应用效果很差。此外，通过有监督训练得到的模型无法提取通用的样本数据表征，从而使得技术人员必须针对不同的场景训练不同的模型，进而造成了模型的重复开发，浪费了大量的计算资源。为此，需要提供一种模型训练的监督机制并以此来训练相应的模型的技术方案。
技术实现思路
本说明书实施例的目的是提供一种模型训练的监督机制并以此来训练相应的模型。为了实现上述技术方案，本说明书实施例是这样实现的：本说明书实施例提供的一种模型的监督训练方法，所述方法包括：获取用于训练预设模型的样本数据，并对所述样本数据进行特征提取，得到每个所述样本数据对应的特征向量。使用预设的字典学习算法，并基于每个所述样本数据对应的特征向量、预设的字典矩阵和待确定的每个所述样本数据对应的类别构建的优化目标，对每个所述样本数据进行分类，得到每个所述样本数据对应的类别，所述字典矩阵由预设的用于构建样本数据类别的多个基向量构建。基于每个所述样本数据对应的特征向量和每个所述样本数据对应的类别对所述预设模型进行监督训练。本说明书实施例提供的一种模型的监督训练装置，所述装置包括：样本处理模块，获取用于训练预设模型的样本数据，并对所述样本数据进行特征提取，得到每个所述样本数据对应的特征向量。分类模块，使用预设的字典学习算法，并基于每个所述样本数据对应的特征向量、预设的字典矩阵和待确定的每个所述样本数据对应的类别构建的优化目标，对每个所述样本数据进行分类，得到每个所述样本数据对应的类别，所述字典矩阵由预设的用于构建样本数据类别的多个基向量构建。训练模块，基于每个所述样本数据对应的特征向量和每个所述样本数据对应的类别对所述预设模型进行监督训练。本说明书实施例提供的一种模型的监督训练设备，所述模型的监督训练设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取用于训练预设模型的样本数据，并对所述样本数据进行特征提取，得到每个所述样本数据对应的特征向量。使用预设的字典学习算法，并基于每个所述样本数据对应的特征向量、预设的字典矩阵和待确定的每个所述样本数据对应的类别构建的优化目标，对每个所述样本数据进行分类，得到每个所述样本数据对应的类别，所述字典矩阵由预设的用于构建样本数据类别的多个基向量构建。基于每个所述样本数据对应的特征向量和每个所述样本数据对应的类别对所述预设模型进行监督训练。本说明书实施例还提供了一种存储介质，其中，所述存储介质用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：获取用于训练预设模型的样本数据，并对所述样本数据进行特征提取，得到每个所述样本数据对应的特征向量。使用预设的字典学习算法，并基于每个所述样本数据对应的特征向量、预设的字典矩阵和待确定的每个所述样本数据对应的类别构建的优化目标，对每个所述样本数据进行分类，得到每个所述样本数据对应的类别，所述字典矩阵由预设的用于构建样本数据类别的多个基向量构建。基于每个所述样本数据对应的特征向量和每个所述样本数据对应的类别对所述预设模型进行监督训练。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1A为本说明书一种模型的监督训练方法实施例；图1B为本说明书一种模型的监督训练过程的示意图；图2为本说明书一种获取样本数据的示意图；图3为本说明书另一种模型的监督训练方法实施例；图4为本说明书一种模型的监督训练装置实施例；图5为本说明书一种模型的监督训练设备实施例。具体实施方式本说明书实施例提供一种模型的监督训练方法、装置及设备。为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。实施例一如图1A和图1B所示，本说明书实施例提供一种模型的监督训练方法，该方法的执行主体可以为终端设备或服务器，其中，该终端设备可以如笔记本电脑或台式电脑等计算机设备，还可以如手机或平板电脑等移动终端设备。该服务器可以是为某项业务(如进行交易的业务或金融业务等)的服务器或对模型进行训练的服务器或包含指定模型的业务处理系统的服务器等，具体如，该服务器可以是支付业务的服务器，也可以是与金融或即时通讯等相关业务的服务器等。本实施例中的执行主体以服务器为例进行说明，对于执行主体为终端设备的情况，可以参见下述相关内容，在此不再赘述。该方法具体可以包括以下步骤：在步骤S102中，获取用于训练预设模型的样本数据，并对该样本数据进行特征提取，得到每个样本数据对应的特征向量。其中，预设模型可以是预先需要进行训练的模型，预设模型可以包括多种，例如，预设模型可以为神经网络模型、支持向量机模型、遗传算法模型等，具体可以根据实际情况设定，本说明书实施例对此不做限定。样本数据可以根据待训练的模型而进行相应的设置，例如，待训练的模型用于对包含指定信息的图像进行处理，则样本数据可以为包含指定信息的图像或不包含指定信息的图像等，待训练的模型用于对文本进行处理，则样本数据可以为文本类的数据等，具体可以根据实际情况设定，本说明书实施例对此不做限定。在实施中，在工业应用中，通过有监督的训练得到的一些网络模型已有较多应用，但在模型训练的实际应用中，由于标注数据的稀缺，通常模型无法实现在大规模标注数据的条件下进行监督训练，从而导致该模型的实际应用效果很差。此外，通过有监督训练得到的模型无法提取通用的样本数据表征，从而使得技术人员必须针对不同的场景训练不同的模型，进而造成了模型的重复开发，浪费了大量的计算资源。为此，需要提供一种监督机制并以此来训练相应的模型的技术方案。在实际应用中，可以通过下述方式实现模型的监督训练，即将聚类算法和待训练的模型相结合，进而进行自监督训练(即Deepcluster机制或方法)，具体地，可以将样本数据转换为表征向量，然后，通过预设的聚类算法对上述样本数据对应的表征向量进行聚类，得到每个样本数据对应的类别(或可以称为伪标签等)，之后，可以基于得到的每个样本数据对应的类别对该模型进行监督训练，上述过程进行反复迭代便可训练该模型提取通用的样本数据本文档来自技高网...

【技术保护点】
1.一种模型的监督训练方法，所述方法包括：/n获取用于训练预设模型的样本数据，并对所述样本数据进行特征提取，得到每个所述样本数据对应的特征向量；/n使用预设的字典学习算法，并基于每个所述样本数据对应的特征向量、预设的字典矩阵和待确定的每个所述样本数据对应的类别构建的优化目标，对每个所述样本数据进行分类，得到每个所述样本数据对应的类别，所述字典矩阵由预设的用于构建样本数据类别的多个基向量构建；/n基于每个所述样本数据对应的特征向量和每个所述样本数据对应的类别对所述预设模型进行监督训练。/n

【技术特征摘要】
1.一种模型的监督训练方法，所述方法包括：
获取用于训练预设模型的样本数据，并对所述样本数据进行特征提取，得到每个所述样本数据对应的特征向量；
使用预设的字典学习算法，并基于每个所述样本数据对应的特征向量、预设的字典矩阵和待确定的每个所述样本数据对应的类别构建的优化目标，对每个所述样本数据进行分类，得到每个所述样本数据对应的类别，所述字典矩阵由预设的用于构建样本数据类别的多个基向量构建；
基于每个所述样本数据对应的特征向量和每个所述样本数据对应的类别对所述预设模型进行监督训练。


2.根据权利要求1所述的方法，所述预设模型为神经网络模型。


3.根据权利要求2所述的方法，所述使用预设的字典学习算法，并基于每个所述样本数据对应的特征向量、预设的字典矩阵和待确定的每个所述样本数据对应的类别构建的优化目标，对每个所述样本数据进行分类，得到每个所述样本数据对应的类别，包括：
使用预设的字典学习算法，并基于每个所述样本数据对应的特征向量、预设的字典矩阵和待确定的每个所述样本数据对应的类别的向量构建的优化目标，对每个所述样本数据进行分类，得到每个所述样本数据对应的类别的向量；
对每个所述样本数据对应的类别的向量进行二值化处理，得到二值化后的所述类别的向量；
基于二值化后的所述类别的向量确定每个所述样本数据对应的类别。


4.根据权利要求3所述的方法，所述每个所述样本数据对应的类别的向量为稀疏向量。


5.根据权利要求3所述的方法，构建的所述优化目标为



其中，D为字典矩阵，所述字典矩阵由k个基向量di(i＝1,2,…,k)组成，N为样本数据的数量，xn为第n个样本数据，为待确定的第n个所述样本数据对应的类别的向量，fθ(xn)为第n个所述样本数据对应的特征向量，N个样本数据对应的类别的数量为k，θ为模型参数，λ为预设参数。


6.根据权利要求3所述的方法，所述基于每个所述样本数据对应的特征向量和每个所述样本数据对应的类别对所述预设模型进行监督训练，包括：
基于每个所述样本数据对应的特征向量和每个所述样本数据对应的类别对所述预设模型进行监督训练的过程中，基于反向传播算法确定所述预设模型的模型参数和预设分类器的分类器参数；
基于所述预设模型的模型参数和预设分类器的分类器参数，通过梯度下降优化分类损失函数对所述预设模型进行监督训练。


7.根据权利要求6所述的方法，所述梯度下降优化分类损失函数为



其中，l为逻辑回归分类损失函数，W＝[w1,w2,....wj]表示预设分类器，wj为第j个预设分类器的分类器参数。


8.一种模型的监督训练装置，所述装置包括：
样本处理模块，获取用于训练预设模型的样本数据，并对所述样本数据进行特征提取，...

【专利技术属性】
技术研发人员：吕乐，周璟，刘佳，尚田丰，傅幸，杨阳，王维强，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33