数据处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、电子设备及存储介质，该方法包括获取预设的增强模型、训练后的分类模型、有标签数据以及无标签数据，采用增强模型对有标签数据和无标签数据进行增强，得到有标签数据集和无标签数据集，通过分类模型对有标签数据集和无标签数据集进行预测处理，以得到增强前后的有标签数据的预测结果、增强前后的无标签数据的预测结果，然后根据预测结果确定第一损失值、第二损失值、第三损失值，并基于确定的损失值，对预设的增强模型的模型参数进行优化以得到完成训练的半监督模型。采用本发明专利技术实施例提供的方法训练得到的半监督模型，能够实现同时对有标签数据和无标签数据进行增强，解决了深度学习中样本少的困境。样本少的困境。样本少的困境。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种数据处理方法、装置、电子设 备及存储介质。

技术介绍

[0002]深度学习的模型训练通常依赖大量的标签数据，在只有少量数据上通常表现 不好。在这种背景下，数据增强应运而生。数据增强是一种通过让有限的数据产 生更多的数据来人工扩展数据集的技术，它既可以缓解数据量不足的问题，也可 以用于提高模型的性能。
[0003]以训练数据的类型作为划分节点，数据增强可以分为有监督的数据增强和无 监督的数据增强。有监督的数据增强是只针对标注数据进行数据扩增，而有标签 的数据通常是少量的，监督式数据增强只能提高有限的性能。无监督数据增强通 过在总损失函数中加入一致性损失函数，将有监督的数据增强扩展到未标注数据 中，此方法能保证增强前后数据分布的一致性，但未充分利用监督数据的数据信 息。因此，现有技术仍无法解决深度学习中样本少的困境。

技术实现思路

[0004]本专利技术实施例的目的是提供一种数据处理方法、装置、电子设备及存储介质， 以解决深度学习中样本少的困境。
[0005]在第一方面，为实现上述目的，本专利技术实施例提供了一种数据处理方法，包 括：
[0006]获取预设的增强模型、训练后的分类模型、有标签数据以及无标签数据；
[0007]采用所述预设的增强模型对所述有标签数据和所述无标签数据进行增强，得 到有标签数据集和无标签数据集；
[0008]通过所述训练后的分类模型对所述有标签数据集进行预测处理，得到所述增 强前的有标签数据的第一预测结果和所述增强后的有标签数据的第二预测结果， 并通过所述训练后的分类模型对所述无标签数据集进行预测处理，得到所述增强 前的无标签数据的第三预测结果和所述增强后的无标签数据的第四预测结果；
[0009]根据第一预测结果确定第一损失值，根据所述第二预测结果确定第二损失值， 根据所述第三预测结果与所述第四预测结果确定第三损失值；
[0010]基于所述第一损失值、所述第二损失值以及所述第三损失值，对所述预设的 增强模型的模型参数进行优化，以得到完成训练的半监督模型。
[0011]进一步的，在所述通过所述训练后的分类模型对所述有标签数据集进行预测 处理的步骤之前，所述数据处理方法还包括：
[0012]通过所述有标签数据集对待训练的分类模型进行第一训练，得到第一分类模 型，并通过所述无标签数据集对所述第一分类模型进行第二训练，得到训练后的 分类模型。
[0013]进一步的，所述采用所述预设的增强模型对所述有标签数据和所述无标签数 据
进行增强，得到有标签数据集和无标签数据集，包括：
[0014]采用所述预设的增强模型对所述有标签数据进行增强，得到增强后的有标签 数据，并将增强前的有标签数据和所述增强后的有标签数据作为有标签数据集；
[0015]采用所述预设的增强模型对所述无标签数据进行增强，得到增强后的无标签 数据，并将增强前的无标签数据和所述增强后的无标签数据作为无标签数据集。
[0016]进一步的，所述采用所述预设的增强模型对所述有标签数据进行增强，得到 增强后的有标签数据，包括：
[0017]对任意两个增强前的有标签数据进行mixup处理，得到增强后的有标签数据， 并对进行mixup处理的两个增强前的有标签数据对应的两个标签进行mixup处理， 得到所述增强后的有标签数据的标签。
[0018]进一步的，所述采用所述预设的增强模型对所述无标签数据进行增强，得到 增强后的无标签数据，包括：
[0019]对增强前的无标签数据进行回译增强处理，得到增强后的无标签数据。
[0020]进一步的，在所述获取预设的增强模型、训练后的分类模型、有标签数据以 及无标签数据的步骤之前，所述数据处理方法还包括：
[0021]获取预设的标注数据集，所述标注数据集包括标注数据和标注数据对应的标 注标签；
[0022]对所述标注数据进行编码处理，得到所述标注数据对应的第一嵌入数据；
[0023]对所述标注标签进行转化处理，得到所述标注标签的独热编码；
[0024]将所述第一嵌入数据和所述独热编码作为有标签数据。
[0025]进一步的，在所述获取预设的增强模型、训练后的分类模型、有标签数据以 及无标签数据的步骤之前，所述数据处理方法还包括：
[0026]获取预设的未标注数据；
[0027]对所述未标注数据进行编码处理，得到所述未标注数据对应的第二嵌入数据；
[0028]将所述第二嵌入数据作为无标签数据。
[0029]进一步的，所述根据第一预测结果确定第一损失值，根据所述第二预测结果 确定第二损失值，包括：
[0030]根据所述第一预测结果与增强前的有标签数据的标签的差异，确定第一损失 值，根据所述第二预测结果与增强后的有标签数据的标签的差异，确定第二损失 值；
[0031]所述根据所述第三预测结果与所述第四预测结果确定第三损失值，包括：
[0032]根据所述第三预测结果和所述第四预测结果之间的差异，确定第三损失值。
[0033]进一步的，所述数据处理方法还包括：
[0034]对所有的嵌入数据的数据长度进行调整，以使所有的嵌入数据的数据长度相 同。
[0035]进一步的，所述基于所述第一损失值、所述第二损失值以及所述第三损失值， 对所述预设的增强模型的模型参数进行优化，包括：
[0036]将所述第一损失值、所述第二损失值以及所述第三损失值相加，得到总损失 值；
[0037]基于所述总损失值，对所述预设的增强模型的模型参数进行优化。
[0038]进一步的，所述通过所述无标签数据集对所述第一分类模型进行第二训练， 包括：
[0039]将所述无标签数据集输入至所述第一分类模型进行预测，得到增强前的无标 签数据的第五预测结果和增强后的无标签数据的第六预测结果；
[0040]根据所述第五预测结果和所述第六预测结果的分类类别的一致性，对所述第 一分类模型进行训练。
[0041]在第二方面，本专利技术实施例提供了一种数据处理装置，包括：
[0042]获取模块，用于获取预设的增强模型、训练后的分类模型、有标签数据以及 无标签数据；
[0043]增强模块，用于采用所述预设的增强模型对所述有标签数据和所述无标签数 据进行增强，得到有标签数据集和无标签数据集；
[0044]预测模块，用于通过所述训练后的分类模型对所述有标签数据集进行预测处 理，得到所述增强前的有标签数据的第一预测结果和所述增强后的有标签数据的 第二预测结果，并通过所述训练后的分类模型对所述无标签数据集进行预测处理， 得到所述增强前的无标签数据的第三预测结果和所述增强后的无标签数据的第 四预测结果；
[0045]确定模块，用于根据第一预测结果确定第一损失值，根据所述第二预测结果 确定第二损失值，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取预设的增强模型、训练后的分类模型、有标签数据以及无标签数据；采用所述预设的增强模型对所述有标签数据和所述无标签数据进行增强，得到有标签数据集和无标签数据集；通过所述训练后的分类模型对所述有标签数据集进行预测处理，得到所述增强前的有标签数据的第一预测结果和所述增强后的有标签数据的第二预测结果，并通过所述训练后的分类模型对所述无标签数据集进行预测处理，得到所述增强前的无标签数据的第三预测结果和所述增强后的无标签数据的第四预测结果；根据第一预测结果确定第一损失值，根据所述第二预测结果确定第二损失值，根据所述第三预测结果与所述第四预测结果确定第三损失值；基于所述第一损失值、所述第二损失值以及所述第三损失值，对所述预设的增强模型的模型参数进行优化，以得到完成训练的半监督模型。2.如权利要求1所述的数据处理方法，其特征在于，在所述通过所述训练后的分类模型对所述有标签数据集进行预测处理的步骤之前，所述数据处理方法还包括：通过所述有标签数据集对待训练的分类模型进行第一训练，得到第一分类模型，并通过所述无标签数据集对所述第一分类模型进行第二训练，得到训练后的分类模型。3.如权利要求1所述的数据处理方法，其特征在于，所述采用所述预设的增强模型对所述有标签数据和所述无标签数据进行增强，得到有标签数据集和无标签数据集，包括：采用所述预设的增强模型对所述有标签数据进行增强，得到增强后的有标签数据，并将增强前的有标签数据和所述增强后的有标签数据作为有标签数据集；采用所述预设的增强模型对所述无标签数据进行增强，得到增强后的无标签数据，并将增强前的无标签数据和所述增强后的无标签数据作为无标签数据集。4.如权利要求3所述的数据处理方法，其特征在于，所述采用所述预设的增强模型对所述有标签数据进行增强，得到增强后的有标签数据，包括：对任意两个增强前的有标签数据进行mixup处理，得到增强后的有标签数据，并对进行mixup处理的两个增强前的有标签数据对应的两个标签进行mixup处理，得到所述增强后的有标签数据的标签。5.如权利要求3所述的数据处理方法，其特征在于，所述采用所述预设的增强模型对所述无标签数据进行增强，得到增强后的无标签数据，包括：对增强前的无标签数据进行回译增强处理，得到增强后的无标签数据。6.如权利要求1所述的数据处理方法，其特征在于，在所述获取预设的增强模型、训练后的分类模型、有标签数据以及无标签数据的步骤之前，所述数据处理方法还包括：获取预设的标注数据集，所述标注数据集包括标注数据和标注数据对应的标注标签；对所述标注数据进行编码处理，得到所述标注数据对应的第一嵌入数据；对所述标注标签进行转化处理，得到所述标注标签的独热编码；将所述第一嵌入数据和所述独热编码作为有标签数据。7.如权利要求1所述的数据处理方法，其特征在于，在所述获取预设的增强模型、训练后的分类模型、有标签数据以及无标签数据的步骤之前，所述数据处理方法还包括：获取预设的未标...

【专利技术属性】
技术研发人员：刘汶霖，胡玉鹏，邢静怡，鹿存哲，
申请(专利权)人：武汉TCL集团工业研究院有限公司，
类型：发明
国别省市：