一种基于对称交叉复合训练的新型深度学习方法及装置制造方法及图纸

本发明专利技术涉及深度学习技术领域，特别涉及一种基于对称交叉复合训练的新型深度学习方法及装置，所述方法具体包括：获取第一样本数据，将所述第一样本数据划分为第一训练集、第一验证集和第一测试集，并将所述第一训练集再划分为第一数据集和第二数据集；将所述第一数据集和所述第二数据集轮流作为训练集和验证集进行对称交叉训练，获得离群样本和真性样本；对所述离群样本和所述真性样本进行复合训练，同时进行输出矫正归类，获得第一最优模型。本发明专利技术通过改变传统深度学习训练方法模式，利用深度学习特征提取的功能来自动地识别和分离在训练集中的离群样本，进一步提高模型性能。进一步提高模型性能。进一步提高模型性能。

【技术实现步骤摘要】
一种基于对称交叉复合训练的新型深度学习方法及装置


[0001]本专利技术涉及深度学习
，特别涉及一种基于对称交叉复合训练的新型深度学习方法及装置。

技术介绍

[0002]得益于深度学习强大的特征提取能力，深度学习在计算机视觉领域展现出色的性能。目前在深度学习中，一般按照传统深度学习训练策略来获得合适的神经网络模型，包括：1)首先将数据集划分为训练集、验证集和测试集；2)然后在训练集上训练深度神经网络，通过梯度优化来获得参数化模型，以及在验证集上选取最优模型；3)最后在测试集上执行特定的任务，比如分类和预测。然而在数据集有限的情况下，训练集中的一些离群样本将会导致神经网络出现过拟合问题，即离群样本导致神经网络过度学习，导致模型的泛化能力降低。对于此问题，学者们已经提出了多种方法，比如软权值共享，Dropout策略，以及当模型作用于验证集上的性能开始变差时立刻停止训练。最后一种方法是利用验证集来避免深度学习模型出现过拟合，从而获得合适的深度学习模型，这种方法虽然能够防止模型性能降低，却没有探讨导致过拟合的离群样本对深度学习网络造成的干扰。

技术实现思路

[0003]本专利技术的目的在于提供一种基于对称交叉复合训练的新型深度学习方法及装置，通过改变传统深度学习训练方法模式，利用深度学习特征提取的功能来自动地识别和分离在训练集中的离群样本，进一步提高模型性能。
[0004]一方面，本专利技术提供了一种基于对称交叉复合训练的新型深度学习方法，所述方法具体包括：
[0005]获取第一样本数据，将所述第一样本数据划分为第一训练集、第一验证集和第一测试集，并将所述第一训练集再划分为第一数据集和第二数据集；
[0006]将所述第一数据集和所述第二数据集轮流作为训练集和验证集进行对称交叉训练，获得离群样本和真性样本，所述离群样本包括第一离群样本和第二离群样本，所述真性样本包括第一真性样本和第二真性样本；
[0007]对所述离群样本和所述真性样本进行复合训练，同时进行输出矫正归类，获得第一最优模型。
[0008]进一步的，所述将所述第一数据集和所述第二数据集轮流作为训练集和验证集进行对称交叉训练，获得离群样本和真性样本，具体包括：
[0009]将所述第一数据集和所述第二数据集分别作为第二训练集和第二验证集进行训练，分离出第一离群样本和第一真性样本；
[0010]将所述第二数据集和所述第一数据集分别作为第三训练集和第三验证集进行训练，分离出第二离群样本和第二真性样本。
[0011]更进一步的，所述将所述第一数据集和所述第二数据集分别作为第二训练集和第
二验证集进行训练，分离出第一离群样本和第一真性样本，具体包括：
[0012]将所述第一数据集确定为第二训练集，将所述第二数据集确定为第二验证集；
[0013]基于第一神经网络模型训练所述第二训练集，并根据所述第二验证集获得第二最优模型；
[0014]将所述第二最优模型作用于所述第二训练集，确定第一离群样本和第一真性样本。
[0015]更进一步的，所述将所述第二数据集和所述第一数据集分别作为第三训练集和第三验证集进行训练，分离出第二离群样本和第二真性样本，具体包括：
[0016]将所述第二数据集确定为第三训练集，将所述第一数据集确定为第三验证集；
[0017]基于第二神经网络模型训练所述第三训练集，并根据所述第三验证集获得第三最优模型；
[0018]将所述第三最优模型作用于所述第三训练集，确定第二离群样本和第二真性样本。
[0019]进一步的，所述对所述离群样本和所述真性样本进行复合训练，同时进行输出矫正归类，获得第一最优模型，具体包括：
[0020]合并所述离群样本和所述真性样本，然后按照真阳性样本、真阴性样本、假阳性样本和假阴性样本进行标注划分，获得第四训练集；
[0021]基于第三神经网络模型训练所述第四训练集，并根据所述第一验证集获得第一最优模型；
[0022]根据所述第一测试集评估所述第一最优模型，通过归类公式进行输出矫正归类。
[0023]更进一步的，所述第四训练集包括
[0024][0025][0026]其中，表示总真阳性样本，表示总真阴性样本，表示总假阳性样本，表示总假阴性样本，表示第一真性样本中的真阳性样本，表示第一真性样本中的真阴性样本，表示第一离群样本中的假阳性样本，表示第一离群样本中的假阴性样本，表示第二真性样本中的真阳性样本，表示第二真性样本中的真阴性样本，表示第二离群样本中的假阳性样本，表示第二离群样本中的假阴性样本。
[0027]更进一步的，所述归类公式满足
[0028][0029][0030]其中，表示测试阳性结果，表示测试阴性结果，表示测试错误阳性结果，表示测试错误阴性结果。
[0031]另一方面，本专利技术还提供了一种基于对称交叉复合训练的新型深度学习装置，所述装置具体包括：
[0032]获取模块，用于获取第一样本数据，将所述第一样本数据划分为第一训练集、第一验证集和第一测试集，并将所述第一训练集再划分为第一数据集和第二数据集；
[0033]对称交叉训练模块，用于将所述第一数据集和所述第二数据集轮流作为训练集和验证集进行对称交叉训练，获得离群样本和真性样本，所述离群样本包括第一离群样本和第二离群样本，所述真性样本包括第一真性样本和第二真性样本；
[0034]复合训练模块，用于对所述离群样本和所述真性样本进行复合训练，同时进行输出矫正归类，获得第一最优模型。
[0035]与现有技术相比，本专利技术具有以下技术效果的至少之一：
[0036]1、该方法改变深度学习方法的训练模式，应用深度学习网络学习特性自动地去区分离群样本，避免深度学习网络出现过拟合。
[0037]2、将离群样本作为深度学习网络新的分类输入，有助于网络学习离群样本的特征，增强模型的泛化能力，进一步地提高模型性能。
[0038]3、分离出离群样本，并让深度学习网络具备鉴别离群样本的能力。
附图说明
[0039]是为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是本专利技术实施例提供的一种基于对称交叉复合训练的新型深度学习方法的流程示意图；
[0041]图2是本专利技术实施例提供的一种基于对称交叉复合训练的新型深度学习方法的另一流程示意图；
[0042]图3是基于CC
‑
CCII数据集进行测试的传统方法和本专利技术实施例提供的方法的ROC曲线对比图；
[0043]图4是基于CC
‑
CCII数据集进行测试的传统方法和本专利技术实施例提供的方法的PR曲线对比图；
[0044]图5是基于CC
‑
C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对称交叉复合训练的新型深度学习方法，其特征在于，所述方法具体包括：获取第一样本数据，将所述第一样本数据划分为第一训练集、第一验证集和第一测试集，并将所述第一训练集再划分为第一数据集和第二数据集；将所述第一数据集和所述第二数据集轮流作为训练集和验证集进行对称交叉训练，获得离群样本和真性样本，所述离群样本包括第一离群样本和第二离群样本，所述真性样本包括第一真性样本和第二真性样本；对所述离群样本和所述真性样本进行复合训练，同时进行输出矫正归类，获得第一最优模型。2.根据权利要求1所述的方法，其特征在于，所述将所述第一数据集和所述第二数据集轮流作为训练集和验证集进行对称交叉训练，获得离群样本和真性样本，具体包括：将所述第一数据集和所述第二数据集分别作为第二训练集和第二验证集进行训练，分离出第一离群样本和第一真性样本；将所述第二数据集和所述第一数据集分别作为第三训练集和第三验证集进行训练，分离出第二离群样本和第二真性样本。3.根据权利要求2所述的方法，其特征在于，所述将所述第一数据集和所述第二数据集分别作为第二训练集和第二验证集进行训练，分离出第一离群样本和第一真性样本，具体包括：将所述第一数据集确定为第二训练集，将所述第二数据集确定为第二验证集；基于第一神经网络模型训练所述第二训练集，并根据所述第二验证集获得第二最优模型；将所述第二最优模型作用于所述第二训练集，确定第一离群样本和第一真性样本。4.根据权利要求2所述的方法，其特征在于，所述将所述第二数据集和所述第一数据集分别作为第三训练集和第三验证集进行训练，分离出第二离群样本和第二真性样本，具体包括：将所述第二数据集确定为第三训练集，将所述第一数据集确定为第三验证集；基于第二神经网络模型训练所述第三训练集，并根据所述第三验证集获得第三最优模型；将所述第三最优模型作用于所述第三训练集，确定第二离群样本和第二真性样本。5.根...

【专利技术属性】
技术研发人员：王旭，何昭水，林志洁，谈季，苏文青，梁浩，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：