一种提高深度学习图片识别算法鲁棒性的方法技术

本发明专利技术公开了一种提高深度学习图片识别鲁棒性的方法。首先对深度学习的神经网络进行随机初始化；然后将训练样本集和训练标签集作为输入深度学习神经网络，进行前向传播输出深度学习神经网络认为其所属各个类别的概率；接着将新的样本和其标签进行反向传播，对深度学习神经网络进行调优；利用测试样本集和测试标签集对训练效果进行测试，输出测试样本集的测试准确率；最后在对训练样本集和训练标签集迭代了一定次数后，输入验证样本集，并将深度学习神经网络的输出与验证标签集进行对比，输出深度学习神经网络的验证准确率。本发明专利技术可以有效提高深度学习图片识别算法鲁棒性，提高深度学习图片识别在样本标签标注有误的情况下的图片识别准确率。

【技术实现步骤摘要】
一种提高深度学习图片识别算法鲁棒性的方法
本专利技术属于计算机图像识别
，涉及提高图片识别鲁棒性的一种方法，尤其是深度学习图片识别算法鲁棒性的方法。
技术介绍
图像相比与其他信息源而言，具有易于理解，信息量大，更为直接，是人类最终要的信息源。因此，用计算机对图像进行处理具有重大的研究意义。图像识别是图像处理的重要组成部分。由于大数据时代的来临和计算机处理能力的大幅提高，图像识别开始向高级语义方向发展。图像识别的过程分为预处理，特征提取，识别分类三个步骤。预处理能够降低后续处理难度，提高效率。特征提取是将图片转化为计算机能够识别处理的定量形式，处理的特征主要有颜色特征，纹理特征，形状特征，SIFT(Scale-invarientFeatureTransfrom),HOG(HistogramofOrientedGradient)等。识别分类是依据特征将图片进行分类。图像识别分类目前采用的算法主要有决策树算法，贝叶斯分类器，支持向量机，人工神经网络等。深度学习使用层次化的模型以从低层次特征学习高层次特征。经过多层抽象学习层次化特征，深度学习可以通过映射输入和输出的关系来学习复杂的函数。近年来，由于数据集不断增大，深度学习应用领域也不断扩大。因此，深度学习得到了广泛和深入的研究。深度学习由神经网络发展而来。相对于仅有一个输入层，一个隐层，一个输出层的浅层神经网络而言，深度学习采用的神经网络一般具有多个隐层，因此，有较高的非线性运算组合能力，从而具有较强的表示能力。2006年，Hinton等人提出了用于深度信任网络(DeepBeliefNetwork,DBN)的无监督学习算法。算法采用了贪婪逐层训练算法，解决了因深度增加导致非凸目标函数产生局部最优解的问题。在这篇突破性论文发表后，大量学者对深度学习进行了广泛的研究。Bengio和Ranzat提出了用无监督学习初始化每一层神经网络。受限玻尔兹曼机(RestrictecdBoltzmanmachine,RBM)和自动编码机(Auto-encoder)是深度学习里应用最广的算法。总的来说，深度学习是一种通过找到数据的内部结构，发现变量之间的真正关系的算法。2006年以来，深度学习成功应用于多个领域,尤其是分类领域,如情感分类,心电图信号分类，句子分类，等等。近年来，深度学习的研究获得了巨大的进步，然而，对深度学习鲁棒性的研究相对较少,尤其是针对标签有误的情况。图像的识别并判断其应被打上何种标签的问题可以转化为图像的分类问题。使用多层卷积神经网络对图片数量较大的情况下进行分类，可以取得了良好的效果。利用降噪自编码神经网络(Denoiseauto-encoder，DAE)替代RBM对深度神经网络进行预训练可以取得良好的效果。另外，还提出了周期网络神经元方法，并将其应用与场景标注。但是，这些算法假定训练集的标签不会发生错误。然而，在实际应用中，训练集的标签在很多场合都是人工标注，有可能发生错误。当标签标注错误时，会导致神经网络在被训练时出现误差，而且会随着迭代次数的增加，误差越来越大，最终影响图片分类的效果。
技术实现思路
为了解决上述现有技术存在的问题，本专利技术提供一种提高深度学习图片识别鲁棒性的方法，该方法可以在训练前判断样本的标签是否被标注错误，如果判断结果为样本标签标注错误则修改样本的标签，以提高深度学习图片识别的鲁棒性，提高在样本标签标注有错的情况下图片识别的准确率。本专利技术采用的技术方案为一种提高深度学习图片识别鲁棒性方法，具体包含如下步骤：步骤1：对深度学习的神经网络进行随机初始化；步骤2：将训练样本集和训练标签集作为输入深度学习神经网络，进行前向传播输出深度学习神经网络认为其所属各个类别的概率，如果概率最大的类别与概率次大的类别的概率之比超过1：1.5，则将训练样本标签改为概率最大的类别；步骤3：将新的样本和其标签进行反向传播，对深度学习神经网络进行调优；步骤4：在训练了一定数量的样本后，利用测试样本集和测试标签集对训练效果进行测试，输出测试样本集的测试准确率；步骤5：在对训练样本集和训练标签集迭代了一定次数后，对深度学习神经网络输入验证样本集，并将深度学习神经网络的输出与验证标签集进行对比，输出深度学习神经网络的验证准确率。进一步，步骤2中，如果样本的最大概率的类别的概率与次大概率类别的概率的值小于1：1.2并且当前样本训练集迭代次数小于预定值，则将该样本放回训练样本集，并从训练样本集中随机抽取一个样本重新进行前向传播。进一步，步骤2中，如果概率最大的类别与概率次大的类别的概率之比超过1：1.5，该比值随着迭代次数的增加而降低,但不低于1：1.2时则将训练样本标签改为概率最大的类别。本专利技术还提出一种可以实现上述提高深度学习图片识别鲁棒性的方法的系统，其包括训练样本集、训练标签集、深度学习神经网络、验证样本集、验证标签集、测试样本集、测试标签集；所述训练样本集用来对深度学习神经网络进行训练，训练样本集中有错误样本；所述训练标签集用来标注训练样本集中每个样本的所属类别；所述深度学习神经网络包括输入层、隐藏层、输出层。输入层输入所需要训练或者识别的样本，隐藏层对样本进行处理，输出层输出样本所属各个类别的概率；所述验证样本集是用来在训练过程中对深度学习神经网络的训练能力进行验证；所述验证标签集用来标注验证样本集的每个样本的类别；所述测试样本集用来测试深度学习神经网络的最终训练效果；所述测试标签集用来标注测试样本集每个样本的类别。与现有技术相比，本专利技术具有以下的有益效果：1.在训练样本标签标注错误的情况下，可以降低错误标签带来的对深度学习神经网络训练带来的负面影响，提高深度学习图片识别算法对错误标签的鲁棒性。2.当训练样本中样本标签标注错误时，可以对标签错误的样本修正其标签，从而提高了训练效果，使得算法在训练样本标签标注错误的情况下有更高的识别成功率。3.当训练样本中样本标签标注错误，对标签进行修正时，不用对神经网络进行反向传播，计算效率高。附图说明图1为提高深度学习鲁棒性方法步骤图；图2为改进提高深度学习鲁棒性方法步骤图。具体实施方式现结合附图对本专利技术做进一步详细的说明。本专利技术提出的提高深度学习图片识别鲁棒性的方法包括如下步骤：步骤1：对深度学习的神经网络进行随机初始化。步骤2：将训练样本集和训练标签集作为输入深度学习神经网络，进行前向传播输出深度学习神经网络认为其所属各个类别的概率，如果概率最大的类别与概率次大的类别的概率之比超过1：1.5，则将训练样本标签改为概率最大的类别。步骤3：将新的样本和其标签进行反向传播对深度学习神经网络进行调优。步骤4：在训练了一定数量的样本后，利用测试样本集和测试标签集对训练效果进行测试。输出测试样本集的测试准确率。步骤5：在对训练样本集和训练标签集迭代了一定次数后，对深度学习神经网络输入验证样本集，并将深度学习神经网络的输出与验证标签集进行对比，输出深度学习神经网络的验证准确率。上述提高深度学习图片识别鲁棒性的方法的优选方案，步骤2中在一定的训练次数前，样本经过前向传播后，如果深度学习神经网络判断其所属各个类别的概率接近，即概率最大的类别的概率与概率次大的类别的概率之比小于1：1.2，则将该样本放回训练样本集，重新选择本文档来自技高网...

【技术保护点】
一种提高深度学习图片识别鲁棒性方法，其特征在于，包含如下步骤：步骤1：对深度学习的神经网络进行随机初始化；步骤2：将训练样本集和训练标签集作为输入深度学习神经网络，进行前向传播输出深度学习神经网络认为其所属各个类别的概率，如果概率最大的类别与概率次大的类别的概率之比超过1：1.5，则将训练样本标签改为概率最大的类别；步骤3：将新的样本和其标签进行反向传播，对深度学习神经网络进行调优；步骤4：在训练了一定数量的样本后，利用测试样本集和测试标签集对训练效果进行测试，输出测试样本集的测试准确率；步骤5：在对训练样本集和训练标签集迭代了一定次数后，对深度学习神经网络输入验证样本集，并将深度学习神经网络的输出与验证标签集进行对比，输出深度学习神经网络的验证准确率。

【技术特征摘要】
1.一种提高深度学习图片识别鲁棒性方法，其特征在于，包含如下步骤：步骤1：对深度学习的神经网络进行随机初始化；步骤2：将训练样本集和训练标签集作为输入深度学习神经网络，进行前向传播输出深度学习神经网络认为其所属各个类别的概率，如果概率最大的类别与概率次大的类别的概率之比超过1：1.5，则将训练样本标签改为概率最大的类别；步骤3：将新的样本和其标签进行反向传播，对深度学习神经网络进行调优；步骤4：在训练了一定数量的样本后，利用测试样本集和测试标签集对训练效果进行测试，输出测试样本集的测试准确率；步骤5：在对训练样本集和训练标签集迭代了一定次数后，对深度学习神经网络输入验证样本集，并将深度学习神经网络的输出与验证标签集进行对比，输出深度学习神经网络的验证准确率。2.如权利要求1所述的一种提高深度学习图片识别鲁棒性的方法，其特征在于步骤2中，如果样本的最大概率的类别的概率与次大概率类别的概率的值小于1：1.2并且当前样本训练集迭代次数小于预定值，则将该样本放回训练样本集，并从训练样本集中随机抽取一个样本...

【专利技术属性】
技术研发人员：蒋国平，李海涛，葛炎，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32