基于子空间分解进行深度特征估计的图像分类识别方法技术

本发明专利技术涉及一种基于子空间分解进行深度特征估计的图像分类识别方法，包括：步骤S1：获取训练集的无遮挡图像和额外图像对；步骤S2：对于输入的每张图像提取深度特征向量；步骤S3：计算额外图像对中遮挡图像和无遮挡图像的深度特征向量之差得到误差向量；步骤S4：将计算的所有无遮挡图像的深度特征向量组成第一子空间，误差向量组成第二子空间，并基于第一子空间和第二子空间构成级联字典；步骤S5：基于级联字典计算系数矩阵；步骤S6：基于第一子空间的所有列向量训练分类器；步骤S7：基于级联字典、系数矩阵和分类器对待识别图像进行分类识别。与现有技术相比，本发明专利技术具有适用范围广等优点。

【技术实现步骤摘要】
基于子空间分解进行深度特征估计的图像分类识别方法
本专利技术涉及一种图像分类识别方法，尤其是涉及一种基于子空间分解进行深度特征估计的图像分类识别方法。
技术介绍
在现实生活中遮挡的现象时有发生。对于人类视觉系统来说，对遮挡图像进行分类并非难事。但是，在计算机视觉领域，即使对于最近在许多计算机视觉任务中取得巨大成功的深度卷积神经网络来说，仍然是一项极具挑战性的任务。最先进的卷积神经网络有数以千万计的参数，因此若想取得较好效果，即使是对于无遮挡图像的分类也通常需要大量的数据集做支撑。然而在实际应用当中，收集大量的遮挡图像数据无疑是十分困难的。一种比较流行的选择是直接在无遮挡图像的数据集或包含少量被遮挡图像的数据集上训练网络。但是遮挡对于大多数卷积神经网络生成的深度特征非常敏感。因此，对于被遮挡图像的分类问题只有十分有限的帮助。本专利技术主要来源于基于云端的深度学习应用。基于卷积神经网络的特征提取由于其高计算复杂性所以需要在云端或服务器端进行，但是随着深度神经网络加速芯片的发展，正逐渐转移到终端或移动端。为了在这种情况下节省传输带宽，只有将具有较少带宽消耗且在保护私有信息方面更加安全的深度特征而不是源图像发送到云端进行进一步处理，例如分类问题。因此，如果要解决在终端实现对遮挡图像的分类，我们必须解决云端深度特征空间中的遮挡问题。因此，我们没有去除图像空间中的遮挡，而是尽量去减小遮挡在深度特征空间中对于分类的负面影响。然而，从遮挡图像的深度特征中恢复无遮挡图像的深度特征是一项具有挑战性的工作。尽管之前已经有很多研究工作来研究深层特征，但是遮挡与深度特征向量的变化之间的对应关系还远未明确。卷积神经网络实际上是从图像空间到深度特征空间的一种非线性和整体变换。图像空间中的任何小的局部变化都可能导致深度特征空间中的大的整体变化。在计算机视觉领域中用于遮挡图像分类的最受欢迎的方法是稀疏表示分类法，由Wright等提出。在他们的工作中，被遮挡的面部图像首先通过l1范数最小化编码为扩展字典的稀疏线性组合。然后，通过搜索哪种类型的训练样本可以通过稀疏编码的内容导致最小的重建错误来进行分类。在Wright的工作之后，许多研究人员致力于在各种条件下提高稀疏表示分类的准确性。但是这些工作的缺点在于他们只致力于图像空间和图像空间的线性转换，并且只在面部识别上取得了较好的成果，然而这仅仅是在图像分类中一个很小的子领域上，并且所使用的数据集也很小。因此还需要有一种方法能够在更大的领域应用。随着深度学习的快速发展，很多工作都致力于使用生成模型来生成部分遮挡或者部分缺失的图像。在有关文献中，深度扩张卷积网络被用于基于生成对抗网络(GAN)的框架产生图像的缺失部分并结合了与重建误差有关的损失函数。在有关文献中，变分自动编码器和GAN被组合以生成图像的缺失部分。然而，这些方法需要预先知道缺失部分的形状和位置。在有关文献中，使用基于严格的Boltzman机器的模型来学习遮挡物的结构。在有关文献中，利用基于自动编码器的去噪模型将损坏的图像映射到无损图像。在有关文献中，一个稳定的LSTM自动编码器模型与GAN相结合产生相关的部分图像，用于人脸识别。但是这些工作也有几个缺点，在于以下几个方面。首先，这些工作仅在面部识别的结果得到了提升，但是对于一般的遮挡图像没有表现出好的结果。其次，这些工作不适合未来的基于云端的应用程序，因为它们试图对于图像进行恢复。第三，这些工作通常需要大量部分遮挡或丢失的图像以及耗费大量时间去训练生成模型。最后，对于新的遮挡模式，这些工作需要对生成模型进行重新训练或微调，通常是复杂且耗时的。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于子空间分解进行深度特征估计的图像分类识别方法。本专利技术的目的可以通过以下技术方案来实现：一种基于子空间分解进行深度特征估计的图像分类识别方法，包括：步骤S1：获取训练集的无遮挡图像和额外图像对；步骤S2：对于输入的每张图像提取深度特征向量；步骤S3：计算额外图像对中遮挡图像和无遮挡图像的深度特征向量之差得到误差向量；步骤S4：将计算的所有无遮挡图像的深度特征向量组成第一子空间，误差向量组成第二子空间，并基于第一子空间和第二子空间构成级联字典；步骤S5：基于级联字典计算系数矩阵；步骤S6：基于第一子空间的所有列向量训练分类器；步骤S7：基于级联字典、系数矩阵和分类器对待识别图像进行分类识别。所述深度特征向量具体使用预训练好的用于分类任务的卷积神经网络提取。所述系数矩阵具体为：P＝(DTD+λI)-1DT其中：P为系数矩阵，D为级联字典，I为单位矩阵，λ为一个为正的超参数。所述步骤S5具体包括：步骤S51：把级联字典中所有列向量标准化得到平方范数；步骤S52：基于级联字典计算系数矩阵。所述步骤S6具体包括：步骤S61：输入待识别图像；步骤S62：提取待识别图像的深度特征向量；步骤S63：标准化待识别图像的深度特征向量得到其平方范数；步骤S64：确定得到叠加向量；步骤S65：基于叠加向量处理待识别图像的深度特征向量；步骤S66：将处理后的深度特征向量正则化，并利用分类器进行分类识别。计算叠加向量的数学表达式为：其中：ω为叠加向量，为与类别字典相关的分解系数，为与遮挡误差相关的分解系数。计算叠加向量的数学表达式为：其中：ω为叠加向量，vi为待识别图像的深度特征向量，P为系数矩阵，所述处理后的深度特征向量为：其中：为处理后的深度特征向量，A为类别字典，α为分解系数矩阵。与现有技术相比，本专利技术具有以下有益效果：1)灵活性高：需要使用CNN来提取深度特征向量。使用的CNN可以是目前已经有的任意一种预训练好的用于图像分类任务的模型，这使得我们可以选择一种模型小参数少处理速度快的模型来使用，不仅加快了整个遮挡图像的分类速度，提高处理效率，也节省了大量的计算资源，能够做到快速及时处理。2)适用范围广：不仅仅能够对于遮挡图像有着很好的分类效果，同时也对于无遮挡图像有着很好的效果，因此使用此方法用于图像分类任务时，可以输入遮挡或者无遮挡图像判别其类别。3)使用便捷：本方法在处理图像分类问题时，无需刻意因为输入图像为遮挡或者无遮挡情况而分别做特殊处理，只需输入需判别类别图像进入模型即可，使用起来比较方便。附图说明图1为本专利技术方法的主要步骤流程示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。我们观察到在深度特征空间中，εi是在无遮挡图像的深度特征向量的线性跨度类别子空间之外的结构化误差聚类。这表明εi位于一个低维子空间，称为遮挡误差子空间，几乎独立于类别子空间。受此观察的启发，我们提出了一种基于子空间分解的估计方法(SDBE)，通过将类别子空间中的遮挡图像深度特征的约束投影沿着遮挡误差子空间来提取无遮挡图像的深度特征。在实践中，我们使用训练集的深度特征向量的线性跨度命名为类字典(CD)，来近似类别子空间和额外图像对的误差向量的线性跨度；使用遮挡误差字典(OED)以粗略地表示遮挡误差子空间。使用l1范数和平方l2范数正则化，以约束投影和最小二乘(LS)优化，以计算约束本文档来自技高网...

【技术保护点】
1.一种基于子空间分解进行深度特征估计的图像分类识别方法，其特征在于，包括：步骤S1：获取训练集的无遮挡图像和额外图像对；步骤S2：对于输入的每张图像提取深度特征向量；步骤S3：计算额外图像对中遮挡图像和无遮挡图像的深度特征向量之差得到误差向量；步骤S4：将计算的所有无遮挡图像的深度特征向量组成第一子空间，误差向量组成第二子空间，并基于第一子空间和第二子空间构成级联字典；步骤S5：基于级联字典计算系数矩阵；步骤S6：基于第一子空间的所有列向量训练分类器；步骤S7：基于级联字典、系数矩阵和分类器对待识别图像进行分类识别。

【技术特征摘要】
1.一种基于子空间分解进行深度特征估计的图像分类识别方法，其特征在于，包括：步骤S1：获取训练集的无遮挡图像和额外图像对；步骤S2：对于输入的每张图像提取深度特征向量；步骤S3：计算额外图像对中遮挡图像和无遮挡图像的深度特征向量之差得到误差向量；步骤S4：将计算的所有无遮挡图像的深度特征向量组成第一子空间，误差向量组成第二子空间，并基于第一子空间和第二子空间构成级联字典；步骤S5：基于级联字典计算系数矩阵；步骤S6：基于第一子空间的所有列向量训练分类器；步骤S7：基于级联字典、系数矩阵和分类器对待识别图像进行分类识别。2.根据权利要求1所述的一种基于子空间分解进行深度特征估计的图像分类识别方法，其特征在于，所述深度特征向量具体使用预训练好的用于分类任务的卷积神经网络提取。3.根据权利要求1所述的一种基于子空间分解进行深度特征估计的图像分类识别方法，其特征在于，所述P具体为：P＝(DTD+λI)-1DT其中：P为系数矩阵，D为级联字典，I为单位矩阵，λ为一个为正的超参数。4.根据权利要求1所述的一种基于子空间分解进行深度特征估计的图像分类识别方法，其特征在于，所述步骤S5具体包括：步骤S51：把级联字典中所...

【专利技术属性】
技术研发人员：岑峰，赵啸宇，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31