一种基于混合池化的领域自适应图像分类方法技术

本发明专利技术公开了一种基于混合池化的领域自适应图像分类方法，将待分类的目标域图像送入训练后的图像分类预测模型中输出n×1维的特征向量，然后利用one‑hot编码得到目标域图像的所属类别，图像分类预测模型包括依次连接的若干卷积层，卷积层连接最大池化层,再级联一层平均池化层，平均池化层连接带有softmax激励函数的全连接层，目标域图像经过若干卷积层提取图像特征，然后经过最大池化层进行下采样得到第一描述子特征再经过平均池化层提取图像特征中的局部信息得到第二描述子特征，最后由全连接层得到特征向量。本发明专利技术方法能容忍输入的微小变化，减小过拟合，提高模型的容错性，优化迁移效果。

A Domain Adaptive Image Classification Method Based on Hybrid Pooling

【技术实现步骤摘要】
一种基于混合池化的领域自适应图像分类方法
本专利技术涉及一种图像分类方法，特别是涉及一种基于混合池化的领域自适应图像分类方法。背景
自适应是迁移学习的一个子类。如何利用少量的带标签数据以及其他相关领域中的数据，建立一个可靠的模型对具有不同数据分布的目标领域进行预测是迁移学习所要研究的内容。而领域自适应的主要目标是尽量找到共有特征，让两个领域的数据分布差异最小化，从而实现知识的迁移，其中目标域为少量甚至没有标记样本的数据集，也就是要学习的领域。源域是与目标域数据分布不同但是含有大量相似标记样本的数据集。图像是现在非常重要的信息载体，图像分类可以应用在医学图像识别，人脸识别，车牌识别，行人检测，遥感图像分类等方面。传统的分类方法都基于两个基本假设：(1)训练样本和测试样本需要满足独立同分布的条件(Identicallyandindependentlydistributed,IID)；(2)具有充足的训练数据。但是，在很多现实领域，这两个条件往往无法同时满足。如随着时间的推移，原先有效的训练数据可能会过期，与新来的测试数据产生语义、分布上的差异，而对当前场景下的数据进行标定又需要花费很大的开销。现有机器学习和深度学习方法对数据极度饥渴，需要海量的标注数据才能达到令人满意的效果。但其它领域中有大量相关的带标记的图像，对这些图像弃之不用非常可惜。因此从源域迁移知识到目标域，辅助目标域图像的分类任务非常必要。目前已有多种方法解决领域自适应问题，主要分为三类：(1)最小化概率分布距离。根据分布类型的不同，进行边缘、条件和联合概率分布的适配，最终达到数据分布无限接近的状态。(2)找到共有特征。从源域和目标域中选择共享的特征，建立统一模型。(3)将两个域映射到相同子空间寻找潜在共有特征。因为现在的数据集间的内容差异很大，导致对数据的分布很难适配，找到共有特征也比较困难，所以比较流行的方法是通过一个变换关系将源域和目标域映射到相同子空间，在该子空间下，可以通过减小两域间的分布差异来学习隐藏的共有特征。提取特征是领域自适应中最重要的环节，特征的好坏直接影响分类器的性能。但传统的领域自适应方法的不足有两点：一是无法处理大规模数据；二是学习到的特征表达往往泛化能力不强。基于深度学习的方法用卷积神经网络提取深度特征取得了显著的成果，但是深度学习模型计算量巨大，因此需要在网络优化的同时进一步提高网络的分类能力。就领域自适应中的特征提取方面，当前主要存在两个问题。1、鲁棒性。对于一些简单的视觉任务而言，比如图像分类、人脸识别等，人工设计的特征往往就能取得比较好的结果。但由于领域自适应问题的特殊性，跨领域、样本量不足等条件对图像特征的鲁棒性提出了更高的要求。这是因为在不同领域中，光照条件不一样，物体呈现的视角也不同，这就导致很难得到两域的共有特征。另外传统的领域自适应方法只能提取物体的底层特征，无法有效的对目标域中的物体进行识别和分类。2、局部信息利用率不高。随着高速发展的信息技术，各种数据呈爆炸性增长，导致现有的数据集又大又复杂。所以现有的领域自适应方法大都是利用卷积神经网络提取深度特征，在卷积神经网络中通常使用最大池化进行下采样，该池化方法更多的保留全局信息，从而减小卷积层参数误差造成估计均值的偏移。与此同时，它也容易丢失大量重要信息，加深网络过拟合的程度，导致提取特征的抽象性不足，不能够对输入的微小变化产生更大的容忍。
技术实现思路
本专利技术的目的是提供一种基于混合池化的领域自适应图像分类方法，容忍输入的微小变化，减小过拟合，提高模型的容错性，优化迁移效果。本专利技术的技术方案是这样的：一种基于混合池化的领域自适应图像分类方法，包括以下步骤：将待分类的目标域图像送入训练后的图像分类预测模型中输出n×1维的特征向量，其中n为类别数量，然后利用one-hot编码得到所述目标域图像的所属类别，所述图像分类预测模型包括依次连接的若干卷积层，最后一层所述卷积层连接最大池化层，所述最大池化层级联一层平均池化层，所述平均池化层连接带有softmax激励函数的全连接层，所述目标域图像经过所述若干卷积层提取图像特征，提取的所述图像特征经过所述最大池化层进行下采样得到第一描述子特征然后经过所述平均池化层提取图像特征中的局部信息得到第二描述子特征，最后由所述平均池化层的输出扁平化为一维向量，并送入所述全连接层得到所述n×1维的特征向量。进一步地，所述图像分类预测模型经过以下训练方法得到：将源域样本和目标域样本分别输入所述图像分类预测模型得到源域样本和目标域样本的特征向量，分别计算源域样本的特征向量和目标域样本的特征向量间的wasserstein距离，用wasserstein距离刻画源域和目标域之间的相似度表示为：LDA(xs,xt)＝∑w(f2(f1(xs)),f2(f1(xt)))其中，w表示xs、xt在特征空间中分布的距离度量函数，xs∈Xs表示源域样本，xt∈Xt表示目标域样本，通过最小化LDA值反向更新所述图像分类预测模型的卷积层参数直到所述图像分类预测模型收敛。进一步地，所述通过最小化LDA值反向更新所述图像分类预测模型的卷积层参数的更新公式如下所示：其中，表示在中，与进行逐元素相乘的块，由此输出的卷积值存放在(u,v)位置上，表示第l层第i个特征的灵敏度，l表示卷积层的层数。进一步地，将所述源域样本的特征向量和目标域样本的特征向量送入一个全连接层fc，输出为10×1的一维向量，然后与经过one-hot编码得到的10×1真实标签的特征向量作交叉熵得到两者之间的loss值，loss函数表达式如下：其中，ys表示样本xs对应的真实标签，ns表示源域中的样本数，fc表示全连接层的映射函数，k表示类别数，通过减小loss值，反向更新所述图像分类预测模型的卷积层参数直到所述图像分类预测模型收敛。进一步地，所述图像分类预测模型设有两个卷积层，包括第一卷积层和第二卷积层，所述第一卷积层设有32个卷积核，所述第二卷积层设有64个卷积核。进一步地，所述图像分类预测模型的卷积层参数为所述卷积层的权值和偏置项。本专利技术所提供的技术方案的有益效果是，本专利技术将可能被忽略的信息利用起来，提出最大池化和平均池化级联的混合池化策略，使得提取的图像特征更为抽象和完整，也更鲁棒，并且具有某种程度的平移不变性，从而防止过拟合，提高泛化性。本专利技术通过以wasserstein距离反向更新模型参数进行域适配，使得拥有相同标签但却属于不同分布的样本能够在映射空间中比较靠近或者分布相似，通过不断学习得到更具抽象性，更鲁棒的特征，从而使得在源域中训练得到的分类器在目标域上能有很高的分类准确率。本专利技术在减小域间差异进行域适配的同时，使得分类误差最小化，通过减小loss值反向更新模型参数，模型可以学到更多的域间共享特征，从而解决迁移中的泛化问题。附图说明图1为本专利技术图像分类预测模型结构示意图；图2为本专利技术图像分类预测模型训练框架图；图3为平衡参数Mmax的敏感性实验结果图。具体实施方式下面结合实施例对本专利技术作进一步说明，但不作为对本专利技术的限定。本专利技术基于混合池化的领域自适应图像分类方法，包括以下步骤：将目标域测试集中的样本送入训练好的图像分类预测模型中，请结合图1所示图像分类预测模型包本文档来自技高网...

【技术保护点】
1.一种基于混合池化的领域自适应图像分类方法，其特征在于，包括以下步骤：将待分类的目标域图像送入训练后的图像分类预测模型中输出n×1维的特征向量，其中n为类别数量，然后利用one‑hot编码得到所述目标域图像的所属类别，所述图像分类预测模型包括依次连接的若干卷积层，最后一层所述卷积层连接最大池化层，所述最大池化层级联一层平均池化层，所述平均池化层连接带有softmax激励函数的全连接层，所述目标域图像经过所述若干卷积层提取图像特征，提取的所述图像特征经过所述最大池化层进行下采样得到第一描述子特征然后经过所述平均池化层提取图像特征中的局部信息得到第二描述子特征，最后由所述平均池化层的输出扁平化为一维向量，并送入所述全连接层得到所述n×1维的特征向量。

【技术特征摘要】
1.一种基于混合池化的领域自适应图像分类方法，其特征在于，包括以下步骤：将待分类的目标域图像送入训练后的图像分类预测模型中输出n×1维的特征向量，其中n为类别数量，然后利用one-hot编码得到所述目标域图像的所属类别，所述图像分类预测模型包括依次连接的若干卷积层，最后一层所述卷积层连接最大池化层，所述最大池化层级联一层平均池化层，所述平均池化层连接带有softmax激励函数的全连接层，所述目标域图像经过所述若干卷积层提取图像特征，提取的所述图像特征经过所述最大池化层进行下采样得到第一描述子特征然后经过所述平均池化层提取图像特征中的局部信息得到第二描述子特征，最后由所述平均池化层的输出扁平化为一维向量，并送入所述全连接层得到所述n×1维的特征向量。2.根据权利要求1所述的基于混合池化的领域自适应图像分类方法，其特征在于，所述图像分类预测模型经过以下训练方法得到：将源域样本和目标域样本分别输入所述图像分类预测模型得到源域样本和目标域样本的特征向量，分别计算源域样本的特征向量和目标域样本的特征向量间的wasserstein距离，用wasserstein距离刻画源域和目标域之间的相似度表示为：LDA(xs,xt)＝∑w(f2(f1(xs)),f2(f1(xt)))其中，w表示xs、xt在特征空间中分布的距离度量函数，xs∈Xs表示源域样本，xt∈Xt表示目标域样本，通过...

【专利技术属性】
技术研发人员：龚声蓉，杨海花，应文豪，钟珊，周立凡，
申请(专利权)人：常熟理工学院，
类型：发明
国别省市：江苏,32