基于深度卷积神经网络的类别不平衡的图像分类方法技术

本发明专利技术提供一种基于深度卷积神经网络的类别不平衡图像分类方法，选取原始数据集中的小类别的样本图像，得到原始小类别样本图像训练集；将所述原始小类别样本图像训练集输入到生成对抗网络中生成小类别的生成图像样本，将所述生成图像样本加入到所述原始小类别样本图像训练集中，得到生成的小类别样本图像训练集；利用所述原始小类别样本图像训练集对图像分类网络进行训练；利用所述生成的小类别样本图像训练集对步骤S3训练后的图像分类网络进行训练；通过训练后的最优图像分类网络对输入图像进行类别分类。本发明专利技术在只使用单一不平衡数据集的情况下就能实现对于小类别样本较好的分类效果，大大提高了数据集类别不平衡情况下图像分类的准确率。

【技术实现步骤摘要】
基于深度卷积神经网络的类别不平衡的图像分类方法
本专利技术涉及计算机视觉及机器学习
，特别涉及一种基于深度卷积神经网络的类别不平衡图像分类方法。
技术介绍
类别不平衡是指在很多机器学习任务中，训练集中可能会存在某个或某些类别下的样本数远大于另一些类别下的样本数目。数据类别不平衡问题的研究具有非常重要的意义，因为现实生活中大多数的数据都存在类别不平衡的问题，比如海洋浮游生物数据集等。如图1所示：可以看出各类别的数量存在很大差距，样本数量多的类别称为大类，样本数量少的类别成为小类。目前针对图像分类的各种深度卷积神经网络算法都没有很好的解决类别不平衡的图像分类的问题，导致图像分类更多的倾向于学习大类样本的特征，而忽略了小类样本，然而在生活研究中，小类别的样本往往蕴含更有价值的信息。
技术实现思路
本专利技术提供一种基于深度卷积神经网络的类别不平衡图像分类方法，以解决传统的深度卷积神经网络在针对不平衡数据集进行图像分类时对于小类别样本分类效果差的问题，本专利技术在只使用单一不平衡数据集的情况下就能实现对于小类别样本较好的分类效果，大大提高了数据集类别不平衡情况下图像分类的准确率。一种基于深度卷积神经网络的类别不平衡图像分类方法，一种基于深度卷积神经网络的类别不平衡图像分类方法，包括如下步骤：S1：选取原始数据集中的小类别的样本图像，通过数据增强方法增加所述小类别的样本图像的数量，得到原始小类别样本图像训练集；S2：将所述原始小类别样本图像训练集输入到生成对抗网络中生成小类别的生成图像样本，将所述生成图像样本加入到所述原始小类别样本图像训练集中，得到生成的小类别样本图像训练集；S3：利用所述原始小类别样本图像训练集对图像分类网络进行训练；S4：利用所述生成的小类别样本图像训练集对步骤S3训练后的图像分类网络进行训练；S5：通过步骤S4训练后的最优图像分类网络对输入图像进行类别分类。进一步地，所述图像分类网络采用SE-PyramidNet网络结构，所述SE-PyramidNet网络结构是将Squeeze-and-Excitationblock嵌入到所述PyramidNet深度金字塔残差网络结构中得到的。进一步地，SE-PyramidNet网络结构的训练优化方法为：A1：选取原始小类别样本图像训练集中的样本图像，所述样本图像进行预处理后，经过所述SE-PyramidNet网络结构中的卷积层，对所述样本图像进行卷积操作，用以提取所述样本图像的底层到高层的特征，得到特征谱；A2：对所述特征谱进行Squeeze操作，即进行全局平均池化，将维度为H*W*C的输入特征谱转换成维度为1*1*C的输出特征谱；A3：对经过Squeeze操作后的特征谱进行Excitation操作，即对C个特征谱间的关系进行建模，得到权重参数进一步地，步骤S1中的数据增强方法包括尺度变换、图像裁剪、水平翻转、垂直翻转中的一种或者任意几种的组合。进一步地，步骤S2中所述利用生成对抗网络生成小类别的生成图像样本，具体方法为：B1：通过样本数阈值从所述原始数据集中选择出小类别样本；B2：利用选择出的小类别样本对AC-GAN生成对抗网络进行预训练；B3：分别用所述小类别样本中的每一个小类别样本再对步骤B2中预训练后的AC-GAN生成对抗网络进行训练，逐一得到所述每一个小类别样本的生成图像样本。进一步地，步骤S5中所述通过步骤S4训练后的最优图像分类网络对输入图像进行类别分类，具体为：设计不同Squeeze-and-Excitationblock组合的SE-PyramidNet网络结构，得到最优图像分类网络结构；在所述最优图像分类网络结构的输出端加入Softmax层，通过softmax函数得到输入所述最优图像分类网络中的图像属于某个类别的概率，从而进行图像类别分类。进一步地，步骤S2的Squeeze操作的计算公式为：式中，Fsq(*)为Squeeze函数，为特征谱，为网络结构中第k个残差单元里输入Squeeze-and-Excitationblock的特征谱中第ck个通道的特征维度，i,j为变量索引。进一步地，步骤S3的Excitation操作的计算公式为：式中，Fex(*)为Excitation函数，为先经过Squeeze操作后得到的特征谱，σ为softmax函数，δ为ReLU函数，为维度增加操作携带的参数，为维度减少操作携带的参数。本专利技术提供了一种基于深度卷积神经网络的类别不平衡图像分类方法，具有以下优点：该类别不平衡图像分类方法在只使用单一不平衡数据集的情况下就能实现对于小类样本的良好的分类结果，提高了数据集不平衡情况下图像分类的准确率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图来获得其他的附图。图1为本专利技术的类别不平衡图像分类方法的流程图；图2为本专利技术的类别不平衡图像分类方法的流程示意图；图3为本专利技术实施例的SE-PyramidNet具体网络结构图；图4(a)为原始的残差单元结构示意图；图4(b)为原始的瓶颈(bottleneck)残差单元结构示意图；图4(c)-4(f)为不同Squeeze-and-Excitationblock组合的SE-PyramidNet网络结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的组件或具有相同或类似功能的组件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是在本专利技术中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。实施例：本申请实施例为本申请的优选实施例。一种基于深度卷积神经网络的类别不平衡图像分类方法，如图1所示，包括如下步骤：S1：选取原始数据集中的小类别的样本图像，通过数据增强方法增加所述小类别的样本图像的数量，得到原始小类别样本图像训练集；具体的，选取原始数据集中样本数量少的小类别的样本图像，通过数据增强方法包括尺度变换、图像裁剪、水平翻转、垂直翻转中的一种或者任意几种的组合来增加所述小类别的样本图像的数量。S2：将所述原始小类别样本图像训练集输入到生成对抗网络中生成小类别的生成图像样本，将所述生成图像样本加入到所述原始小类别样本图像训练集中，得到生成的小类别样本图像训练集；在本申请实施例中，由于数据集的类别不平衡问题，选用AC-GAN(au本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的类别不平衡图像分类方法，其特征在于，包括如下步骤：S1：选取原始数据集中的小类别的样本图像，通过数据增强方法增加所述小类别的样本图像的数量，得到原始小类别样本图像训练集；S2：将所述原始小类别样本图像训练集输入到生成对抗网络中生成小类别的生成图像样本，将所述生成图像样本加入到所述原始小类别样本图像训练集中，得到生成的小类别样本图像训练集；S3：利用所述原始小类别样本图像训练集对图像分类网络进行训练；S4：利用所述生成的小类别样本图像训练集对步骤S3训练后的图像分类网络进行训练；S5：通过步骤S4训练后的最优图像分类网络对输入图像进行类别分类。

【技术特征摘要】
1.一种基于深度卷积神经网络的类别不平衡图像分类方法，其特征在于，包括如下步骤：S1：选取原始数据集中的小类别的样本图像，通过数据增强方法增加所述小类别的样本图像的数量，得到原始小类别样本图像训练集；S2：将所述原始小类别样本图像训练集输入到生成对抗网络中生成小类别的生成图像样本，将所述生成图像样本加入到所述原始小类别样本图像训练集中，得到生成的小类别样本图像训练集；S3：利用所述原始小类别样本图像训练集对图像分类网络进行训练；S4：利用所述生成的小类别样本图像训练集对步骤S3训练后的图像分类网络进行训练；S5：通过步骤S4训练后的最优图像分类网络对输入图像进行类别分类。2.根据权利要求1所述的基于深度卷积神经网络的类别不平衡图像分类方法，其特征在于，所述图像分类网络采用SE-PyramidNet网络结构，所述SE-PyramidNet网络结构是将Squeeze-and-Excitationblock嵌入到所述PyramidNet深度金字塔残差网络结构中得到的。3.根据权利要求2所述的基于深度卷积神经网络的类别不平衡图像分类方法，其特征在于，SE-PyramidNet网络结构的训练优化方法为：A1：选取原始小类别样本图像训练集中的样本图像，所述样本图像进行预处理后，经过所述SE-PyramidNet网络结构中的卷积层，对所述样本图像进行卷积操作，用以提取所述样本图像的底层到高层的特征，得到特征谱；A2：对所述特征谱进行Squeeze操作，即进行全局平均池化，将维度为H*W*C的输入特征谱转换成维度为1*1*C的输出特征谱；A3：对经过Squeeze操作后的特征谱进行Excitation操作，即对C个特征谱间的关系进行建模，得到权重参数。4.根据权利要求1所述的基于深度卷积神经网络的类别不平衡图像分类方法，其特征在于，步骤S1中的数据增强方...

【专利技术属性】
技术研发人员：郑海永，刘静，杜昂昂，俞智斌，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东,37