基于多组k分类的卷积特征谱的图像可判别区域联合提取方法技术

本发明专利技术公开了一种基于多组k分类的卷积特征谱的图像可判别区域联合提取方法，属于图像处理领域。本发明专利技术基于训练集的图片类型，对于任意类，随机选取k‑1类和当前类组成一组，对于每一类分别选取a组；再分别将每组图片输入到预置的卷积神经网络进行卷积神经网络训练，得到多个训练好的卷积神经网络；将待提取图片及其图像级标签输入到图片类型匹配的a个训练好的卷积神经网络中；对于匹配的每个训练好的卷积神经网络，通过加权梯度类激活映射获取该卷积神经网络生成一组可判别区域，融合a组可判别区域得到待提取图片的最终的可判别区域。本发明专利技术能够提取出图像更加完整可判别区域，提升现有的提取方法的提取结果的完整性。

The method of extracting the discriminative region of image based on convolution feature spectrum of multi group k-classification

【技术实现步骤摘要】
基于多组k分类的卷积特征谱的图像可判别区域联合提取方法
本专利技术属于图像处理领域，具体涉及一种基于卷积特征谱的图像可判别区域提取方法。
技术介绍
针对卷积神经网络分类模型的可判别区域生成是计算机视觉弱监督分析的基础步骤，可应用于对象定位，分割和识别等任务。可判别区域是指当利用深度卷积神经网络为图像进行分类时，图像中被卷积神经网络所激活的区域，被认为是分类依据的目标区域。它是从图像级弱标签到对象区域转换的有效方法。同时，提取图像的可判别区域，有利于深入理解和可视化深度卷积神经网络，对于卷积神经网络的研究有重要作用。目前基于深度卷积神经网络进行图像可判别区域提取的算法，是基于全部类别图像来提取可判别区域，由于这样的方法是对所有类别进行分类，因此获取到的是最关键的可判别区域，即可判别区域比较小，无法提取到完整的可判别区域。
技术实现思路
本专利技术的专利技术目的在于：针对上述存在的问题，提供一种基于多组k分类的卷积特征谱的图像可判别区域联合提取方法能够提取出图像更加完整可判别区域，提升现有的提取方法的提取结果的完整性。本专利技术的基于多组k分类的卷积特征谱的图像可判别区域联合提取方法，包括下列步骤：获取训练集的图片类型，用N表示类型数，对于任意类Ni，随机选取k-1类和当前类Ni组成一组，对于每一类分别选取a组，从而得到a×N组图片，每组图片均包括k类；其中，a为预设的正整数，2≤k＜N；设置用于生成可判别区域的卷积神经网络的网络结构；并分别将每组图片进行图像预处理后，再输入设置的卷积神经网络进行卷积神经网络训练，得到a×N个训练好的卷积神经网络；其中图像预处理包括尺寸归一化和降低光照处理(图片的R、G、B三个通道分别减去整个训练集所有图片分别在R、G、B三个通道上的均值)；获取待提取图片及其图像级标签，并对待提取图片及其图像级标签进行尺寸归一化处理后，再将待提取图片及其图像级标签输入到图片类型匹配的a个训练好的卷积神经网络中；其中尺寸归一化处理是为了使得待提取图片及其图像级标签与用于生成可判别区域的卷积神经网络的输入相匹配；对于匹配的每个训练好的卷积神经网络，通过加权梯度类激活映射获取该卷积神经网络生成可判别区域Mj，其中j＝1,2,…,a；融合a组可判别区域Mj，得到待提取图片的最终的可判别区域M，其中最后将可判别区域M进行双线性上采样操作，使可判别区域M的图像大小与待提取图片的图像大小相同，从而得到待提取图片的可判别区域谱，即得到待提取图片的提取结果。本专利技术中，用于生成可判别区域的卷积神经网络可直接采用惯用的卷积神经网络结构即可。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：提升现有的提取方法的提取结果的完整性，从而使得所提取到的可判别区域更加完整。附图说明图1为多组k分类的卷积特征谱的图像可判别区域联合提取示意图；图2为多组k分类的卷积特征谱的图像可判别区域联合提取结果示意图，其中iou表示提取结果的客观打分。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本专利技术作进一步地详细描述。本专利技术提供的基于多组k分类的卷积特征谱的图像可判别区域联合提取方法能够提取出图像更加完整可判别区域，用于利用深度卷积神经网络的图像分类处理，即基于得到的可判别区域，提取该可判别区域的分类特征，并基于预设的分类网络实现对输入图像的分类处理。本专利技术的具体实现过程包括：获取训练集的图片类型，用N表示类型数，对于任意类Ni，随机选取(k-1)类组成一组，对于每一类都这样选取a组，由此获得a×N组图片，每组图片都包含k类，其中2≤k＜N。将每组图片分别输入预设置的卷积神经网络训练，由此获得a×N个卷积神经网络；其中卷积神经网络的网络结构可以是VGG19(19层的VGG(VisualGeometryGroup))、VGG16、ResNet(ResidualNeuralNetwork)、DenseNet或GoogLeNet等。本具体实施方式中，采用的卷积神经网络的网络结构为VGG19。获取待提取图片及其图像级标签，将其输入对应的a个VGG19卷积神经网络中。对于Ni类的第ai个VGG19卷积神经网络，通过Grad-CAM(加权梯度类激活映射)获取VGG19卷积神经网络生成可判别区域Mi；将a组可判别区域融合即可获取到最后的可判别区域M，融合计算公式为：最后将M进行双线性上采样操作，使其大小与待提取图片相同，从而得到待提取图片的可判别区域谱。实施例结合具体的数据集实现本专利技术的可判别区域提取的具体步骤为：步骤1、构建数据集。1.1本实施例选择数据集作为数据集。PascalVOC2012数据集包含了飞机、自行车、人、猫等20个类别的图片。选取PascalVOC2012数据集公布的训练集中6000张只包含单类的图片作为本专利技术的训练集，PascalVOC2012数据集公布的验证集全部作为本专利技术的测试集。1.2将所有图片归一化为长224宽224,以适应卷积神经网络的输入大小。1.3将所有图片的R、G、B三个通道分别减去整个数据集所有图片分别在R、G、B三个通道上的均值，以减少图像中光照，阴影等对卷积神经网络的影响。步骤2、构建分组数据。参见图1，对于给定的20个类别，本实施例选取k＝3，a＝4，即任一类将随机选择另外两类组成一组，对于该类按照这种方法选取4组，由此获得80组图片。步骤3、预训练卷积神经网络模型。使用卷积神经网络模型对80组图片进行分类训练，分别保存这80个训练好的卷积神经网络模型。步骤4、利用经过训练的卷积神经网络进行图像可判别区域提取。4.1将测试图片根据其类别标签输入其训练好的4个模型中，通过Grad-CAM获取图像可判别区域Mi，大小为224*224。4.2将获取到的图像的4个可判别区域进行融合，得到融合结果4.3将M进行双线性上采样操作，使其大小和原图相等，从而得到图像的可判别区域谱。图2中给出了本实施例的得到的一组可判别区域示意图(图2中的中间列所示的图像)，并将其与对应的像素级标签进行比对，获得到的提取结果(提取的可判别区域图)的客观打分分值iou，其具体分值如图中所示，其中GTi表示第i个提取结果可判别区域图对应的参考标准(图像的像素级标签)，Ri表示第i个提取结果。从图2给出的比对结果可知，本专利技术的可判别区域提取方法得到的提取结果的完整性好。以上所述，仅为本专利技术的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。本文档来自技高网...

【技术保护点】
1.基于多组k分类的卷积特征谱的图像可判别区域联合提取方法，其特征在于，包括下列步骤：/n获取训练集的图片类型，用N表示类型数，对于任意类N

【技术特征摘要】
1.基于多组k分类的卷积特征谱的图像可判别区域联合提取方法，其特征在于，包括下列步骤：
获取训练集的图片类型，用N表示类型数，对于任意类Ni，随机选取k-1类和当前类Ni组成一组，对于每一类分别选取a组，从而得到a×N组图片，每组图片均包括k类；其中，a为预设的正整数，2≤k＜N；
设置用于生成可判别区域的卷积神经网络的网络结构；
并分别将每组图片进行尺寸归一化处理，再输入设置的卷积神经网络进行卷积神经网络训练，得到a×N个训练好的卷积神经网络；
获取待提取图片及其图像级标签，并对待提取图片及其图像级标签进行尺寸归一化处理后，再将待提取图片及其图像级标签输入到图片类型匹配的a个训练好的卷积神经网络中；
对于匹配的每个训练好的卷积神经网络，...

【专利技术属性】
技术研发人员：孟凡满，黄开旭，鲍俊玲，李宏亮，吴庆波，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51