一种基于判别性区域定位的图像数据增广方法技术

本发明专利技术公开了一种基于判别性区域定位的图像数据增广方法，采用CAM方法计算原始图像的类激活图，并通过将所述类激活图上采样和取阈值来定位判别性区域；数据增广操作包括两种，其中区域裁剪是通过在判别性区域中随机采样一个正方形区域，并基于所述正方形区域对原始图像进行裁剪；区域混合是随机取两张不同类别的图片，分别求出两张图片的判别性区域掩膜，再根据所述掩膜将两张图片的判别性区域和非判别性区域进行混合；每轮迭代都由原始图像生成增广样本，并与下一轮迭代的原始图像一起组成下一轮迭代的训练样本，直至训练结束。本发明专利技术可以解决传统方法生成的样本由于没有包含足够多的判别性信息而成为噪声样本的问题。含足够多的判别性信息而成为噪声样本的问题。含足够多的判别性信息而成为噪声样本的问题。

【技术实现步骤摘要】
一种基于判别性区域定位的图像数据增广方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于判别性区域定位的图像数据增广方法。

技术介绍

[0002]在图像分类问题中，数据增广是一种常用的正则化方法。在图像数据增广方法中，区域裁剪和区域混合是两种常用的增广操作，但在传统的方法中，这两种操作都是按预定的概率随机地对原始数据做变换，并不考虑数据本身的分布以及模型对数据的偏好，没有充分利用数据中的有用信息，限制了数据增广对模型性能的提升作用。具体地说，传统的区域裁剪是随机地从原始图像中裁剪出部分区域，但可能裁剪的区域没有包含足够的有效信息，此时裁剪得到的新样本相当于噪声样本，对模型性能的提升几乎没有帮助；而传统的区域混合则以CutMix为代表，是随机地从两张图片中取出两个互补区域进行混合，混合后的图片的类别标签也是由两张原始图片的类别标签通过混合得到的。CutMix没有考虑从两张原始图片中取出的区域是否包含足够的判别性信息，生成的样本可能会由于没有包含足够多的判别性信息而成为噪声样本。

技术实现思路

[0003]本专利技术的目的在于提供一种基于判别性区域定位的图像数据增广方法，解决生成的样本由于没有包含足够多的判别性信息而成为噪声样本的问题。
[0004]为实现上述目的，本专利技术提供了一种基于判别性区域定位的图像数据增广方法，包括以下步骤：
[0005]采用CAM方法计算原始图像的类激活图，并通过将所述类激活图上采样和取阈值来定位判别性区域；
[0006]在所述判别性区域内随机采样一个正方形区域，并基于所述正方形区域对所述原始图像进行裁剪和缩放；
[0007]基于随机获取的两种类别的图片的判别性区域掩膜生成对应的混合掩膜，并将两种类别的所述图片的判别性区域和非判别性区域进行混合；
[0008]每轮迭代开始时都从训练集中选出多张图像作为原始图像，每轮迭代结束时则由所述原始图像生成若干增广样本；其中，每轮迭代的训练样本由上一轮迭代生成的增广样本和本轮迭代的所述原始图像组成；如此反复迭代直至满足训练结束条件。
[0009]其中，采用CAM方法计算原始图像的类激活图，并通过将所述类激活图上采样和取阈值来定位判别性区域，包括：
[0010]采用CAM方法计算出所述原始图像真实类别的类激活图；
[0011]将所述类激活图上采样至与所述原始图像相同大小，然后将所述类激活图中的所有像素值归一化至[0,1]之间。
[0012]基于设定的阈值，将归一化后的所述类激活图中像素值大于所述阈值的区域作为
判别性区域。
[0013]其中，采用CAM方法计算出所述原始图像真实类别的类激活图之前，所述方法还包括：
[0014]对获取的原始图像进行全局平均池化处理，得到降维向量。
[0015]其中，在所述判别性区域内随机采样一个正方形区域，并基于所述正方形区域对所述原始图像进行裁剪和缩放，包括：
[0016]在所述判别性区域中通过设定像素阈值来确定正方形中心点的范围；
[0017]基于判别性区域外接矩形的位置和大小以及所述正方形中心点的位置来确定所述正方形的边长范围；
[0018]基于所述正方形中心和所述边长范围，采用随机采样的方式对当前图像进行裁剪和缩放，得到对应的增广样本。
[0019]其中，基于随机获取的两种类别的图片的判别性区域掩膜生成对应的混合掩膜，并将两种类别的所述图片的判别性区域和非判别性区域进行混合，包括：
[0020]随机获取两张不同类别的图片并计算出对应的所述判别性区域，并基于所述判别性区域计算出对应的两个判别性区域掩膜；
[0021]将两个所述判别性区域掩膜取并集，并基于生成的混合掩膜对两张不同类别的图片的判别性区域和非判别性区域进行混合。
[0022]本专利技术的一种基于判别性区域定位的图像数据增广方法，采用CAM方法计算原始图像的类激活图，并通过将所述类激活图上采样和取阈值来定位判别性区域；数据增广操作包括两种，分别为区域裁剪和区域混合，其中区域裁剪是通过在判别性区域中随机采样一个正方形区域，并基于所述正方形区域对原始图像进行裁剪；区域混合是随机取两张不同类别的图片，分别求出两张图片的判别性区域掩膜，再根据所述掩膜将两张图片的判别性区域和非判别性区域进行混合；每轮迭代都由原始图像生成增广样本，并与下一轮迭代的原始图像一起组成下一轮迭代的训练样本，直至训练结束。本专利技术可以解决传统方法生成的样本由于没有包含足够多的判别性信息而成为噪声样本的问题。
附图说明
[0023]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是本专利技术提供的一种基于判别性区域定位的图像数据增广方法的步骤示意图。
[0025]图2是本专利技术提供的判别性区域定位方法。
[0026]图3是本专利技术提供的区域裁剪方法示意图。
[0027]图4是本专利技术提供的区域混合方法示意图。
具体实施方式
[0028]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终
相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0029]在本专利技术的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0030]请参阅图1，本专利技术提供一种基于判别性区域定位的图像数据增广方法，包括以下步骤：
[0031]S101、采用CAM方法计算原始图像的类激活图，并通过将所述类激活图上采样和取阈值来定位判别性区域。
[0032]具体的，对于当前训练批次中的图片样本，首先利用CAM方法输出图片样本的真实类别的类激活图，再将类激活图上采样至原图大小，然后将类激活图所有像素值归一化到[0,1]之间，再设置一个阈值θ1，θ1是一个超参数，并将类激活图中像素值大于θ1的区域作为图片样本的判别性区域S，如图2所示，详细流程如下：
[0033]在图2中，GAP代表全局平均池化，并假设当前样本属于第j个类别。假设CNN网络最后一个卷积层输出的特征图是F＝{F1,F2,...,F
C
}，其中，F
i
∈R
H
×
W...

【技术保护点】

【技术特征摘要】
1.一种基于判别性区域定位的图像数据增广方法，其特征在于，包括以下步骤：采用CAM方法计算原始图像的类激活图，并通过将所述类激活图上采样和取阈值来定位判别性区域；在所述判别性区域内随机采样一个正方形区域，并基于所述正方形区域对所述原始图像进行裁剪和缩放；基于随机获取的两种类别的图片的判别性区域掩膜生成对应的混合掩膜，并将两种类别的所述图片的判别性区域和非判别性区域进行混合；每轮迭代开始时都从训练集中选出多张图像作为原始图像，每轮迭代结束时则由所述原始图像生成若干增广样本；其中，每轮迭代的训练样本由上一轮迭代生成的增广样本和本轮迭代的所述原始图像组成；如此反复迭代直至满足训练结束条件。2.如权利要求1所述的基于判别性区域定位的图像数据增广方法，其特征在于，采用CAM方法计算原始图像的类激活图，并通过将所述类激活图上采样和取阈值来定位判别性区域，包括：采用CAM方法计算出所述原始图像真实类别的类激活图；将所述类激活图上采样至与所述原始图像相同大小，然后将所述类激活图中的所有像素值归一化至[0,1]之间。基于设定的阈值，将归一化后的所述类激活图中像素值大于所述阈值的区域作为判别性区域。3.如权利要求2所述的基...

【专利技术属性】
技术研发人员：徐智，宁文昌，李智，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：