一种自适应调整色彩信息的图像混合数据增强方法技术

本发明专利技术涉及图像处理技术领域，具体涉及一种自适应调整色彩信息的图像混合数据增强方法，包括：对两个输入图像分别采用位置归一化算法进行处理；将两个图像分别进行moEx的融合；采用mixup算法进行融合。本发明专利技术相较于现有技术来说，不加入人为的扰动，所有的变换都由样本本身决定，在数据混合的时候不仅仅只考虑图像内容结构信息的混合，还考虑图像的色彩信息的变化，只改变图像中某些局部区域的颜色信息，而不是对整个图像进行变换，不会引入过多噪声；不需要手动调整样本标签权重的相关参数，节省大量寻找合适参数的工作量；并且，避免了其他算法难以找到最优权重的缺陷。了其他算法难以找到最优权重的缺陷。了其他算法难以找到最优权重的缺陷。

【技术实现步骤摘要】
一种自适应调整色彩信息的图像混合数据增强方法


[0001]本专利技术涉及图像处理
，具体涉及一种自适应调整色彩信息的图像混合数据增强方法。

技术介绍

[0002]在深度学习领域，有一个对促进模型性能的发展非常重要的研究方向,也即数据增强。关于数据增强，深度学习爆发早期提出了一系列基本的数据增强方法，比如说，随机裁剪、色彩抖动等。最近，也陆续提出了一系列较新的数据增强方法，比如说，mixup、cutout、cutmix、SamplePairing、moEX等。这些方法共同的特性就是只考虑对图像内容的结构信息进行数据增强，没有考虑到针对图像的颜色信息进行数据增强，通常对图像颜色信息进行数据增强使用的都是colorjitter这样添加人为的数据抖动的方法，该方法会随机调整图像的亮度、对比度、饱和度和色调等属性，生成多个变换后的图像样本，这些变换可以使模型在不同颜色和光照条件下进行训练，从而提高模型的鲁棒性和泛化性能。但是，colorjitter这样的方法存在一些问题，主要有两个方面：第一，对整个图像进行颜色信息的变换，可能会引入过多噪声；第二，加入的是人为的扰动，不是由样本本身来决定的，这样势必会产生一些看上去不太自然的数据增强的结果。

技术实现思路

[0003]本专利技术提供一种自适应调整色彩信息的图像混合数据增强方法，解决了现有技术进行颜色信息变换噪声过多、数据增强结果不自然的技术问题。
[0004]本专利技术提供的基础方案为：一种自适应调整色彩信息的图像混合数据增强方法，包括：
[0005]S1、对两个输入图像分别采用位置归一化算法进行处理；
[0006]S2、将两个图像分别进行moEx的融合；
[0007]S3、采用mixup算法进行融合。
[0008]进一步，S3中，采用mixup算法进行融合，进行数据融合的公式如下，
[0009][0010][0011][0012][0013][0014]其中，X表示输入数据，b、c、h、w分别表示输入数据的batchsize、通道数、高度和宽度，μ
b,h,w
表示在通道的维度上计算得到的平均值，σ
b,h,w
表示在通道的维度上计算得到的标
准差；∈是一个常数；A和B分别表示输入的两个图像下标；μ
A
和μ
B
是位置归一化算法得到的两个输入图像的均值图像。
[0015]进一步，S3中，采用mixup算法进行融合，进行标签融合的公式如下，
[0016][0017]其中，y
A
和y
B
分别表示输入图像A和B的标签，表示得到的软标签。
[0018]本专利技术的工作原理及优点在于：在本方案中，一方面，由于位置归一化方法的本质是对每个像素在通道维度上进行归一化，归一化后的值包含了当前像素在不同通道上的信息，也即包含了均值和标准差的信息，在交换两个图像的均值和标准差的过程中，改变了每个像素在通道维度上的数值分布，也就是说改变了当前像素在不同通道上的分布，从而改变了整个图像的颜色分布；另一方面，融合的结果数据中既包含了图像A的归一化之后的信息以及图像B的mean和std信息，也包含了图像B的归一化之后的信息以及图像A的mean和std信息，并且，由于进行mixup融合的时候，两个数据本来就已经是两个原始图像的融合图像了，具备一定的对称性，其重要程度显然是一样的，不需要调参；通过这样的方式，相较于现有技术来说，不加入人为的扰动，所有的变换都由样本本身决定，在数据混合的时候不仅仅只考虑图像内容结构信息的混合，还考虑图像的色彩信息的变化，只改变图像中某些局部区域的颜色信息，而不是对整个图像进行变换，不会引入过多噪声。
附图说明
[0019]图1为本专利技术一种自适应调整色彩信息的图像混合数据增强方法实施例colorjitter的处理效果图。
[0020]图2为本专利技术一种自适应调整色彩信息的图像混合数据增强方法实施例采用moEX算法的图像混合过程与结果图。
[0021]图3为本专利技术一种自适应调整色彩信息的图像混合数据增强方法实施例原始输入图像1、原始输入图像2、mixup混合的结果图像和pnMix混合的结果图像。
具体实施方式
[0022]下面通过具体实施方式进一步详细的说明：
[0023]实施例1
[0024]如附图1所示，对原始输入图像使用pytorch的colorjitter变换功能，将其四个参数brightness、contrast、saturation和hue分别设置为0.01
‑
0.5之间的不同数值得到一系列变换结果，从这些变换图像可以看出，当其参数设置较小(小于0.1时)整个图像几乎看不出明显的变化，当参数值大于0.1时整个图像开始产生较大的变化，从视觉效果来看显得很不自然。在附图1中，包括a
‑
j10个图像，a
‑
j这10个图像分别是原始输入图像，colorjitter的参数值分别取0.01、0.03、0.05、0.08、0.1、0.2、0.3、0.4、0.5的变换结果图像。
[0025]moEX算法使用位置归一化算法从图像中提取mean和std，并将mean和std融合到另外一个经过了位置归一化的图像。训练标签取的是两个图像的标签按照一定权重融合而成的软标签，moEX里利用实验得到的最佳结果提供mean和std的图像对应的标签占比10％，另一个图像对应的标签占比90％，其对数据的处理过程可以参考附图2，a
‑
j这10个图像分别
是输入图像1、输入图像2、a经过位置归一化处理之后的图像、b经过positional normalization处理之后的图像、输入图像1的均值图像、输入图像1的标准差图像、输入图像2的均值图像、输入图像2的标准差图像、c图像融合b图像的positional normalization的均值和标准差的结果、d图像融合a图像的positional normalization的均值和标准差的结果。从附图2可以看出，有的样本经过位置归一化之后剩下的信息其实很少，比如这个例子中的输入图像a，从其剩下的信息里基本已经无法看出原本图像的内容了，当其融合输入图像b的均值和标准差之后，得到的结果图像e已经几乎完全是输入图像b的内容。此时,如果对该样本按照moEX的方法去处理，训练的时候对输入图像a的标签却有90％的信任度，而对输入图像b的标签只有10％的信任度，这显然是不合理的。而且，到底应该给图像a和图像b的标签分别以多大的信任度，这其实也是一件很难确定的事情，因为对于不同的样本，可能这个信任度也是不一样的，比如这个例子中的输入图像b，经过位置归一化之后得到的图像d和输入图像a的情况相比，显然剩下的信息是要更多的，经过同样的融合方法得到结果图像i，其对应的两个标签的信任度的权重和图像j相比感觉应该是不一样的才合理。然而，在moex算法的实现过程中，整个训练过程中这个权重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应调整色彩信息的图像混合数据增强方法，其特征在于，包括：S1、对两个输入图像分别采用位置归一化算法进行处理；S2、将两个图像分别进行moEx的融合；S3、采用mixup算法进行融合。2.如权利要求1所述的一种自适应调整色彩信息的图像混合数据增强方法，其特征在于，S3中，采用mixup算法进行融合，进行数据融合的公式如下，于，S3中，采用mixup算法进行融合，进行数据融合的公式如下，于，S3中，采用mixup算法进行融合，进行数据融合的公式如下，于，S3中，采用mixup算法进行融合，进行数据融合的公式如下，于，S3中，采用mixup算法进行融合，进行数据融合的公式如下，其中，X表示输入数据，b、c、h、w分别...

【专利技术属性】
技术研发人员：陈文杰，吴永胜，
申请(专利权)人：重庆电子工程职业学院，
类型：发明
国别省市：