基于振幅与相位重组的数据增强方法、系统、设备及介质技术方案

本申请涉及数据处理技术领域，更为具体来说，本申请涉及基于振幅与相位重组的数据增强方法、系统、设备及介质。所述方法包括：获取第一图像；对所述第一图像进行转换处理，得到转换处理图像；分别对所述第一图像和所述转换处理图像进行傅里叶变换得到所述第一图像和所述转换处理图像的相位信息与振幅信息；将所述第一图像的相位信息和所述转换处理图像的振幅信息基于反傅里叶变换得到第一增强图像；将所述转换处理图像的相位信息和所述第一图像的振幅信息基于反傅里叶变换得到第二增强图像。本方法能辅助针对图像的神经网络模型的训练，增强后的数据可以提高神经网络的泛化能力及鲁棒性，促进神经网络对雾、雨及各种噪音场景下的图像识别能力。景下的图像识别能力。景下的图像识别能力。

【技术实现步骤摘要】
基于振幅与相位重组的数据增强方法、系统、设备及介质


[0001]本申请涉及数据处理
，更为具体来说，本申请涉及基于振幅与相位重组的数据增强方法、系统、设备及介质。

技术介绍

[0002]近些年来，深度学习在很多图像识别及分类任务上实现了超越人类的性能表现。但是神经网络仍然存在一些鲁棒性及泛化性问题，例如对小噪音往往十分敏感，或者对一些和训练类别完全不一致的图像产生过高的置信度。这样的表现限制了神经网络模型在真实场景的应用。如今的神经网络模型的能力强烈地依靠训练数据的分布，往往会对真实场景的小噪音产生过激的反应。
[0003]目前已经有一些方法用来解释神经网络模型产生这些过激反应的原因。其中一些方法认为神经网络对图像频域的高频信息比较敏感，而这部分信息往往是人类难以察觉的信号。而我们进一步的对频域信息进行探索发现，卷积神经网络模型往往对图像频域的振幅信息产生了过多的依赖，但是频域的振幅信息往往只包含一些人类无法察觉局部的信息。而有更多的研究已经发现图像中的相位信息往往包含更能帮助人类识别的全局语义信息，而这部分信息往往被神经网络模型所忽略掉。

技术实现思路

[0004]基于上述技术缺陷，为了让神经网络依靠更多的图像相位信息来辅助识别与分类，我们提出了基于振幅与相位重组的数据增强技术方案，包括基于单张图像的振幅与相位重组数据增强策略和图像对(两张图像)的振幅与相位重组数据增强策略，以实现数据特别是图像的增强效果。
[0005]为实现上述技术目的，本申请提供了一种基于振幅与相位重组的数据增强方法，包括以下步骤：
[0006]获取第一图像；
[0007]对所述第一图像进行转换处理，得到转换处理图像；
[0008]分别对所述第一图像和所述转换处理图像进行傅里叶变换得到所述第一图像和所述转换处理图像的相位信息与振幅信息；
[0009]将所述第一图像的相位信息和所述转换处理图像的振幅信息基于反傅里叶变换得到第一增强图像；
[0010]将所述转换处理图像的相位信息和所述第一图像的振幅信息基于反傅里叶变换得到第二增强图像。
[0011]优选地，对所述第一图像进行转换处理，包括图像翻转处理、图像平移处理、随机裁剪处理和图像锐化处理。
[0012]具体地，分别对所述第一图像和所述转换处理图像进行傅里叶变换得到所述第一图像和所述转换处理图像的相位信息与振幅信息，包括：
[0013]对所述第一图像进行傅里叶变换得到所述第一图像的频域信息；
[0014]对所述转换处理图像进行傅里叶变换得到所述转换处理图像的频域信息；
[0015]根据所述第一图像的频域信息得到所述第一图像的相位信息与振幅信息；
[0016]根据所述转换处理图像的频域信息得到所述转换处理图像的相位信息与振幅信息。
[0017]本专利技术第二方面提供了一种基于振幅与相位重组的数据增强方法，包括以下步骤：
[0018]获取第一图像和第二图像；
[0019]对所述第一图像和所述第二图像进行傅里叶变换得到所述第一图像和所述第二图像的相位信息与振幅信息；
[0020]将所述第一图像的相位信息和所述第二图像的振幅信息基于反傅里叶变换得到第三增强图像；
[0021]将所述第二图像的相位信息和所述第一图像的振幅信息基于反傅里叶变换得到第四增强图像。
[0022]具体地，将所述第一图像的相位信息和所述第二图像的振幅信息基于反傅里叶变换得到第三增强图像，包括：
[0023]将所述第一图像的相位信息和所述第二图像的振幅信息组合算出组合后对应的频域信息；
[0024]将所述组合后对应的频域信息进行反傅里叶变换得到第三增强图像。
[0025]进一步地，所述将所述第二图像的相位信息和所述第一图像的振幅信息通过反傅里叶变换的公式为：
[0026][0027]其中，A表示相位，P表示振幅，x
i
表示第一图像，x
j
表示第二图像，iDFT表示反傅里叶变换函数。
[0028]本专利技术第三方面提供了一种神经网络模型，所述神经网络模型应用本申请中任一实施方式提供的基于振幅与相位重组的数据增强方法所得到的增强图像进行训练。
[0029]本专利技术第四方面提供了一种基于振幅与相位重组的数据增强系统，所述系统包括：
[0030]获取模块，用于获取第一图像；
[0031]转换模块，用于对所述第一图像进行转换处理，得到转换处理图像；
[0032]相位振幅模块，用于分别对所述第一图像和所述转换处理图像进行傅里叶变换得到所述第一图像和所述转换处理图像的相位信息与振幅信息；
[0033]第一增强模块，用于将所述第一图像的相位信息和所述转换处理图像的振幅信息基于反傅里叶变换得到第一增强图像；
[0034]第二增强模块，用于将所述转换处理图像的相位信息和所述第一图像的振幅信息基于反傅里叶变换得到第二增强图像。
[0035]本专利技术第五方面提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如
下步骤：
[0036]获取第一图像；
[0037]对所述第一图像进行转换处理，得到转换处理图像；
[0038]分别对所述第一图像和所述转换处理图像进行傅里叶变换得到所述第一图像和所述转换处理图像的相位信息与振幅信息；
[0039]将所述第一图像的相位信息和所述转换处理图像的振幅信息基于反傅里叶变换得到第一增强图像；
[0040]将所述转换处理图像的相位信息和所述第一图像的振幅信息基于反傅里叶变换得到第二增强图像。
[0041]本专利技术第六方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如下步骤：
[0042]获取第一图像；
[0043]对所述第一图像进行转换处理，得到转换处理图像；
[0044]分别对所述第一图像和所述转换处理图像进行傅里叶变换得到所述第一图像和所述转换处理图像的相位信息与振幅信息；
[0045]将所述第一图像的相位信息和所述转换处理图像的振幅信息基于反傅里叶变换得到第一增强图像；
[0046]将所述转换处理图像的相位信息和所述第一图像的振幅信息基于反傅里叶变换得到第二增强图像。
[0047]本申请的有益效果为：通过振幅与相位的重组能得到增强的数据，用增强后的数据比如图像进行神经网络模型训练，可以提高神经网络的泛化能力及鲁棒性，促进神经网络对雾、雨及各种噪音场景下的图像识别能力。最终训练好的神经网络模型在真实场景下能够更有效地应对各种噪音干扰，高效识别物体，进而更加符合真实场景下的应用。
附图说明
[0048]图1示出了本申请实施例1的方法流程示意图；
[0049]图2示出了本申请实施例1、2的数据增强过程示意图；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于振幅与相位重组的数据增强方法，其特征在于，包括以下步骤：获取第一图像；对所述第一图像进行转换处理，得到转换处理图像；分别对所述第一图像和所述转换处理图像进行傅里叶变换得到所述第一图像和所述转换处理图像的相位信息与振幅信息；将所述第一图像的相位信息和所述转换处理图像的振幅信息基于反傅里叶变换得到第一增强图像；将所述转换处理图像的相位信息和所述第一图像的振幅信息基于反傅里叶变换得到第二增强图像。2.一种基于振幅与相位重组的数据增强方法，其特征在于，包括以下步骤：获取第一图像和第二图像；对所述第一图像和所述第二图像进行傅里叶变换得到所述第一图像和所述第二图像的相位信息与振幅信息；将所述第一图像的相位信息和所述第二图像的振幅信息基于反傅里叶变换得到第三增强图像；将所述第二图像的相位信息和所述第一图像的振幅信息基于反傅里叶变换得到第四增强图像。3.根据权利要求1所述的基于振幅与相位重组的数据增强方法，其特征在于，所述对所述第一图像进行转换处理，包括图像翻转处理、图像平移处理、随机裁剪处理和图像锐化处理。4.根据权利要求1所述的基于振幅与相位重组的数据增强方法，其特征在于，分别对所述第一图像和所述转换处理图像进行傅里叶变换得到所述第一图像和所述转换处理图像的相位信息与振幅信息，包括：对所述第一图像进行傅里叶变换得到所述第一图像的频域信息；对所述转换处理图像进行傅里叶变换得到所述转换处理图像的频域信息；根据所述第一图像的频域信息得到所述第一图像的相位信息与振幅信息；根据所述转换处理图像的频域信息得到所述转换处理图像的相位信息与振幅信息。5.根据权利要求2所述的基于振幅与相位重组的数据增强方法，其特征在于，将所述第一图像的相位信息和所述第二...

【专利技术属性】
技术研发人员：田永鸿，陈光耀，彭佩玺，
申请(专利权)人：北京大学，
类型：发明
国别省市：