基于注意力机制的无人机全景图像去噪方法技术

本发明专利技术公开了一种基于注意力机制的无人机全景图像去噪方法，该去噪方法包括：卷积神经网络编解码器结构，通过深度可分离卷积、激活池化、反卷积等操作对输入图像进行编解码操作；深度可分离卷积，通过深度卷积和逐点卷积实现对特征图的卷积运算，减少去噪网络的参数量；通道注意力模块，通过给编码后的特征图在通道上赋予权重，提高网络去噪性能；具有多尺度跳跃连接的残差注意力模块，通过在跳跃连接时关注特征图的多尺度信息，并在通道上给特征图赋予权重，进一步提高网络去噪性能。本发明专利技术对无人机在复杂光照环境下拍摄的全景图像进行图像去噪，解决以往去噪方法需要估计噪声水平、耗时以及在复杂光照环境下图像去噪效果不佳的问题。佳的问题。佳的问题。

【技术实现步骤摘要】
基于注意力机制的无人机全景图像去噪方法


[0001]本专利技术涉及一种图像去噪方法，特别是涉及一种基于注意力机制的无人机全景图像去噪方法。

技术介绍

[0002]全景成像技术具有大视场低畸变高分辨率的成像特点，可以作为无人机的眼睛可以实现对360
°
场景实时感知。无人机上的全景相机在复杂光照环境下获得的全景图像，存在着局部曝光不足和局部曝光过足的问题导致全景图像退化，严重影响着无人机感知效果。尤其在低照度下的噪声已经与信号强度相接近，淹没了图像有用的细节信息，严重降低图像质量。如果单纯进行信号放大也只会将噪也进一步放大，无法提升相机的信噪比，所以针对无人机在低光环境下的全景图像去噪就显得尤为重要。
[0003]近年来，对于图像去噪的研究有很多，但大多是针对手机相机和数码相机的普通图像进行去噪研究，专门对无人机全景图像去噪的研究还不多。在复杂光照环境下的图像噪声分布与光照强度等因素有关，单一的噪声模型难以覆盖所有的图像噪声。以往去噪方法需要估计噪声水平、耗时以及在复杂光照环境下去噪效果不佳的问题，这些都限制了全景成像系统在无人机领域的应用。

技术实现思路

[0004]针对上述情况，为了克服现有技术的缺陷，本专利技术提供一种基于注意力机制的无人机全景图像去噪方法。
[0005]本专利技术是通过下述技术方案来解决上述技术问题的：一种基于注意力机制的无人机全景图像去噪方法，其特征在于，其包括：
[0006]卷积神经网络编解码结构，包含编码器和解码器，编码器包含五个卷积单元，对图像进行卷积和激活操作，完成图像特征提取，池化操作减少了参数量，解码器包含四个卷积单元，通过对图像进行反卷积，进行特征上采样并逐步恢复图像尺寸，然后再重复卷积和激活操作，逐步复原去噪图像；
[0007]深度可分离卷积，包含深度卷积和逐点卷积，深度卷积对输入特征图的每一通道使用一个卷积核进行卷积，然后将所有卷积的结果进行通道堆叠。逐点卷积根据卷积核的个数调整特征图的通道数，并更好地融合通道之间的联系。深度可分离卷积可以大大减少网络参数量，加快模型运算速度；
[0008]通道注意力模块，包括平均池化、最大池化、共享MLP、特征图求和、激活和特征图乘积，通过对输入的特征图进行最大池化和平均池化计算，并输入一个共享MLP，得到两个带有权值的特征图并求和，最后将这个带有权值的特征图和原特征图相乘，给特征图在通道上赋予权重；
[0009]具有多尺度跳跃连接的残差注意力模块，包括一个普通卷积、残差连接和一个通道注意力模块，通过将输入的特征图进行一次普通卷积，并输入一个通道注意力模块，得到
的结果与输入征图进行残差连接，最后与解码器的特征图进行多尺度的通道堆叠。
[0010]本专利技术提供一种基于注意力机制的无人机全景图像去噪方法，其特征在于，其包括以下步骤：
[0011]步骤一，调整无人机上的全景相机参数至合适数值，采集并保存原始全景图像；
[0012]步骤二，对采集的全景图像进行噪声提取，将提取的噪声加入其它干净的数据集中形成噪声图像，进行噪声图像和对应干净参考图像的配对，构建针对无人机全景图像去噪的训练图像数据集；
[0013]步骤三，将原始全景图像进行直方图均衡化和伽马校正，调节原始图像的亮度和对比度，得到亮度和对比对校正后的全景图像；
[0014]步骤四，将亮度和对比度校正后的全景图像进行色彩校正，得到色彩校正后的图像，完成全部全景图像预处理工作；
[0015]步骤五，构建基于注意力机制的卷积神经编解码网络和损失函数，将训练图像以批的方式导入去噪网络中，优化损失函数，进行监督学习训练；
[0016]步骤六，去噪测试流程是将经预处理的全景图像输入训练好的去噪网络中，输出去噪后的全景图像。
[0017]优选地，所述编解码器使用深度可分离卷积进行卷积运算，减少模型运算过程所需的参数量，加快模型运算速度。所述编码器进行前向传播计算；解码器通过反卷积的计算方式恢复图像尺寸，具有多尺度跳跃连接的残差注意力模块将编码和解码器不同输出尺度的特征图在通道上进行堆叠。
[0018]优选地，所述编码器包含五个卷积单元，解码器包含四个卷积单元。
[0019]优选地，所述通道注意力模块位于编码器之后，解码器之前；残差注意力模块在编码器和解码器的卷积单元之间。
[0020]优选地，所述复杂光照环境包括极微弱的可见光和曝光的可见光。
[0021]优选地，所述CMOS相机采用背照式、灵敏度增强、微光楔等技术，相比传统CMOS相机可以在更极端的复杂光照环境下成像。
[0022]优选地，所述噪声提取通过选出图像中平滑区域，减去区域的图像均值得到噪声图块。训练数据集使用噪声提取生成，训练数据集以批的方式进行输入。
[0023]优选地，所述图像预处理操作，包括图像增强和色彩校正处理，图像增强通过直方图均衡化和伽马校正控制图像过暗或者过曝，色彩校正采用灰度世界法。
[0024]优选地，所述训练包括前向传播和反向传播运算。前向传播运算按照网络层设置计算每一层的特征图，反向传播运算根据最终的特征图和目标图像的损失函数值，计算梯度并反向更新之前卷积层的参数。
[0025]优选地，所述去噪测试输入预处理好的待去噪图像，通过调用已经训练好的模型和参数配置文件，在GPU上并行计算直接输出去噪后的图像。
[0026]本专利技术的积极进步效果在于：本专利技术通过构建基于注意力机制的卷积神经编解码网络作为去噪网络，改进卷积形式为深度可分离卷积，并加入通道注意力模块和具有多尺度跳跃连接的残差注意力模块，训练去噪网络模型，最终将待去噪的图像输入训练好的去噪网络，输出得到去噪后的图像。本专利技术根据应用场景的需求，对无人机上的全景相机在复杂光照环境下拍摄图片进行去噪，解决以往去噪方法需要估计噪声水平、耗时以及在暗光
环境下去噪效果不佳的问题。
附图说明
[0027]图1为本专利技术基于注意力机制的无人机全景图像去噪方法的流程图。
[0028]图2为本专利技术基于注意力机制的编解码去噪网络的整体结构框图。
[0029]图3为本专利技术深度可分离卷积模块的原理图。
[0030]图4为本专利技术通道注意力模块的原理图。
[0031]图5为本专利技术具有多尺度跳跃连接的残差注意力模块的原理图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。
[0033]传统方法的图像去噪方法通常将研究重点放在高斯噪声和ISO噪声的去除，而本专利技术的使用噪声提取生成训练数据集，使用深度学习的方法习得的特征是特定于训练数据的，更加符合真实复杂光照环境下无人机全景图像去噪需求。另外深度学习的优点是泛化能力强，以批的方式进行读取充分利用GPU性能，增加图像处理速度。本专利技术解决了以往图像去噪方法需要估计噪声水平、耗时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的无人机全景图像去噪方法，其特征在于，其包括：卷积神经网络编解码器结构，包含编码器和解码器，编码器包含五个卷积单元，对图像进行卷积和激活操作，完成图像特征提取，池化操作减少了参数量，解码器包含四个卷积单元，通过对图像进行反卷积，进行特征上采样并逐步恢复图像尺寸，然后再重复卷积和激活操作，逐步复原去噪图像；深度可分离卷积，包含深度卷积和逐点卷积，深度卷积对输入特征图的每一通道使用一个卷积核进行卷积，然后将所有卷积的结果进行通道堆叠。逐点卷积根据卷积核的个数调整特征图的通道数，并更好地融合通道之间的联系；通道注意力模块，包括平均池化、最大池化、共享MLP、特征图求和、激活和特征图乘积，通过对输入的特征图进行最大池化和平均池化计算，并输入一个共享MLP，得到两个带有权值的特征图并求和，最后将这个带有权值的特征图和原特征图相乘，给特征图在通道上赋予权重；具有多尺度跳跃连接的残差注意力模块，包括一个普通卷积、残差连接和一个通道注意力模块，通过将输入的特征图进行一次普通卷积，并输入一个通道注意力模块，得到的结果与输入征图进行残差连接，最后与解码器的特征图进行多尺度的通道堆叠。2.一种基于注意力机制的无人机全景图像去噪方法，其特征在于，其包括以下步骤：步骤一，调整无人机上全景相机的参数至合适数值，采集并保存原始全景图像；步骤二，对采集的全景图像进行噪声提取，将提取的噪声加入其它干净的数据集中形成噪声图像，进行噪声图像和对应干净参考图像的配对，构建针对全景图像去噪的训练图像数据集；步骤三，将原始全景图像进行直方图均衡化和伽马校正，调节原始全景图像的亮度和对比度，得到亮度和对比对校正后的全景图像；步骤四，将亮度和对比度校正后的全景图像进行色彩校正，得到色彩校正后的图像，完成全部全景图像预处理工作；步骤五，构建基于注意力机制的卷积神经编解码网络和损失函数，将训练全景图像以批的方式导入去噪...

【专利技术属性】
技术研发人员：邹建新，
申请(专利权)人：苏州三介飞航无人机科技有限公司，
类型：发明
国别省市：