一种基于Transformer的水下图像增强方法技术

本发明专利技术是一种基于Transformer的水下图像增强方法。本发明专利技术涉及数字图像处理和水下图像处理技术领域，本发明专利技术通过输入端输入待增强的水下图像，采用多级下采样模块通过卷积的方式进行下采样，获得不同尺度下的图像；通过全局特征提取模块采用卷积结合残差块的方式，进行不同尺度下图像的特征提取，获得不同尺寸下的特征图；将最小尺寸的特征图输入编码器，并采用多级特征深化提取的方式进行处理；将解码器的输出进行块解码，将最小尺寸特征图经过Transformer的输出从序列重新恢复成图像形式；经过多级上采样模块进行尺度上的恢复，结合之前的多级细节深化模块，获得输出的增强图像。像。像。

【技术实现步骤摘要】
一种基于Transformer的水下图像增强方法


[0001]本专利技术涉及数字图像处理和水下图像处理
，是一种基于Transformer的水下图像增强方法。

技术介绍

[0002]海洋有着丰富的自然资源，进行水下的光学观察是人类了解海洋、利用海洋资源发展的重要手段。水下光学图像是其中很重要的组成部分，它可以承载丰富的水下信息，其在渔业、水产以及军事方面均有重要的作用。然而，水下环境和陆地环境不同，在水下成像的过程中会产生许多的干扰，光穿过水的同时会被水吸收和散射，产生衰减，导致影响光学成像的图像色彩和纹理特征，产生退化。水深增加，自然光源传播的困难也会逐渐增加，自然光源中的不同频率的光能传输的最大深度也不同，因此在比较深的水下获得的水下图像通常更加偏蓝色或者黄绿色，并且质量会下降、细节较为模糊、偏暗等。针对这类水下退化图像进行图像质量和细节特征方面的增强，有利于恢复和提高图像之中的有用信息，对于下游任务的开展十分有帮助。

技术实现思路

[0003]本专利技术为了解决水下图像中的质量下降、模糊等问题，本专利技术提供了一种基于Transformer的水下图像增强方法，本专利技术提供了以下技术方案：
[0004]一种基于Transformer的水下图像增强方法，包括以下步骤：
[0005]步骤1：通过输入端输入待增强的水下图像，采用多级下采样模块通过卷积的方式进行下采样，获得不同尺度下的图像；
[0006]步骤2：通过全局特征提取模块采用卷积结合残差块的方式，进行不同尺度下图像的特征提取，获得不同尺寸下的特征图；
[0007]步骤3：将最小尺寸的特征图输入编码器，并采用多级特征深化提取的方式进行处理；
[0008]步骤4：将解码器的输出进行块解码，将最小尺寸特征图经过Transformer的输出从序列重新恢复成图像形式；
[0009]步骤5：经过多级上采样模块进行尺度上的恢复，结合之前的多级细节深化模块，获得输出的增强图像。
[0010]优选的，所述步骤1具体为：
[0011]使用不同尺寸的卷积核进行逐级下采样，对原始图像逐渐减小尺寸，在获得不同尺度下的原始图片的同时，将后续Transformer处理所需的内存进行限制。
[0012]优选的，所述步骤2具体为：
[0013]使用残差块进行特征提取，残差块由两个不改变图尺寸的卷积层结合批标准化和激活函数组成，获得不同尺寸下的多级特征图，为后续的深化特征做准备。
[0014]优选的，所述步骤3具体为：
[0015]针对尺寸最小的特征图进行分块编码，将编码后的图像输入Transformer的编解码器；针对中间尺寸的特征图，使用第一细节深化模块进行细节特征提取；针对原尺寸的特征图，使用全局深化模块进行细节特征提取；针对Transformer的编码器输出，使用第二细节深化模块进行提取。
[0016]优选的，第一细节深化模块部分为多层感知机搭建的小型特征提取网络，用作深化部分细节；全局深化模块则是采用二维傅里叶变换的方式，将图像转换到频域后结合自适应滤波和softmax层获得频域细节的评价图，和原图相乘后再和原图相加，用以深化频域细节，后经傅里叶反变换获得全局深化过的原尺寸图。
[0017]优选的，所述步骤5具体为：
[0018]采用转置卷积的方式进行上样，在上采用的同时进行学习，对比插值类型的上采样模块有着更好的恢复效果，在每一级上采样的同时融合之前深化过的多级特征图，直到最终获得输出的增强图像，在融合的时候采用可学习的参数进行控制，获得更合适的融合效果。
[0019]本专利技术具有以下有益效果：
[0020]本专利技术所述方法可用于数字图像的增强，特别适用于水下较为复杂环境下受水各种因素影响较大的水下退化图像。通过采用多级深化细节的方式，可以充分利用图像在不同尺度下的特征，并且结合当前深度学习和计算机视觉领域中效果较为突出的Transformer结构，能够很好的增强图像中的细节部分，对于一些退化现象较为严重的图像也有着不错的增强效果。
[0021]本专利技术所述的一种基于Transformer的水下图像增强方法是基于数字图像处理、计算机视觉和深度学习等技术实现的，有着良好的图像增强效果，在模型训练好之后，增强过程变为端到端，较为简便。应用Transformer进行水下图像增强，不仅能够提高增强的效果，还可以更好的深化细节特征。Transformer和深度学习应用在水下图像处理中目前较为少见。
[0022]本专利技术所述的一种基于Transformer的水下图像增强方法主要技术有Transformer、数字图像处理技术、深度学习技术等。本专利技术采用基于Transformer的水下图像增强方法，不仅适用于水下图像增强，同时也适用于一些陆地环境或其他一些有退化或细节模糊的光学图像增强。
附图说明
[0023]图1是全局深化模块框图；
[0024]图2是第一细节深化模块框图；
[0025]图3是第二细节深化模块框图；
[0026]图4是基于Transformer的水下图像增强网络模型框图。
具体实施方式
[0027]以下结合具体实施例，对本专利技术进行了详细说明。
[0028]具体实施例一：
[0029]根据图1至图4所示，为解决上述技术问题采取的具体优化技术方案是：本专利技术涉
及一种基于Transformer的水下图像增强方法：
[0030]一种基于Transformer的水下图像增强方法，包括以下步骤：
[0031]步骤1：通过输入端输入待增强的水下图像，采用多级下采样模块通过卷积的方式进行下采样，获得不同尺度下的图像；
[0032]所述步骤1具体为：
[0033]使用不同尺寸的卷积核进行逐级下采样，对原始图像逐渐减小尺寸，在获得不同尺度下的原始图片的同时，将后续Transformer处理所需的内存进行限制。
[0034]步骤2：通过全局特征提取模块采用卷积结合残差块的方式，进行不同尺度下图像的特征提取，获得不同尺寸下的特征图；
[0035]所述步骤2具体为：
[0036]使用残差块进行特征提取，残差块由两个不改变图尺寸的卷积层结合批标准化和激活函数组成，获得不同尺寸下的多级特征图，为后续的深化特征做准备。
[0037]步骤3：将最小尺寸的特征图输入编码器，并采用多级特征深化提取的方式进行处理；
[0038]所述步骤3具体为：
[0039]针对尺寸最小的特征图进行分块编码，将编码后的图像输入Transformer的编解码器；针对中间尺寸的特征图，使用第一细节深化模块1进行细节特征提取；针对原尺寸的特征图，使用全局深化模块进行细节特征提取；针对Transformer的编码器输出，使用第二细节深化模块2进行提取。
[0040]第一细节深化模块1部分为多层感知机搭建的小型特征提取网络，用作深化部分细节；全局深化模块则是采用二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的水下图像增强方法，其特征是：包括以下步骤：步骤1：通过输入端输入待增强的水下图像，采用多级下采样模块通过卷积的方式进行下采样，获得不同尺度下的图像；步骤2：通过全局特征提取模块采用卷积结合残差块的方式，进行不同尺度下图像的特征提取，获得不同尺寸下的特征图；步骤3：将最小尺寸的特征图输入编码器，并采用多级特征深化提取的方式进行处理；步骤4：将解码器的输出进行块解码，将最小尺寸特征图经过Transformer的输出从序列重新恢复成图像形式；步骤5：经过多级上采样模块进行尺度上的恢复，结合之前的多级细节深化模块，获得输出的增强图像。2.根据权利要求1所述的一种基于Transformer的水下图像增强方法，其特征是：所述步骤1具体为：使用不同尺寸的卷积核进行逐级下采样，对原始图像逐渐减小尺寸，在获得不同尺度下的原始图片的同时，将后续Transformer处理所需的内存进行限制。3.根据权利要求2所述的一种基于Transformer的水下图像增强方法，其特征是：所述步骤2具体为：使用残差块进行特征提取，残差块由两个不改变图尺寸的卷积层结合批标准化和激活函数组成，获得不同尺寸下的多级特征图，为后续的深化特征做准备。4.根据权利...

【专利技术属性】
技术研发人员：高山，崔颖，韩佳成，苏静静，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：