一种图像增强方法技术

本申请提供一种图像增强方法

【技术实现步骤摘要】
一种图像增强方法、装置及电子设备


[0001]本申请涉及图像处理
，尤其涉及一种图像增强方法
、
装置及电子设备
。

技术介绍

[0002]水下图像作为认识
、
探索
、
开发海洋的主要媒介，在海洋工程
、
资源开发等海洋领域具有无可替代的作用
。
但特殊的水下成像环境使得直接获取的水下图像常常有颜色失真
、
细节模糊等复杂的退化现象，大大降低了获取的水下图像在目标检测，语义分割等视觉任务中的可用性
。
[0003]因此，为了提升水下图像在目标检测，语义分割等视觉任务中的可用性，通常对水下图像进行图像增强处理，以得到清晰的水下图像；故对水下图像进行图像增强处理成为了计算机视觉中的热点问题
。
[0004]目前，对水下图像进行图像增强处理的图像增强方法可分为三类，分别为基于传统成像模型的复原方法
、
基于非物理模型的增强方法，以及基于深度学习的方法
。
但是，在基于传统成像模型的复原方法，以及基于非物理模型的增强方法，对水下图像进行图像增强处理时，往往具有较高的计算复杂度与较差的实时性，算法泛化能力差，图像增强效果一般
。
而基于深度学习的方法，对水下图像进行图像增强处理时，虽然具有相对较低的计算复杂度与较好的图像增强效果，但是基于深度学习的方法仍存在色偏恢复不完全
、
细节增强不充分等问题
。
[0005]因此，在对水下图像进行图像增强处理时，如何提升水下图像的图像增强效果是目前需要解决的问题
。

技术实现思路

[0006]本申请提供一种图像增强方法
、
装置及电子设备，用以提升水下图像的图像增强效果
。
[0007]第一方面，本申请实施例提供一种图像增强方法，该方法包括：
[0008]获取待处理水下图像；
[0009]基于目标增强模型，对待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；
[0010]其中，目标增强模型是基于损失函数对待训练增强模型进行至少一次参数调整后得到的，损失函数是基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的第一类输出图像对应的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的，至少两个输出图像的尺度不同
。
[0011]在本申请实施例中，首先基于待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的第一类输出图像对应的对抗损失，以及至少两个输出图像各自对应的像素级损失构建的损失函数，对待训练增强模型进行至少一次参数调整，以联合完成对待训练增强模型的优化，获得目标增强模型，保证通过优化后获得的目标增强模型可得到清晰准
确
、
且与输入图像内容结构一致的增强图像，其中清晰准确包括图像增强后获得的增强图像色偏恢复完全以及细节增强充分的特性；然后基于目标增强模型，对获取的待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；此时，目标水下图像为清晰准确
、
且与待处理水下图像内容结构一致的增强图像
。
因此，采用本申请提供的图像增强方法，对水下图像进行图像增强处理时，提升了水下图像的图像增强效果
。
[0012]在一种可能的实现方式中，目标增强模型中包括：第一编码器
、
第一注意力网络以及第一解码器；
[0013]基于目标增强模型，对待处理水下图像进行图像增强处理，包括：
[0014]通过第一编码器对待处理水下图像进行特征提取，获取至少两个初始特征图；
[0015]通过第一注意力网络，分别对至少两个初始特征图，进行注意力处理，获取相应的目标注意力图；
[0016]通过第一解码器，基于获取的至少两个目标注意力图的尺度大小，按照尺度由小到大的方式，依次将目标注意力图与相同尺度的上采样特征图进行拼接，直至拼接后的拼接图像为与待处理水下图像尺度相同后，基于拼接图像确定所述目标水下图像并输出
。
[0017]在本申请实施例中，提供一种基于目标增强模型，对待处理水下图像进行增强处理的具体实现方式，以保证基于目标增强模型，获得清晰准确
、
且与待处理水下图像内容结构一致的目标水下图像
。
[0018]在一种可能的实现方式中，通过第一编码器对待处理水下图像进行特征提取，获取至少两个初始特征图，包括：
[0019]通过第一编码器对待处理水下图像进行特征提取，获得与待处理水下图像尺度相同的第一类初始特征图，以及对第一类初始特征图进行至少一次下采样后得到的第二类初始特征图
。
[0020]在本申请实施例中，对待处理水下图像进行特征提取，获得与待处理树下图像尺度相同的第一类初始特征图，以及对第一类初始特征图进行至少一次下采样后得到的第二类初始特征图，提取出不同尺度的初始特征图，以提取更加全面的特征信息，保证后续图像增强处理的准确性
。
[0021]在一种可能的实现方式中，分别对至少两个初始特征图，进行注意力处理，包括：
[0022]针对任一初始特征图，对初始特征图进行通道注意力处理，获取通道注意力图，将通道注意力图与初始特征图进行相乘处理，获得中间特征图；
[0023]将中间特征图进行空间注意力处理，获得空间注意力图，将空间注意力图与中间特征图进行相乘处理，获得相应的目标注意力图
。
[0024]在本申请实施例中，对初始特征图依次进行通道注意力处理以及空间注意力处理，获得相应的目标注意力图，更加丰富了待处理水下图像的细节信息，以保证后续图像增强处理的准确性
。
[0025]在一种可能的实现方式中，第一解码器中包括误差反馈网络，且将拼接图像对应的输入上采样特征图作为高尺度特征图，将输入上采样特征图对应的未进行上采样时的特征图作为低尺度特征图；
[0026]将目标注意力图与相同尺度的上采样特征图进行拼接后，通过误差反馈网络执行如下操作：
[0027]对高尺度特征图进行下采样，获得下采样特征图，并确定下采样特征图与低尺度特征图之间的特征误差，下采样特征图与低尺度特征图的尺度相同；
[0028]对特征误差进行反卷积操作，得到高尺度特征图对应的高尺度误差，并将高尺度误差与卷积操作后的拼接图像进行加和处理
。
[0029]在本申请实施例中，在第一解码器中引入误差反馈网络，且通过误差反馈网络实现特征重构过程中的误差反馈校正，保持不同尺度的特征图之间存在语义一致性等内在联系，进一步保证输出的目标水下图像的清晰准确性，以及与待处理水下图像内容结构的一致性
。
[0030]在一种可能的实现方式中，待训练增强模型包括：第二编码器
、
第二注意力网络
、
第二解码器
、...

【技术保护点】

【技术特征摘要】
1.
一种图像增强方法，其特征在于，包括：获取待处理水下图像；基于目标增强模型，对所述待处理水下图像进行图像增强处理，获取图像增强后的目标水下图像；其中，所述目标增强模型是基于损失函数对待训练增强模型进行至少一次参数调整后得到的，所述损失函数是基于所述待训练增强模型输出的至少两个输出图像中与输入图像尺度相同的第一类输出图像对应的对抗损失，以及所述至少两个输出图像各自对应的像素级损失构建的，所述至少两个输出图像的尺度不同
。2.
如权利要求1所述的方法，其特征在于，所述目标增强模型中包括：第一编码器
、
第一注意力网络以及第一解码器；所述基于目标增强模型，对所述待处理水下图像进行图像增强处理，包括：通过所述第一编码器对所述待处理水下图像进行特征提取，获取至少两个初始特征图；通过所述第一注意力网络，分别对所述至少两个初始特征图，进行注意力处理，获取相应的目标注意力图；通过所述第一解码器，基于获取的至少两个目标注意力图的尺度大小，按照尺度由小到大的方式，依次将目标注意力图与相同尺度的上采样特征图进行拼接，直至获取的拼接图像与所述待处理水下图像尺度相同后，基于所述拼接图像确定所述目标水下图像并输出
。3.
如权利要求2所述的方法，其特征在于，所述通过所述第一编码器对所述待处理水下图像进行特征提取，获取至少两个初始特征图，包括：通过所述第一编码器对所述待处理水下图像进行特征提取，获得与所述待处理水下图像尺度相同的第一类初始特征图，以及对所述第一类初始特征图进行至少一次下采样后得到的第二类初始特征图
。4.
如权利要求2所述的方法，其特征在于，所述分别对所述至少两个初始特征图，进行注意力处理，包括：针对任一所述初始特征图，对所述初始特征图进行通道注意力处理，获取通道注意力图，将通所述道注意力图与所述初始特征图进行相乘处理，获得中间特征图；将所述中间特征图进行空间注意力处理，获得空间注意力图，将所述空间注意力图与所述中间特征图进行相乘处理，获得相应的目标注意力图
。5.
如权利要求2所述的方法，其特征在于，所述第一解码器中包括误差反馈网络，且将所述拼接图像对应的输入上采样特征图作为高尺度特征图，将所述输入上采样特征图对应的未进行上采样时的特征图作为低尺度特征图；所述将目标注意力图与相同尺度的上采样特征图进行拼接后，通过所述误差反馈网络执行如下操作：对所述高尺度特征图进行下采样，获得下采样特征图，并确定所述下采样特征图与所述低尺度特征图之间的特征误差，所述下采样特征图与所述低尺度特征图的尺度相同；对所述特征误差进行反卷积操作，得到所述高尺度特征图对应的高尺度误差，并将所述高尺度误差与卷积...

【专利技术属性】
技术研发人员：张玉，周圆，李硕士，陈维强，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：