一种跨模态融合的水下图像增强方法技术

本发明专利技术涉及图像增强的技术领域，公开了一种跨模态融合的水下图像增强方法，所述方法包括：对水下图像像素进行自适应亮度提升；对亮度分布视觉舒适的水下图像进行自适应对比度增强；对去模糊化后的水下图像进行像素补偿；对色彩增强后的水下图像进行媒介透射滤波处理，得到透射图像；基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，利用优化的模型输出颜色通道增强后的水下图像。本发明专利技术通过增强水下图像中低照度区域的亮度，提高不同局部区域的灰度值对比程度，对过度衰减的红蓝颜色通道进行补偿，并融合透射图像的结构特征以及水下图像的颜色特征进行图像颜色通道增强，实现跨模态融合的水下图像增强。的水下图像增强。的水下图像增强。

【技术实现步骤摘要】
一种跨模态融合的水下图像增强方法


[0001]本专利技术涉及水下图像增强的
，尤其涉及一种跨模态融合的水下图像增强方法。

技术介绍

[0002]水下数据采集过程中,由系统采集设备所获取的图像和视频，在周围环境光照不足的情况下容易出现对比度下降、细节丢失、色彩失真等问题，这将严重影响到图像的后续处理与应用。由于水体对光线不同粒子的吸收能力具有一定差异，水下采集到的图像往往存在严重的退化现象。基于单点像素的图像增强方法和基于退化模型的图像恢复算法受到水下环境的复杂性和物理参数不确定性的影响往往表现出较差的泛化能力。针对该问题，本专利技术提出一种跨模态融合的水下图像增强方法，提高低照度环境下图像暗区的细节表现能力、校正图像色彩和改善视觉效果。

技术实现思路

[0003]有鉴于此，本专利技术提供一种跨模态融合的水下图像增强方法，目的在于：1）基于水下图像像素的亮度分量，结合图像的整体亮度，利用自适应对数映射函数对亮度分量进行映射转换，增强低照度区域的亮度，并基于像素局部区域灰度值变化的剧烈程度对像素局部区域内的灰度值进行增强处理，提高不同局部区域的灰度值对比程度，并基于水下图像像素在不同颜色通道的全局颜色值，对不同颜色通道的颜色值进行补偿处理，实现水下图像中过度衰减的红蓝颜色通道的补偿，进而实现多模态融合的水下图像增强；2）对水下图像进行媒介透射滤波处理，得到不同像素的透射率，构建得到水下图像对应的透射图像，将水下图像以及透射图像分别作为多模态水下图像特征提取以及颜色增强模型的输入，并分别提取不同尺度的颜色特征以及结构特征进行融合，以融合特征作为辅助信息，采用不同权重矩阵对水下图像的颜色特征进行特征调制，实现结合融合特征的颜色特征增强处理，得到颜色通道增强后的水下图像。
[0004]实现上述目的，本专利技术提供的一种跨模态融合的水下图像增强方法，包括以下步骤：S1：采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，得到亮度分布视觉舒适的水下图像；S2：对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像；S3：对去模糊化后的水下图像进行像素补偿，得到色彩增强后的水下图像；S4：对色彩增强后的水下图像进行媒介透射滤波处理，得到水下图像对应的透射图像；S5：构建多模态水下图像特征提取以及颜色增强模型，所述模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出；
S6：构建水下图像增强优化目标函数，所述水下图像增强优化目标函数以颜色通道增强前后结构相似性度量以及感知相似性度量达到最大为目标；S7：基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，并利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像。
[0005]作为本专利技术的进一步改进方法：可选地，所述S1步骤中采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，包括：采集水下图像I并提取水下图像I中像素的亮度分量，其中像素亮度分量的提取公式：；其中：分别表示水下图像中像素在R,G,B颜色通道的颜色值，像素表示水下图像中第i行第j列的像素；表示像素的亮度分量；对像素亮度分量进行自适应亮度提升，其中像素的亮度分量自适应亮度提升流程为：对亮度分量进行对数映射：；其中：表示亮度分量的对数映射结果，即亮度分量的自适应亮度提升结果；表示水下图像中像素的平均亮度分量，表示水下图像中像素的最大亮度分量；对于水下图像中的任意像素，选取像素颜色值最大的颜色通道，将所选取颜色通道的颜色值替换为像素亮度分量的对数映射结果，得到自适应亮度提升的像素以及亮度分布视觉舒适的水下图像。
[0006]可选地，所述S2步骤中对亮度分布视觉舒适的水下图像进行自适应对比度增强，包括：对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像，其中水下图像中像素的自适应对比度增强流程为：S21：提取水下图像中像素的灰度值，构成水下图像的灰度图像g，其中像素
在灰度图像g中的灰度值为：；其中：分别表示水下图像中像素在R,G,B颜色通道的颜色值；计算得到灰度图像中像素灰度值的标准差；S22：以像素为中心在灰度图像中构建得到像素大小的像素区域，计算得到所构建像素区域内的灰度值均值以及灰度值标准差；S23：对灰度值进行对比度增强，其中对比度增强公式为：；；其中：表示像素的灰度值对比度增强结果；表示对比度增强系数；S24：对水下图像中像素进行对比度增强：；其中：表示水下图像中像素在U颜色通道的颜色值；表示的对比度增强结果，即像素在U颜色通道的增强后颜色值，将不同颜色通道的增强后颜色值作为像素在对应通道的颜色值，得到对比度增强后的像素；将所有对比度增强后的像素构成去模糊化后的水下图像。
[0007]可选地，所述S3步骤中对去模糊化后的水下图像进行像素补偿，包括：对去模糊化后的水下图像进行像素补偿，其中水下图像中像素的像素补偿流程为：S31：分别计算水下图像中像素在R,G,B颜色通道的颜色值均值；
S32：对像素在R颜色通道的颜色值进行补偿： ；其中：表示像素在R颜色通道的补偿后颜色值；S33：对像素在B颜色通道的颜色值进行补偿：；其中：表示像素在B颜色通道的补偿后颜色值；S34：获取颜色值补偿后水下图像的像素在各颜色通道的最大值和最小值，其中分别表示颜色值补偿后水下图像的像素在U颜色通道的最大值和最小值，；S34：对像素的各颜色通道颜色值进行仿射变换处理：；；；其中：分别表示像素在R,G,B颜色通道的仿射变换后颜色值；将作为像素在R,G,B颜色通道的颜色值，得到色彩增强后的像素；将所有色彩增强后的像素构成色彩增强后的水下图像。
[0008]可选地，所述S4步骤中对色彩增强后的水下图像进行媒介透射滤波处理，包括：对色彩增强后水下图像进行媒介透射滤波处理，得到水下图像对应的透射图像Q，其中媒介透射滤波处理流程为：S41：提取水下图像中像素的灰度值，并选取水下图像中灰度值为前1%的像素，计算所选取像素在不同颜色通道U的平均颜色值，；
S42：计算水下图像中任意像素的透射率：；其中：表示以像素为中心的像素区域的坐标集合，X表示坐标集合中的任意坐标；表示水下图像中坐标为x的像素在U颜色通道的颜色值；表示以像素为中心的像素区域中，像素颜色值与对应颜色通道的平均颜色值比例最小的比例值；S43：将水下图像中像素的透射率转换为透射矩阵，其中透射矩阵即为水下图像对应的透射图像Q。
[0009]可选地，所述S5步骤中构建多模态水下图像特征提取以及颜色增强模型，包括：构建多模态水下图像特征提取以及颜色增强模型，所构建多模态水下图像特征提取以及颜色增强模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出；所述多模态水下图像特征提取以及颜色增强模型包括输入层、多模态特征提取层、多模态特征融合模块、颜色通道增强模块以及输出层；其中输入层用于接收色彩增强后的水下图像和透射图像，多模态特征提取层用于分别提取水下图像的RGB颜色特征以及透射图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态融合的水下图像增强方法，其特征在于，所述方法包括：S1：采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，得到亮度分布视觉舒适的水下图像；S2：对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像；S3：对去模糊化后的水下图像进行像素补偿，得到色彩增强后的水下图像；S4：对色彩增强后的水下图像进行媒介透射滤波处理，得到水下图像对应的透射图像；S5：构建多模态水下图像特征提取以及颜色增强模型，所述模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出；S6：构建水下图像增强优化目标函数，所述水下图像增强优化目标函数以颜色通道增强前后结构相似性度量以及感知相似性度量达到最大为目标；S7：基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，并利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像。2.如权利要求1所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S1步骤中采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，包括：采集水下图像I并提取水下图像I中像素的亮度分量，其中像素亮度分量的提取公式为：；其中：分别表示水下图像中像素在R,G,B颜色通道的颜色值，像素表示水下图像中第i行第j列的像素；表示像素的亮度分量；对像素亮度分量进行自适应亮度提升，其中像素的亮度分量自适应亮度提升流程为：对亮度分量进行对数映射：；其中：表示亮度分量的对数映射结果，即亮度分量的自适应亮度提升结果；表示水下图像中像素的平均亮度分量，表示水下图像中像素的最大亮度分量；对于水下图像中的任意像素，选取像素颜色值最大的颜色通道，将所选取颜色通道的颜色值替换为像素亮度分量的对数映射结果，得到自适应亮度提升的像素以及亮度分布视觉舒适的水下图像。
3.如权利要求2所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S2步骤中对亮度分布视觉舒适的水下图像进行自适应对比度增强，包括：对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像，其中水下图像中像素的自适应对比度增强流程为：S21：提取水下图像中像素的灰度值，构成水下图像的灰度图像g，其中像素在灰度图像g中的灰度值为：；其中：分别表示水下图像中像素在R,G,B颜色通道的颜色值；计算得到灰度图像中像素灰度值的标准差；S22：以像素为中心在灰度图像中构建得到像素大小的像素区域，计算得到所构建像素区域内的灰度值均值以及灰度值标准差；S23：对灰度值进行对比度增强，其中对比度增强公式为：；；其中：表示像素的灰度值对比度增强结果；表示对比度增强系数；S24：对水下图像中像素进行对比度增强：；其中：表示水下图像中像素在U颜色通道的颜色值；表示的对比度增强结果，即像素在U颜色通道的增强后颜色值，将不同颜色通道的增强后颜色值作为像素在对应通道的颜色值，得到对比度增强后的像素；将所有对比度增强后的像素构成去模糊化后的水下图像。
4.如权利要求3所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S3步骤中对去模糊化后的水下图像进行像素补偿，包括：对去模糊化后的水下图像进行像素补偿，其中水下图像中像素的像素补偿流程为：S31：分别计算水下图像中像素在R,G,B颜色通道的颜色值均值；S32：对像素在R颜色通道的颜色值进行补偿： ；其中：表示像素在R颜色通道的补偿后颜色值；S33：对像素在B颜色通道的颜色值进行补偿：；其中：表示像素在B颜色通道的补偿后颜色值；S34：获取颜色值补偿后水下图像的像素在各颜色通道的最大值和最小值，其中分别表示颜色值补偿后水下图像的像素在U颜色通道的最大值和最小值，；S34：对像素的各颜色通道颜色值进行仿射变换处理：；；；其中：分别表示像素在R,G,B颜色通道的仿射变换后颜色值；将作为像素在R,G,B颜色通道的颜色值，得到色彩增强后的像素；将所有色彩增强后的像素构成色彩增强后的水下图像。
5.如权利要求4所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S4步骤中对色彩增强后的水下图像进行媒介透射滤波处理，包括：对色彩增强后水下图像进行媒介透射滤波处理，得到水下图像对应的透射图像Q，其中媒介透射滤波处理流程为：S41：提取水下图像中像素的灰度值，并选取水下图像中灰度值为前1%的像素，计算所选取像素在不同颜色通道U的平均颜色值，；S42：计算水下图像中任意像素的透射率：；其中：表示以像素为中心的像素区域的坐标集合，X表示坐标集合中的任意坐标；表示水下图像中坐标为x的像素在U颜色通道的颜色值；表示以像素为中心的像素区域中，像素颜色值与对应颜色通道的平均颜色值比例最小的比例值；S43：将水下图像中像素的透射率转换为透射矩阵，其中透射矩阵即为水下图像对应的透射图像Q。6.如权利要求1所述的一种跨模态融合的水下图像增强方法，其特征在于，所述S5步骤中构建多模态水下图像特征提取以及颜色增强模型，包括：构建多模态水下图像特征提取以及颜色增强模型，所构建多模态水下图像特征提取以及颜色增强模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出；所述多模态水下图像特征提取以及颜色增强模型包括输入层、多模态特征提取层、多模态特征融合模块、颜色通道增强模块以及输出层；其中输入层用于接收色...

【专利技术属性】
技术研发人员：卢伟升，桑雷，胡天辉，
申请(专利权)人：湖南省水务规划设计院有限公司，
类型：发明
国别省市：