本发明专利技术公开了一种基于CNN的NR水下增强图像质量评价方法，包括：获取水下增强图像，对水下增强图像进行预处理，获取反射图分量和光照图分量；基于双通道输入网络分别对反射图分量和光照图分量进行特征提取，获取输出特征图；对输出特征图进行质量回归，获取水下增强图像的质量分数。本发明专利技术针对水下增强图像的颜色和亮度纹理失真，利用双通道CNN网络的两个通道分别学习反射图分量与光照图分量包含的颜色特征和亮度纹理特征，采用双通道特征学习方式避免获得冗余特征，最后设计特征融合模块，通过全局池化和通道交互给颜色特征和亮度纹理特征分配权重，使用通道注意力确定通道特征的相互依赖关系，用空间注意力区分人类视觉感知关注的区域。关注的区域。关注的区域。
【技术实现步骤摘要】
一种基于CNN的NR水下增强图像质量评价方法
[0001]本专利技术属于水下增强图像质量评价领域，特别是涉及一种基于CNN的NR水下增强图像质量评价方法。
技术介绍
[0002]对于水下作业，特别是水下机器人作业等场景，高质量的水下图像具有广阔的应用前景。水下机器人主要靠视觉系统来判断周围的环境信息，该视觉系统就像人体的眼睛，可以为机器人提供水下目标位置信息。然而，由于海洋复杂的成像环境导致视觉系统获取的水下图像质量严重衰退，水下图像质量的衰退主要包括：光线吸收导致的颜色偏差，光线前向散射导致的细节模糊和光线后向散射造成的对比度降低。
[0003]为了解决这些问题，许多研究提出了许多水下图像增强(UIE)算法，用来解决各种水下失真。然而，UIE算法性能需要进行评估并与现有的先进算法进行比较，在应用的时候往往也会选择效果好的算法。因此需要设计一种有效的UIE质量评价(UIEQA)方法。该方法旨在自动预测增强后水下图像的质量，以便更好地对比各种UIE算法的性能。目前针对UIEQA方法可以根据参考图像的可用性分为三类：全参考(FR)、半参考(RR)和无参考(NR)。毫无疑问，由于无法知晓实际应用中的水下场景，NR方法比较适合实际应用。
[0004]目前，主流的质量评价算法大都针对自然图像。这部分质量评价算法对自然图像具有优异的评估性能，而面对水下增强图像和水下图像时却无法获得与人类判断相近的客观质量分数。这是由于水对光的衰减和散射，造成的失真与自然图像有很大的差异。许多研究提出了一些针对水下增强图像和水下图像的质量评价方法，取得了初步的效果。然而，这些方法高度依赖先验知识来手动提取手工特征，并且不能同时适用水下增强图像与水下原始图像。
技术实现思路
[0005]本专利技术的目的是提供一种基于CNN的NR水下增强图像质量评价方法，以解决上述现有技术存在的问题。
[0006]为实现上述目的，本专利技术提供了一种基于CNN的NR水下增强图像质量评价方法，包括：
[0007]获取水下增强图像，对所述水下增强图像进行预处理，获取反射图分量和光照图分量；
[0008]基于双通道输入网络对所述反射图分量和所述光照图分量进行特征提取，获取输出特征图；
[0009]对所述输出特征图进行质量回归，获取所述水下增强图像的质量分数；
[0010]基于所述质量分数进行质量评估。
[0011]可选地，对所述水下增强图像进行预处理的过程包括：
[0012]基于Decom
‑
Net网络将所述水下增强图像分解为反射图和光照图，并对所述反射
图和所述光照图进行局部归一化处理。
[0013]可选地，基于双通道输入网络对所述反射图分量和所述光照图分量进行特征提取的过程包括：
[0014]使所述反射图分量和所述光照图分量分别进入各自的子网络，获取反射图子网络与光照图子网络；
[0015]基于所述反射图子网络进行下采样获取水下增强图像的颜色特征；基于所述光照图子网络获取水下增强图像的亮度纹理特征；
[0016]基于特征融合模块对所述颜色特征与所述亮度纹理特征进行融合，获取融合特征图；
[0017]基于所述融合特征与注意力模块获得增强人眼关注区域的输出特征图。
[0018]可选地，所述下采样的卷积层包括相同数量的滤波器；所述滤波器的数量在编码网中由32个逐渐增加到128个；所述卷积层的卷积核大小为3
×
3，步长为1，padding为1。
[0019]可选地，所述特征融合模块通过全局池化和通道交互计算权重进行特征融合。
[0020]可选地，所述特征融合模块通过全局池化和通道交互计算权重进行特征融合的过程包括：
[0021]基于所述颜色特征与所述亮度纹理特征，采用逐元素求和法获取初次融合特征；
[0022]分别基于全局平均池化与全局最大池化将所述初次融合特征转换为通道统计数据，每个所述通道统计数据包括所述颜色特征与所述亮度纹理特征；
[0023]将所述通道统计数据相加分别获取颜色特征向量与亮度纹理特征向量；
[0024]基于逐点卷积实现所述颜色特征向量与所述亮度纹理特征向量的通道交互，获取颜色交互特征与亮度纹理交互特征；
[0025]基于sigmoid函数分别计算所述颜色交互特征与所述亮度纹理交互特征的权重；
[0026]将所述颜色交互特征的权重与所述颜色特征相乘，将所述亮度纹理交互特征的权重与所述亮度纹理特征相乘，对两组相乘的结果求和，获取融合特征图。
[0027]可选地，所述注意力模块基于通道注意力明确所述颜色特征与所述亮度纹理特征的相互依赖关系，基于空间注意力区分人类视觉感知关注的区域，获取增强人眼关注区域的输出特征图。
[0028]可选地，基于通道注意力明确所述颜色特征与所述亮度纹理特征的相互依赖关系的过程包括：
[0029]基于全局平均池化和全局最大池化对所述融合特征图按空间方向进行空间信息聚合，获取平均标量与最大标量；
[0030]基于两个全连接网络对所述平均标量与所述最大标量进行传播；
[0031]通过元素相加将所述平均标量与所述最大标量进行融合，将融合后的向量基于sigmoid函数转换为通道注意力权重；
[0032]基于所述通道注意力权重与所述融合特征图，采用逐元素乘法获取通道注意力调整特征图。
[0033]可选地，基于空间注意力区分人类视觉感知关注的区域的过程包括：
[0034]基于全局平均池化和全局最大池化对所述融合特征图按通道方向进行通道信息聚合，获取平均通道与最大通道；
[0035]将所述平均通道与所述最大通道进行通道拼接，并基于卷积层和sigmoid函数获得空间注意力权重；
[0036]基于所述空间注意力权重与通道注意力调整特征图，采用逐元素乘法获取空间注意力调整特征图。
[0037]可选地，对所述输出特征图进行质量回归的过程包括：
[0038]基于质量回归模块对所述输出特征图进行质量回归，所述质量回归模块包括两层卷积层以及全局最大池化、全局平均池化和一个全连接层；
[0039]基于所述全局最大池化和所述全局平均池化对所述输出特征图进行特征过滤，获取每个特征的质量分数；
[0040]对所有特征的质量分数求平均，获取整个水下增强图像的质量分数。
[0041]本专利技术的技术效果为：
[0042]1.针对水下增强图像的颜色和纹理失真，提出了一种双通道CNN用于特征提取。网络的两个通道分别学习水下增强图像的颜色特征和亮度纹理特征，避免学习到冗余特征。
[0043]2.为了有效聚合反射图和光照图提取的颜色和亮度纹理特征，设计了一种特征融合模块，通过全局池化和通道交互给颜色特征和亮度纹理特征分配合适的权重。
[0044]3.在多个水下增强图像数据集和水下原始图像数据集与主流的NR
‑
IQA指标进行性能比较本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于CNN的NR水下增强图像质量评价方法，其特征在于，包括以下步骤：获取水下增强图像，对所述水下增强图像进行预处理，获取反射图分量和光照图分量；基于双通道输入网络对所述反射图分量和所述光照图分量进行特征提取，获取输出特征图；对所述输出特征图进行质量回归，获取所述水下增强图像的质量分数；基于所述质量分数进行质量评估。2.根据权利要求1所述的基于CNN的NR水下增强图像质量评价方法，其特征在于，对所述水下增强图像进行预处理的过程包括：基于Decom
‑
Net网络将所述水下增强图像分解为反射图和光照图，并对所述反射图和所述光照图进行局部归一化处理。3.根据权利要求1所述的基于CNN的NR水下增强图像质量评价方法，其特征在于，基于双通道输入网络对所述反射图分量和所述光照图分量进行特征提取的过程包括：使所述反射图分量和所述光照图分量分别进入各自的子网络，获取反射图子网络与光照图子网络；基于所述反射图子网络进行下采样获取水下增强图像的颜色特征；基于所述光照图子网络获取水下增强图像的亮度纹理特征；基于特征融合模块对所述颜色特征与所述亮度纹理特征进行融合，获取融合特征图；基于所述融合特征与注意力模块获得增强人眼关注区域的输出特征图。4.根据权利要求3所述的基于CNN的NR水下增强图像质量评价方法，其特征在于，所述下采样的卷积层包括相同数量的滤波器；所述滤波器的数量在编码网中由32个逐渐增加到128个；所述卷积层的卷积核大小为3
×
3，步长为1，padding为1。5.根据权利要求3所述的基于CNN的NR水下增强图像质量评价方法，其特征在于，所述特征融合模块通过全局池化和通道交互计算权重进行特征融合。6.根据权利要求5所述的基于CNN的NR水下增强图像质量评价方法，其特征在于，所述特征融合模块通过全局池化和通道交互计算权重进行特征融合的过程包括：基于所述颜色特征与所述亮度纹理特征，采用逐元素求和法获取初次融合特征；分别基于全局平均池化与全局最大池化将所述初次融合特征转换为通道统计数据，每个所述通道统计数据包括所述颜色特征与所述亮度纹理特征；将所述通道统计数据相加分别获取颜色特征向量与亮度纹理特征向...
【专利技术属性】
技术研发人员：骆挺，江国炜，何周燕，宋洋，徐海勇，
申请(专利权)人：宁波大学科学技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。