一种评估水下视频质量的无参考评价方法技术

本发明专利技术公开了一种评估水下视频质量的无参考评价方法，属于视频分析技术领域，利用深度神经网络提取出视频帧的语义特征，结合水下彩色图像质量评价指标

【技术实现步骤摘要】
一种评估水下视频质量的无参考评价方法


[0001]本专利技术属于视频分析
，具体涉及一种评估水下视频质量的无参考评价方法
。

技术介绍

[0002]视频图像的质量评价指标准可以分为主观评价方法和客观评价方法
。
主观评价由观察者对视频或图像给出主观评分，符合人眼视觉特性，但工作量大
、
实时性差
、
无法自动化实现，在水下视频图像的质量评分上并不适用
。
客观评价方法是利用计算机算法进行打分，可以进行实时在线测评，根据评价时是否需要参考图像又可以分为全参考
、
半参考
(
部分参考
)
和无参考三类评价方法
。
视频质量指标，尤其是实用性更强的客观评价指标，在视频技术研究中处于关键地位
。
有效且准确的视频质量评价指标能直接衡量视频质量，也引导着高质量视频的获取，还是验证水下视频增强与复原算法性能的重要手段
。
[0003]水下视频在水域尤其是海洋的探索开发中，有不可替代的作用
。
不同于通常大气环境下的视频，水下视频由于特殊的光学环境导致的色偏
、
模糊
、
光照不均
、
对比度低以及成像设备在水中晃动导致的失焦等问题，存在明显的质量退化
。
通用的自然视频评价指标并不能准确的衡量水下视频质量
。
因此，需要建立针对水下视频的质量评价指标
。
因为水下视频通常缺少高质量参考视频，所以需要采用无参考的方法进行水下视频质量评价
。
而目前，现有技术中没有针对水下视频质量评价的无参考评价指标
。

技术实现思路

[0004]专利技术目的：针对通用视频质量评价指标不能准确评估水下视频质量这一问题，基于传统的图像质量评价指标和深度神经网络技术，本专利技术提出一种评估水下视频质量的无参考评价方法
。
[0005]技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种评估水下视频质量的无参考评价方法，具体如下：
[0006]本专利技术将水下视频分解成帧，并按帧处理，每一帧即为一张水下图像
。
首先，针对水下视频特有的色偏
、
模糊
、
雾化等质量退化因素，本专利技术使用一组图像质量评价指标获得视频帧的退化特征
。
使用水下彩色质量评价指标
UCIQE
提取视频帧的色彩特征，该指标以色度
、
饱和度和对比度为测量分量，通过线性的方式将测量分量线性组合，有效地量化了水下图像的色彩和对比度；使用边缘图像块的对比度指数值和来表示水下彩色图像的模糊程度，提取出视频帧模糊程度特征；使用自然图像质量指标
NIQE
衡量水下图像的雾化程度，测试图像的
NIQE
指标表示为从测试图像中提取的
NSS
‑
自然场景统计特征的
MVG
模型与从自然图像语料中提取的质量感知特征的
MVG
模型之间的距离
。
本专利技术用水下图像与自然图像的距离来衡量水下图像的雾化程度
。
其次，人类对视觉图像
/
视频质量的判断受到内容的影响，针对视频内容的感知问题，本专利技术使用预训练的
ResNet50
深度神经网络结合特征注意力机制提取视频帧的语义特征向量，降维后得到视频帧的语义质量分数
。
然后，将各指标分
数进行归一化处理，与语义质量分数进行拼接，得到每一帧的特征向量
。
最后，使用门循环单元网络捕获视频帧之间的时序信息并进行特征融合，加上时序注意力机制，得到最终的视频质量分数
。
[0007]本专利技术方法具体实现包括以下模块：
[0008]模块1：退化特征提取模块；
[0009]模块2：语义特征提取模块；
[0010]模块3：时序信息与特征融合模块
。
[0011]模块1：退化特征提取模块
。
水下视频的主要退化现象包括色偏
、
模糊和雾化，因此本专利技术提取出这三种退化对应的分数作为视频退化特征
。
[0012]步骤
1.1
：计算视频帧色彩分数
S
col
。
[0013]UCIQE(underwater colour image quality evaluation)
是一种使用广泛的水下图像质量指标
。
以色度
、
饱和度和对比度为测量分量，通过线性的方式将测量分量线性组合，有效地量化了水下图像的色彩
、
模糊程度和对比度
。UCIQE
的计算公式如式
(1)
所示：
[0014]UCIQE
＝
c1×
σ
c
+c2×
con
l
+c3×
μ
s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0015]其中，
σ
c
是视频帧的色度的标准方差，
con
l
是视频帧的亮度的对比度，
μ
s
是视频帧的饱和度的平均值
。c1、c2和
c3代表权重
。
原始的系数
c1＝
0.4680
，
c2＝
0.2745
，
c3＝
0.2576。
即视频帧的色彩特征分数
S
col
＝
UCIQE。
[0016]步骤
1.2
：计算视频帧模糊分数
S
blu
。
[0017]由于水介质的散射，特别是前向散射的影响，使水下图像严重失真，出现模糊
。
本专利技术利用边缘图像块的对比度指数值来表示水下彩色图像的模糊
。
[0018]寻找边缘图像块的方法是判断边缘像素的数量是否大于一个块中像素总数的设定比例值
。
模糊指数为所有边缘图像块均方根对比度值之和，均方根对比度之和计算公式如式
(2)
所示：
[0019][0020]其中，
H*W
为视频帧的尺寸，
H
是图像像素的高度，
W
是图像像素的宽度，
T
是边缘图像块的个数，
V
(i,j)
是视频帧
V
中处于
(i,j)
位置处的像素值，是所有像素的平均强度
。
视频帧的模糊特征分数
S
blu
＝
...

【技术保护点】

【技术特征摘要】
1.
一种评估水下视频质量的无参考评价方法，其特征在于，包括以下步骤：首先，将水下视频分解成帧，并按帧处理，每一帧即为一张水下图像，对视频帧进行退化特征提取，提取出色偏
、
模糊和雾化这三种退化对应的分数作为视频退化特征；其次，使用预训练的
ResNet50
深度神经网络结合特征注意力机制提取视频帧的语义特征向量，降维后得到视频帧的语义质量分数；然后，将视频退化特征各指标分数进行归一化处理，与语义质量分数进行拼接，得到每一帧的特征向量；最后，使用门循环单元网络捕获视频帧之间的时序信息并进行特征融合，加上时序注意力机制，得到最终的视频质量分数
。2.
根据权利要求1所述的一种评估水下视频质量的无参考评价方法，其特征在于，使用水下彩色质量评价指标
UCIQE
提取视频帧的色彩特征；该指标以色度
、
饱和度和对比度为测量分量，通过线性的方式将测量分量线性组合，量化水下图像的色彩和对比度；
UCIQE
计算公式如下：
UCIQE
＝
c1×
σ
c
+c2×
con
l
+c3×
μ
s
ꢀꢀꢀꢀ
(1)
其中，
σ
c
是视频帧的色度的标准方差，
con
l
是视频帧的亮度的对比度，
μ
s
是视频帧的饱和度的平均值；
c1、c2和
c3代表权重；视频帧色彩分数
S
col
＝
UCIQE。3.
根据权利要求1所述的一种评估水下视频质量的无参考评价方法，其特征在于，使用边缘图像块的对比度指数值表示水下图像的模糊程度，提取出视频帧模糊程度特征；寻找边缘图像块的方法是判断边缘像素的数量是否大于一个块中像素总数的设定比例值；模糊指数为所有边缘图像块均方根对比度值之和，计算公式如下：其中，
Blu(V)
是均方根对比度之和，
H*W
为视频帧的尺寸，
H
是图像像素的高度，
W
是图像像素的宽度，
T
是边缘图像块的个数，
V
(i
，
j)
是视频帧
V
中处于
(i
，
j)
位置处的像素值，是所有像素的平均强度；视频帧的模糊特征分数
S
blu
＝
Blu(V)。4.
根据权利要求1所述的一种评估水下视频质量的无参考评价方法，其特征在于，使用自然图像质量指标
NIQE
衡量水下图像的雾化程度；测试图像的
NIQE
指标表示为从测试图像中提取的
...

【专利技术属性】
技术研发人员：胡凯，蒋瑶，陈彦霖，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：