一种面向高动态范围立体全向视觉系统的质量评价方法技术方案

本发明专利技术涉及一种面向高动态范围立体全向视觉系统的质量评价方法，基于Retinex理论和HSOI处理系统的两层失真模拟流程，设计了一个“无参考”+“半参考”的质量评价方法，无参考模型针对仅有编码失真的HDR图像进行编码失真量化，首先进行本征图像分解，得到照明分量和反射率分量；基于照明分量和反射率分量提取的块效应特征和自然度特征作为特征属性；采用半参考模型对仅有编码失真的HDR图像和TM后的LDR混合失真图像量化TMO的影响，利用色差矩阵提取色彩保真度特征，结合DCT变换和感知哈希提取感知哈希特征；双通道组件则包括融合通道特征和竞争通道特征两部分，利用机器学习将无参考和半参考模型提取的特征向量映射得到性能更佳的客观预测分数。更佳的客观预测分数。更佳的客观预测分数。

【技术实现步骤摘要】
一种面向高动态范围立体全向视觉系统的质量评价方法


[0001]本专利技术涉及图像质量评价
，具体而言，涉及一种面向高动态范围立体全向视觉系统的质量评价方法。

技术介绍

[0002]立体全向视觉内容能提供给用户360
°×
180
°
视场的沉浸感与视点交互。但是因为真实场景的照明范围很大，360
°×
180
°
的视场可能会出现光照不一致。HDR(高动态范围)成像与立体全向成像相结合生成的HSOI(HDR立体全向图像)能够还原真实的场景信息。HSOI处理系统由HSOI生成、编/解码、TM(色调映射)和HMD(头戴式显示设备)可视化等组成，这些过程会引入失真而导致HSOI质量下降。如何建立可靠的客观预测模型来监控HSOIs的质量是一个需要深入探究的课题。
[0003]与HSOI相关的客观质量评价方法类型包括传统2D图像质量评价方法、立体图像质量评价方法、全向图像质量评价方法、立体全向图像质量评价方法和色调映射图像质量评价方法。这些方法在各自图像领域已经发展的较为成熟，一般能获得良好的客观预测效果。针对立体全向图像质量评价，Chen等人提出了一种基于预测编码理论的全参考评价方法，将贝叶斯理论融合到双目效应模拟中。Zhou等人组合投影不变特征、视觉显著性和位置先验，并且创造性的将框架推广到其它投影格式中。Qi等人联合双通道视图进行张量分解，第一子带表示融合，第二子带表示竞争，其它感知特征进行辅助以提升预测性能。Yang等人基于ERP(等矩阵投影)格式，融合多尺度特征、双目感知模型进行建模。针对色调映射图像质量评价，Gu等人采用自然度干扰和结构保持的方法设计了盲色调映射质量指标。Jiang等人对图像进行亮度分割以提取局部信息，利用全局和美学特征予以辅助，设计了一种盲色调映射图像质量评价方法。Kundu等人设计了基于梯度域自然场景统计模型的HDR图像梯度评估器。然而，HSOI包含复杂的感知特性，即全向特性、高动态特性和立体感知特性，上述任何一类客观质量评价方法都无法完全涵盖HSOI的三大特性。因此，将其直接应用于HSOI无法获得与主观感知更加一致的效果，开发更有效的客观质量评价方法来监控HSOI的质量是一个极具挑战性的问题。
[0004]目前还没有关于HSOI视觉体验质量的研究。如何建立HSOI主观数据集，如何建立有效的客观预测模型还是需要深入探索的议题。

技术实现思路

[0005]本专利技术解决的问题是如何提升HSOI客观质量评价与主观感知质量一致性。
[0006]为解决上述问题，本专利技术提供一种面向高动态范围立体全向视觉系统的质量评价方法，包括如下步骤：
[0007]步骤1、建立源图像数据集，所述源图像数据集包括仅有编码失真的HDR图像序列和色调映射处理后的混合失真LDR图像序列；
[0008]步骤2、采用无参考质量评价方法对仅有编码失真的HDR图像序列的左、右视点图
像分别进行本征图像分解得到照明分量和反射率分量；利用照明分量和反射率分量得到左、右视点图像上的块效应特征；利用反射率分量得到左、右视点图像上的自然度特征；
[0009]步骤3、采用半参考质量评价方法从仅有编码失真的HDR图像序列和色调映射后的混合失真LDR图像序列上进行色彩保真度特征提取、感知哈希特征提取、全局PCMF相似度特征提取、前n％显著位特征提取、全局相似度度量提取、直方图欧式距离特征，并对感知哈希特征、全局PCMF相似度特征、前n％显著位特征、全局相似度度量以及直方图欧式距离特征进行视口特征聚合得到感知哈希特征、融合通道特征以及竞争通道特征；
[0010]步骤4、将步骤2和步骤3得到的特征向量输入到随机森林作为可靠的机器学习回归模型完成由特征向量到MOS得分的映射，输出客观预测分数。
[0011]本专利技术的有益效果是：基于etinex理论和HSOI处理系统的两层失真模拟流程，设计了一个“无参考”+“半参考”的质量评价方法，无参考模型针对仅有编码失真的HDR图像进行编码失真量化，首先进行本征图像分解，得到照明分量和反射率分量；基于照明分量和反射率分量提取的块效应特征和自然度特征作为特征属性；采用半参考模型对仅有编码失真的HDR图像和TM后的LDR混合失真图像量化TMO的影响，利用色差矩阵提取色彩保真度特征，结合DCT变换和感知哈希提取感知哈希特征；双通道组件则包括融合通道特征和竞争通道特征两部分，利用机器学习将无参考和半参考模型提取的特征向量映射得到性能更佳的客观预测分数。
[0012]作为优选，所述步骤1中，将HDR图像的左视点图像记为I
hL
，将HDR图像的右视点图像记为I
hR
，将LDR图像的左视点图像记为I
lL
，将LDR图像的右视点图像记为I
lR
。
[0013]作为优选，所述步骤2具体包括：
[0014]步骤201、采用无参考质量评价方法对仅有编码失真的HDR图像序列进行本征图像分解得到左视点图像的照明分量ζ
iL
和反射率分量ζ
rL
；以及右视点图像的照明分量ζ
iR
和反射率分量ζ
rR
；
[0015]步骤202、分别对照明分量ζ
iL
、ζ
iR
和反射率分量ζ
rL
、ζ
rR
进行纹理分割得到平坦区域{ζ
i,fL
,ζ
r,fL
}、{ζ
i,fR
,ζ
r,fR
}和复杂区域{ζ
i,cL
,ζ
r,cL
}、{ζ
i,cR
,ζ
r,cR
}；
[0016]步骤203、计算基于M
×
N的图像块P计算的契比雪夫分数矩阵M
c
和图像块P的JND系数矩阵M
j
；
[0017]步骤204、分别计算照明分量ζ
iL
、ζ
iR
和反射率分量ζ
rL
、ζ
rR
融合平坦区域和复杂区域的块效应矩阵M
iL
、M
iR
、M
rL
和M
rR
；
[0018][0019][0020][0021]步骤205、分别将块效应矩阵M
iL
、M
iR
、M
rL
和M
rR
进行降序排列，并采用前n％显著位特征提取方法从降序后的块效应矩阵M
iL
、M
iR
、M
rL
和M
rR
提取前n％的均值作为最终块效应特征F
ir
，F
ir
＝{f
iL
,f
iR
,f
rL<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向高动态范围立体全向视觉系统的质量评价方法，其特征在于，包括如下步骤：步骤1、建立源图像数据集，所述源图像数据集包括仅有编码失真的HDR图像序列和色调映射处理后的混合失真LDR图像序列；步骤2、采用无参考质量评价方法对仅有编码失真的HDR图像序列的左、右视点图像分别进行本征图像分解得到照明分量和反射率分量；利用照明分量和反射率分量得到左、右视点图像上的块效应特征；利用反射率分量得到左、右视点图像上的自然度特征；步骤3、采用半参考质量评价方法从仅有编码失真的HDR图像序列和色调映射后的混合失真LDR图像序列上进行色彩保真度特征提取、感知哈希特征提取、全局PCMF相似度特征提取、前n％显著位特征提取、全局相似度度量提取、直方图欧式距离特征，并对感知哈希特征、全局PCMF相似度特征、前n％显著位特征、全局相似度度量以及直方图欧式距离特征进行视口特征聚合得到感知哈希特征、视口图像的融合通道特征以及视口图像的竞争通道特征；步骤4、将步骤2和步骤3得到的特征向量输入到随机森林作为可靠的机器学习回归模型完成由特征向量到MOS得分的映射，输出客观预测分数。2.根据权利要求1所述的一种面向高动态范围立体全向视觉系统的质量评价方法，其特征在于，所述步骤1中，将HDR图像的左视点图像记为将HDR图像的右视点图像记为将LDR图像的左视点图像记为I
lL
，将LDR图像的右视点图像记为I
lR
。3.根据权利要求2所述的一种面向高动态范围立体全向视觉系统的质量评价方法，其特征在于，所述步骤2具体包括：步骤201、采用无参考质量评价方法对仅有编码失真的HDR图像序列进行本征图像分解得到左视点图像的照明分量ζ
iL
和反射率分量以及右视点图像的照明分量ζ
iR
和反射率分量步骤202、分别对照明分量ζ
iL
、ζ
iR
和反射率分量进行纹理分割得到平坦区域{ζ
i,fL
,ζ
r,fL
}、{ζ
i,fR
,ζ
r,fR
}和复杂区域{ζ
i,cL
,ζ
r,cL
}、{ζ
i,cR
,ζ
r,cR
}；步骤203、计算基于M
×
N的图像块P计算的契比雪夫分数矩阵M
c
和图像块P的JND系数矩阵M
j
；步骤204、分别计算照明分量ζ
iL
、ζ
iR
和反射率分量融合平坦区域和复杂区域的块效应矩阵M
iL
、M
iR
、M
rL
和和和和
步骤205、分别将块效应矩阵M
iL
、M
iR
、和进行降序排列，并采用前n％显著位特征提取方法从降序后的块效应矩阵M
iL
、M
iR
、和M
rR
提取前n％的均值作为最终块效应特征F
ir
，步骤206、将反射率分量由RGB空间转换到拮抗颜色通道rg
‑
by；求取每个拮抗颜色通道的均值μ和标准差σ；其中：均值μ通过高斯函数拟合得到；标准差σ通过Beta函数拟合得到；并求取联合概率分布N：N＝(1/K)P
m
P
d
,K＝max(P
m
,P
d
)；从两个拮抗颜色通道的函数拟合结果和N得到左、右视点图像上的自然度特征F
n
＝{f
nL
,f
nR
}。4.根据权利要求3所述的一种面向高动态范围立体全向视觉系统的质量评价方法，其特征在于，所述步骤3具体包括：步骤301、色彩保真度特征提取，包括：将I
hL
和I
lL
从RGB空间转换到Lab空间，执行去均值归一化操作，并求取I
hL
和I
lL
在对应像素点处的色差值组成矩阵ΔE
00L
；求取ΔE
00L
的二阶矩方差ρ
cL
、三阶矩偏度s
cL
、四阶矩峰度k
cL
作为左视点图像上的色彩保真度特征将I
hR
和I
lR
从RGB空间转换到Lab空间，执行去均值归一化操作，并求取I
hR
和I
lR
在对应像素点处的色差值组成矩阵ΔE
00R
；求取ΔE
00R
的二阶矩方差ρ
cR
、三阶矩偏度s
cR
、四阶矩峰度k
cR
作为右视点图像上的色彩保真度特征f
cR
；色彩保真度特征F
c
＝{f
cL
,f
cR
}；步骤302、视口采样；分别对I
hL
和I
lL
、I
hR
和I
lR
进行视口采样，得到视口图像V
hL
、V
lL
、V
hR
和V
lR
；视口采样的视口为I＝{I
E
,I
B
}，其中I
E
表示赤道区域，I
B
表示两极区域，在I
E
中以等角度间隔均匀采样M个视口，角度设置为2π/M，I
B
包括南北两极，对于I
B
，选择其对应的双目乘积显著图S
LR
中像素值最大的点作为视口中心点，总视口个数为M+2；所述双目乘积显著图S
LR
的求取步骤包括：计算I
lL
和I
lR
的左、右平面显著图S
LR
，双目乘积显著图S
LR
为经过视差匹配后的相关性度量：S
LR
(i,j)＝S
L
(i,j)
·
S
R
((i,j)+d
i,j
)式中，d
i,j
表示在像素(i,j)处的S
L
和S
R
的水平视差，视差匹配采用光流法计算得到；步骤303、感知哈希特征提取，包括：对视口图像进行基于5
×
5图像块的DCT变换，得到交流分量的低频子带LF、中频子带MF和高频子带HF，将低频子带LF、中频子带MF和高频子带HF中大于或等于频带均值ε
F
的频带赋值为1，将低频子带LF、中频子带MF和高频子带HF中小于频带均值ε
F
的频带赋值为0；以B
lL
表示V
lL
其中一个图像块，对应的低频子带LF的二进制指纹码表示为H
lL,LF
；中频子带MF的二进制指纹码表示为H
lL,MF
；高频子带HF的二进制指纹码表示为H
lL,HF
；以B
hL
表示V
hL
其
中一个图像块；对应的低频子带LF的二进制指纹码表示为H
hL,LF
；中频带MF的二进制指纹码表示为H
hL,MF
；高频子带HF的二进制指纹码表示为H
hL,HF
；以B
lR
表示V
lR

【专利技术属性】
技术研发人员：曹刘燕，蒋刚毅，郁梅，
申请(专利权)人：宁波大学，
类型：发明
国别省市：