基于显著性加权的无参考全景图像质量评价方法技术

一种基于显著性加权的无参考全景图像质量评价方法，由选择数据集、图像预处理、构建SW

【技术实现步骤摘要】
基于显著性加权的无参考全景图像质量评价方法


[0001]本专利技术属于图像处理
，具体涉及到无参考全景图像质量评价方法。

技术介绍

[0002]图像质量评价即使用计算机模拟人眼对图像的感知质量进行评估。从人眼观察图像的习惯特点出发，构建网络模型往往能取得与主观感知一致性较高的结果，合理考虑人眼视觉系统特性是图像质量评价问题的重要突破口。
[0003]在使用虚拟现实设备观察全景图像时，视觉内容首先由3D球坐标中的球体表示，然后被渲染为与球体相切的平面段，该平面段称为视口。视口的生成就是模拟人眼在虚拟现实中的观察行为，相较于全景图像的默认投影格式等矩形投影，视口更符合人眼的感知过程。由于人眼无法同时关注所有视口图像，因此依据视口对人眼的吸引程度进行不同处理极有必要。

技术实现思路

[0004]本专利技术所要解决的技术问题在于克服上述现有技术的缺点，提供一种符合人眼视觉系统特性、与主观评价一致、效率高的基于显著性加权的无参考全景图像质量评价方法。
[0005]解决上述技术问题所采用的技术方案是由下述步骤组成：
[0006](1)选择数据集
[0007]将全景图像质量评价数据集中的全景图像以8：2分为训练集、测试集，训练集与测试集之间没有重叠。
[0008](2)图像预处理
[0009]通过立方体投影，将训练集和测试集的全景图像映射得到前、后、左、右、上、下六张视口图像。
[0010](3)构建SW
‑
PIQA网络
[0011]SW
‑
PIQA网络由特征提取模块1与显著性加权模块2并联后与质量回归模块3串联构成。
[0012]所述的显著性加权模块2由显著性模块与权重分配模块串联构成。
[0013]所述的质量回归模块3由加权模块与回归模块串联构成。
[0014](4)训练SW
‑
PIQA网络
[0015]1)构建损失函数
[0016]按下式构建损失函数Loss：
[0017][0018]其中，M为测试集的数量，sp
j
为全景图像的预测质量分数，st
j
为全景图像的真实质量分数。
[0019]2)训练SW
‑
PIQA网络
[0020]软件条件为Centos7.5操作系统，基于pytorch1.7.0框架，将训练集输入到SW
‑
PIQA网络进行训练，训练参数学习率为0.0001，平滑系数alpha为0.9，批处理量为16，训练轮数为25，训练至损失函数收敛。
[0021](5)测试SW
‑
PIQA网络
[0022]将测试集输入到训练后的SW
‑
PIQA网络中，得到全景图像的预测图像质量分数。
[0023]在本专利技术的步骤(3)构建SW
‑
PIQA网络中，所述的特征提取模块1由六条ResNet34卷积神经网络并联构成，六条ResNet34卷积神经网络分别提取前、后、左、右、上、下六张视口图像的特征Σ
n
如下：
[0024][0025]其中，特征的维度为512，ε
n
为7
×
7的矩阵，n∈{1,2,
…
,6}。
[0026]在本专利技术的步骤(3)构建SW
‑
PIQA网络中，所述的回归模块由全连接层fc1与全连接层fc2、全连接层fc3、全连接层fc4、全连接层fc5、全连接层fc6相互并联后，再与全连接层fc7串联构成，全连接层fc1、全连接层fc2、全连接层fc3、全连接层fc4、全连接层fc5、全连接层fc6的输入为512，输出为10；全连接层fc7的输入为60、输出为1。
[0027]在本专利技术的步骤(3)构建SW
‑
PIQA网络中，所述的显著性模块的构建方法如下：
[0028]按下式确定视口图像中每个像素点的显著性值s
k
：
[0029][0030]其中，N1为像素点k的子区域的像素点数量，N2为像素点k的子区域邻域的像素点数量，N1和N2为有限的正整数，v
p
为子区域中像素点对应的特征向量，v
q
为子区域邻域中像素点对应的特征向量，D[
·
]表示子区域的平均特征向量和子区域邻域的平均特征向量之间的距离度量。
[0031]在本专利技术的步骤(3)构建SW
‑
PIQA网络中，所述的显著性模块的构建方法如下：
[0032]按下式确定视口图像中每个像素点的显著性值s
k
：
[0033][0034]其中，I
k
为视口图像中像素点k的像素值，I
i
为视口图像中像素点i的像素值，N为视口图像中的像素点数量，N为有限的正整数，||
·
||为欧式距离。
[0035]在本专利技术的步骤(3)构建SW
‑
PIQA网络中，所述的显著性模块的构建方法如下：
[0036]按下式确定视口图像中每个像素点的显著性值s
k
：
[0037]s
k
＝||I
μ
‑
I
ωk
||
[0038]其中，I
μ
为视口图像的全局平均像素值，I
ωk
为高斯滤波后的视口图像中像素点k的像素值。
[0039]在本专利技术的步骤(3)构建SW
‑
PIQA网络中，所述的显著性模块的构建方法如下：
[0040]按下式确定视口图像中每个像素点的显著性值s
k
：
[0041][0042]其中，c为像素点k的颜色值，r为颜色总数，f
l
为颜色c
l
在图像中出现的概率，DC[c,
c
l
]代表图像中颜色值c与c
l
之间的颜色距离度量。
[0043]在本专利技术的步骤(3)构建SW
‑
PIQA网络中，所述的权重分配模块的构建方法如下：
[0044]按下式确定六张视口图像的权重w
n
：
[0045][0046][0047]其中，S
n
分别表示第n张视口图像的显著性总值，表示第n张视口图像中像素点k的显著性值；输出权重w
n
，构建成权重分配模块。
[0048]在本专利技术的步骤(3)构建SW
‑
PIQA网络中，所述的加权模块的构建方法如下：
[0049]按下式确定视口图像的加权特征E
n
：
[0050]E
n
＝Σ
n
⊙
w
n
[0051]其中，
⊙
表示点乘，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于显著性加权的无参考全景图像质量评价方法，其特征在于由下述步骤组成：(1)选择数据集将全景图像质量评价数据集中的全景图像以8：2分为训练集、测试集，训练集与测试集之间没有重叠；(2)图像预处理通过立方体投影，将训练集和测试集的全景图像映射得到前、后、左、右、上、下六张视口图像；(3)构建SW
‑
PIQA网络SW
‑
PIQA网络由特征提取模块1与显著性加权模块2并联后与质量回归模块3串联构成；所述的显著性加权模块2由显著性模块与权重分配模块串联构成；所述的质量回归模块3由加权模块与回归模块串联构成；(4)训练SW
‑
PIQA网络1)构建损失函数按下式构建损失函数Loss：其中，M为测试集的数量，sp
j
为全景图像的预测质量分数，st
j
为全景图像的真实质量分数；2)训练SW
‑
PIQA网络软件条件为Centos7.5操作系统，基于pytorch1.7.0框架，将训练集输入到SW
‑
PIQA网络进行训练，训练参数学习率为0.0001，平滑系数alpha为0.9，批处理量为16，训练轮数为25，训练至损失函数收敛；(5)测试SW
‑
PIQA网络将测试集输入到训练后的SW
‑
PIQA网络中，得到全景图像的预测图像质量分数。2.根据权利要求1所述的基于显著性加权的无参考全景图像质量评价方法，其特征在于：在步骤(3)构建SW
‑
PIQA网络中，所述的特征提取模块1由六条ResNet34卷积神经网络并联构成，六条ResNet34卷积神经网络分别提取前、后、左、右、上、下六张视口图像的特征Σ
n
如下：其中，特征的维度为512，ε
n
为7
×
7的矩阵，n∈{1,2,
…
,6}。3.根据权利要求1所述的基于显著性加权的无参考全景图像质量评价方法，其特征在于在步骤(3)构建SW
‑
PIQA网络中，所述的回归模块由全连接层fc1与全连接层fc2、全连接层fc3、全连接层fc4、全连接层fc5、全连接层fc6相互并联后，再与全连接层fc7串联构成，全连接层fc1、全连接层fc2、全连接层fc3、全连接层fc4、全连接层fc5、全连接层fc6的输入为512，输出为10；全连接层fc7的输入为60、输出为1。4.根据权利要求1所述的基于显著性加权的无参考全景图像质量评价方法，其特征在于在步骤(3)构建SW
‑
PIQA网络中，所述的显著性模块的构建方法如下：
按下式确定视口图像中每个像素点的显著性值s
k
：其中，N1为像素点k的子区域的像素点数量，N2为像素点k的子区域邻域的像素点数量，N1和N2为有限的正整数，...

【专利技术属性】
技术研发人员：艾达，白岩松，鹿明月，胥策，艾宇，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：