立体全景图像的质量评价方法、系统技术方案

本发明专利技术适用图像处理技术领域，提供了一种立体全景图像的质量评价方法、系统，该方法包括：采用尺度不变特征变换算法提取立体全景图像的投影不变性特征；对立体全景图像进行基于显著性的质量特征检测，提取立体全景图像的显著性质量特征；对投影不变性特征和显著性质量特征进行融合，计算立体全景图像的质量分数；根据质量分数对立体全景图像进行质量评价。由于利用投影不变性特征，并考虑用户在观看立体全景图像时的视觉偏好而提取了显著性特征，最后进行特征融合得到最终的质量评价方法，将本发明专利技术扩展到任意投影格式的立体全景图像，并实现立体全景图像全盘考虑，实际解决了对立体全景图像进行质量评价时导致主客观评价对象不一致的技术问题。一致的技术问题。一致的技术问题。

【技术实现步骤摘要】
立体全景图像的质量评价方法、系统


[0001]本专利技术属于图像处理
，尤其涉及一种立体全景图像的质量评价方法、系统。

技术介绍

[0002]随着超高清、虚拟现实(VR)、3D视频等多媒体技术的快速发展，多媒体数据以指数型方式增长，给数据存储和传输带来了巨大的挑战。在处理图像的过程中囿于硬件条件和环境因素的限制、处理方法的选择会造成图像质量不可避免的损失，从而严重影响人们的视觉感知效果。全球5G网络步入商用，制约虚拟现实的宽带和时延问题得以解决，伴随VR技术以及相应硬件设备的普及，VR/AR头显设备出货量强劲增长，硬件、软件、服务融合的盈利商业模式不断成熟，虚拟现实广泛的应用于休闲娱乐、商业服务、医疗健康、直播等方方面面，人们对于立体、沉浸式的信息交互方式的需求促使VR内容制作者们提供更好的用户体验。为了降低人类视觉的图像感知质量损失，需要量化图像质量的退化程度，以便在处理过程中对图像质量进行保持、控制或增强。因此，建立有效的图像质量评价机制具有重要的研究意义。
[0003]由于立体全景图像在图像获取、拼接、投影变换、逆投影变换、后期处理、渲染和显示的过程中有着与传统图像截然不同的特性，主要有不同的投影格式以及图像的失真在投影前后可能发生变化；可以提供3维深度信息；观看方式由裸眼观看转变成为佩戴头戴显示设备(Head Mounted Display，HMD)而导致的主客观评价对象的不一致；无限的观看视野使得人们对图像内容的感知程度不同。
[0004]现有方法中，通常是基于视窗图像进行质量评价，而针对立体全景图像，则是将立体和全景分而治之，根据立体和全景的特性分别设计相应的计算模型提取图像的特征，最后采用回归的机器学习方法，比如支持向量回归和随机森林等进行融合，是一种无参考的评价方法。
[0005]然而，视窗图像的视野过大则会造成一定的投影失真，并且直接通过视窗采样的方式总是会遗漏整幅图像的部分信息从而影响整幅立体全景图像的质量评价；而将立体全景图像分开考虑提取不同的特征缺乏对立体全景图像的全盘考虑，即在考虑全景特性的时候没有基于立体特性，其作为一个独立的整体通过HMD展现在人眼前的主要视觉特征没有被充分挖掘。并且直接在投影之后的平面图像上进行质量评价而主观测试者实际看到的图像是视窗图像，所以会导致主客观评价对象的不一致。

技术实现思路

[0006]本专利技术的目的在于提供一种立体全景图像的质量评价方法、系统，旨在解决现有技术中对立体全景图像进行质量评价时导致主客观评价对象的不一致的技术问题。
[0007]第一方面，本专利技术提供了一种立体全景图像的质量评价方法，应用于电子设备，包括：
[0008]采用尺度不变特征变换算法提取立体全景图像的投影不变性特征；
[0009]对所述立体全景图像进行基于显著性的质量特征检测，提取所述立体全景图像的显著性质量特征；
[0010]对所述投影不变性特征和所述显著性质量特征进行融合，计算所述立体全景图像的质量分数；
[0011]根据所述质量分数对所述立体全景图像进行质量评价。
[0012]可选的，所述采用尺度不变特征变换算法提取立体全景图像的投影不变性特征的步骤包括：
[0013]针对所述立体全景图像的原始图像和失真图像，获取所述原始图像和所述失真图像的左视图、右视图；
[0014]采用尺度不变特征变换算法分别提取所述原始图像和所述失真图像左视图、右视图的特征点；
[0015]根据所述特征点计算所述立体全景图像的投影不变性特征分数。
[0016]可选的，所述投影不变性特征分数包括单目质量特征分数，所述根据所述特征点计算所述立体全景图像的投影不变性特征分数的步骤包括：
[0017]根据各特征点在所述原始图像和所述失真图像之间相应视图上的坐标位置，形成稳定特征点集合；
[0018]根据所述稳定特征点集合计算所述立体全景图像的单目质量特征分数。
[0019]可选的，所述根据所述稳定特征点集合计算所述立体全景图像的单目质量特征分数的计算公式包括：
[0020][0021]其中，分别表示根据原始图像的左视图失真图像的左视图原始图像的右视图失真图形的右视图形成的稳定特征点集合；Num()表示稳定特征点集合里的特征点数量。
[0022]可选的，所述投影不变性特征分数包括双目质量特征分数，所述根据所述特征点计算所述立体全景图像的投影不变性特征分数的步骤包括：
[0023]针对所述立体全景图像的原始图像和所述失真图像，对所述原始图像和所述失真图像的左右视图分别进行特征点匹配操作，形成匹配特征点集合；
[0024]根据所述匹配特征点集合计算所述立体全景图像的双目质量特征分数。
[0025]可选的，所述根据所述匹配特征点集合，计算所述立体全景图像的双目质量特征分数的计算公式包括：
[0026][0027]其中，S
′
代表RANSAC算法操作，M
D
∩M
R
表示失真图像匹配点对和原始图像匹配点对的交集，Num(S
′
(M
D
∩M
R
))代表经过RANSAC算法操作后剩下的匹配点对数量。
[0028]可选的，所述对所述立体全景图像进行基于显著性的质量特征检测，提取所述立
体全景图像的显著性质量特征的步骤包括：
[0029]将所述立体全景图像从RGB空间转换到对立色彩空间；
[0030]从所述对立色彩空间中分别计算所述立体全景图像的对比度、色度、显著性；
[0031]根据所述对比度、色度、显著性计算所述立体全景图像的显著性质量特征分数。
[0032]可选的，所述对所述投影不变性特征和所述显著性质量特征进行融合的计算公式如下：
[0033][0034]其中，λ，μ是参数，分别设置为λ＝0.9，μ＝0.1。
[0035]第二方面，本专利技术提供了一种立体全景图像的质量评价系统，包括：
[0036]投影不变性特征提取模块，用于采用尺度不变特征变换算法提取立体全景图像的投影不变性特征；
[0037]显著性特征提取模块，对立体全景图像进行基于显著性的质量特征检测，提取立体全景图像的显著性质量特征；
[0038]特征融合模块，对对投影不变性特征和显著性质量特征进行融合，计算立体全景图像的质量分数；
[0039]质量评价模块，对根据质量分数对立体全景图像进行质量评价。
[0040]第三方面，本专利技术还提供了一种电子设备，包括：
[0041]处理器；以及
[0042]与所述处理器通讯连接的存储器；其中，
[0043]所述存储器存储有可读性指令，所述可读性指令被所述处理器执行时实现如第一方面所述的方法。
[0044]第四方面，本专利技术提供了一种计算机可读性存储介质，其上存储有计算机程序，所述计算机程序在被执行时实现如第一方面的方法。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种立体全景图像的质量评价方法，其特征在于，所述方法包括：采用尺度不变特征变换算法提取立体全景图像的投影不变性特征；对所述立体全景图像进行基于显著性的质量特征检测，提取所述立体全景图像的显著性质量特征；对所述投影不变性特征和所述显著性质量特征进行融合，计算所述立体全景图像的质量分数；根据所述质量分数对所述立体全景图像进行质量评价。2.如权利要求1所述的方法，其特征在于，所述采用尺度不变特征变换算法提取立体全景图像的投影不变性特征的步骤包括：针对所述立体全景图像的原始图像和失真图像，获取所述原始图像和所述失真图像的左视图、右视图；采用尺度不变特征变换算法分别提取所述原始图像和所述失真图像左视图、右视图的特征点；根据所述特征点计算所述立体全景图像的投影不变性特征分数。3.如权利要求2所述的方法，其特征在于，所述投影不变性特征分数包括单目质量特征分数，所述根据所述特征点计算所述立体全景图像的投影不变性特征分数的步骤包括：根据各特征点在所述原始图像和所述失真图像之间相应视图上的坐标位置，形成稳定特征点集合；根据所述稳定特征点集合计算所述立体全景图像的单目质量特征分数。4.如权利要求3所述的方法，其特征在于，所述根据所述稳定特征点集合计算所述立体全景图像的单目质量特征分数的计算公式包括：其中，分别表示根据原始图像的左视图失真图像的左视图原始图像的右视图失真图形的右视图形成的稳定特征点集合；Num()表示稳定特征点集合里的特征点数量。5.如权利要求2所述的方法，其特征在于，所述投影不变性特征分数包括双目质量特征分数，所述根据所述特征点计算所述立体全景图像的投影不变性特征分数的步骤包括：针对所述立体全景图像的原始图像和所述失真图像，对所述原始图像和所述失真图像...

【专利技术属性】
技术研发人员：周雪梅，张云，李娜，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：