一种全景图像质量评价方法技术

本发明专利技术公开了一种全景图像质量评价方法，包括：以视口图像作为网络输入，在模型搭建过程中，以Resnet34作为主干网络，对六个不同空间位置的视口进行了有效的信息融合；辅助网络模拟人眼只关注感兴趣的内容，利用显著图搭建显著内容特征提取网络对全局特征进行加权。在质量回归部分，利用特征图生成相应的权重和偏置，对特征向量进行融合得到全景图像预测质量分数。本发明专利技术充分考虑到视口显著内容特性对于人眼视觉质量感知的影响，从而提高了全景图像质量预测的性能；使用高维特征图生成相应的权重和偏置用于图像质量的回归，进一步提高了全景图像质量预测准确度。景图像质量预测准确度。景图像质量预测准确度。

【技术实现步骤摘要】
一种全景图像质量评价方法


[0001]本专利技术属于图像处理
，特别是涉及一种全景图像质量评价方法。

技术介绍

[0002]360
°
全景图片是通过对专业相机捕捉整个场景的图像信息，使用软件对拍摄到的各个方向的图片进行拼接，用户使用专业的头戴式设备就能体验360
°
的全景景观，它是虚拟现实
的一个方面，把二维的平面图片模拟成真实的三维空间，360
°
全景图片技术不同于文字，图片和视频，它是一种新的信息传输媒介，用户可以任意旋转视角观察图片场景，给人真实感与沉浸感。360
°
全景图片在拍摄，图片拼接，压缩和传输过程中会产生失真，影响用户的体验质量。图像质量评价(IQA)在用户质量体验过程中起到重要作用，评价分数越高，图片质量越好，用户体验感越强。
[0003]传统的平面图像质量评价分为主观质量评价和客观质量评价，主观质量评价的主体是用户，用户给图片质量打分，主观质量评价的结果直接反映人的体验质量。客观质量评价的主体是机器，机器自动给图片打分，主观质量评价费时费力，发展客观质量评价至关重要。客观质量评价分为全参考质量评价，半参考质量评价和无参考质量评价，三者的主要区别是对参考图片的利用程度。无参考质量评价由于不需要参考图片任何信息受到广泛关注，图片在获取，压缩和传输等过程中会产生失真，真实图片往往很难获得，发展无参考图像质量评价至关重要。
[0004]360
°
全景图像质量评估不同于传统的平面图像质量评价，它存在以下几个方面的难点：1、360
°
全景图像需要从球面映射到平面上，球面两极上的内容映射后会产生几何扭曲。2、用户需要借用头戴式设备才能观看360
°
全景图像，人在旋转视角观察360
°
全景图像时，由于设备的视角和分辨率的限制，会产生眩晕等不舒适感。目前360
°
的图像质量评价主要研究主流的压缩格式如jpg对图片质量的影响。深度学习利用深度神经网络模拟人类进行模式识别，其端到端的学习方式相比于传统的手动提取特征的方法往往具有更强大的特征学习能力和表达能力，在计算机视觉领域如内容识别，边缘提取和图像检索等方面都取得了显著的效果。360
°
全景图像的投影方式有ERP、CMP、SSP等，本专利技术利用深度学习提供了一种基于CMP投影方式的新的360
°
全景图像的质量评价方法。

技术实现思路

[0005]本专利技术的目的是提供一种全景图像质量评价方法，以解决上述现有技术存在的问题。
[0006]为实现上述目的，本专利技术提供了一种全景图像质量评价方法，包括：
[0007]获取全景图像，将所述全景图像转换为对应的视口图像，提取视口图像对应的显著图；
[0008]对所述视口图像进行特征提取，获得对应的多层维度特征向量与高维特征；对所述显著图进行特征提取，获得显著内容区域特征；
[0009]基于所述高维特征与所述显著内容区域特征获得第二高维特征，所述第二高维特征进行平均池化后获得第二高维特征向量，基于所述第二高维特征获得视口总特征；
[0010]所述第二高维特征向量与所述多层维度特征向量拼接获得视口总特征向量；
[0011]基于所述视口总特征与权重生成网络获得权重值与偏置值；
[0012]基于所述视口总特征向量与所述权重值与所述偏置值获得感知质量分数。
[0013]可选的，将所述全景图像转换为球体结构下的六个视口图像，以固定角度值为基准，提取多组视口图像。
[0014]可选的，视口总特征向量的获取过程包括：所述第二高维特征向量的数量与所述视口图像的数量一致，将第二高维特征向量分别与所述多层维度特征向量进行拼接，获得第三高维特征向量，第三高维特征与所述视口图像的数量一致，再将六个视口的第三高维特征向量进行拼接获得视口总特征向量。
[0015]可选的，所述多层维度特征向量的获取过程包括：构建多维度特征提取网络，通过主干网络获得多层特征图，将多层特征图输入多维度特征提取网络中，通过二维卷积和平均池化降维后，拉平成向量，再通过全连接层处理获得多层维度特征向量；其中，所述多维度特征提取网络包括三种结构，输出三个多层维度特征向量，所述主干网络为Resnet34。
[0016]可选的，所述权重值与偏置值的获取过程包括：将所述视口总特征输入四个不同的权重生成网络，分别获得四个权重值与偏置值，四个权重生成网络中均包括二维卷积层、平均池化层与全连接层；第五个权重值及偏置值均为视口总特征依次通过平均池化层与全连接层获得；其中，每个权重生成网络的二维卷积层、全连接层的设计均不相同。
[0017]可选的，基于权重值与偏置值构建五个全连接层，所述视口总特征向量连续经过五个连接层后获得所述感知质量分数，其中，所述权重值与偏置值分别作为全连接层的权重和偏置。
[0018]可选的，所述显著图与所述视口图像在进行特征提取前，还进行图像维度调整。本专利技术的技术效果为：
[0019]本专利技术所提出的360
°
全景图像质量评价方法以CMP格式的六个视口图像作为网络输入，更加贴合人眼观看时的视觉感知效果。在此基础上，以Resnet34为基础网络搭建整体网络架构。主干网络中，除了使用网络最后一层的高维信息外，本专利技术还融合了网络的多个维度的信息。本专利技术还考虑到人眼只观看图片的显著区域，人在处理复杂的图片内容信息时，往往观察感兴趣的内容如人物，而忽略其它不重要的信息，对视口的显著图提取显著内容特征与主干网络的高维特征进行融合得到加权后的特征。除此之外，本专利技术使用高维特征图生成相应的Weight和Bias用于图像质量的回归，从而进一步提高了全景图像质量预测准确度。
附图说明
[0020]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0021]图1为本专利技术实施例中的360
°
全景图像的投影原理图，图a为360
°
全景图像投影原理，图b为360
°
图像的CMP投影；
[0022]图2为本专利技术实施例中的360
°
全景图像质量评价方法流程图；
[0023]图3为本专利技术实施例中的360
°
全景图像质量算法的网络结构图；
[0024]图4为本专利技术实施例中的空间显著内容提取网络；
[0025]图5为本专利技术实施例中的多维度特征提取网络MS示意图；
[0026]图6为本专利技术实施例中的Resnet34网络结构图；
[0027]图7为本专利技术实施例中的权重生成网络。
具体实施方式
[0028]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景图像质量评价方法，其特征在于，包括以下步骤：获取全景图像，将所述全景图像转换为对应的视口图像，提取视口图像对应的显著图；对所述视口图像进行特征提取，获得对应的多层维度特征向量与高维特征；对所述显著图进行特征提取，获得显著内容区域特征；基于所述高维特征与所述显著内容区域特征获得第二高维特征，所述第二高维特征进行平均池化后获得第二高维特征向量，基于所述第二高维特征获得视口总特征；所述第二高维特征向量与所述多层维度特征向量拼接获得视口总特征向量；基于所述视口总特征通过权重生成网络获得权重值与偏置值；基于所述视口总特征向量与所述权重值与所述偏置值获得感知质量分数。2.根据权利要求1所述的全景图像质量评价方法，其特征在于，将所述全景图像转换为球体结构下的六个视口图像，以固定角度值为基准，提取多组视口图像。3.根据权利要求2所述的全景图像质量评价方法，其特征在于，视口总特征向量的获取过程包括：所述第二高维特征向量的数量与所述视口图像的数量一致，将第二高维特征向量分别与所述多层维度特征向量进行拼接，获得第三高维特征向量，第三高维特征与所述视口图像的数量一致，再将第三高维特征向量进行拼接获得视口总特征向量。4.根据权利要求1所述的全景图像质量评价方法，其特征在...

【专利技术属性】
技术研发人员：张友志，刘德阳，万立飞，张璐，毛逸凡，
申请(专利权)人：安庆师范大学，
类型：发明
国别省市：