【技术实现步骤摘要】
本专利技术涉及机计算机视觉和多媒体数字图像处理，特别涉及一种多任务驱动的真实失真全景图像盲质量评价方法与系统。
技术介绍
1、虚拟现实以提供模拟环境为特性，通过头戴式显示器使用户能够在沉浸式体验中自由地享受各种内容。全景图像作为虚拟现实视觉呈现的重要媒介，在获取、传输、处理、存储等过程中可能会出现质量降低的情况。全景图像的质量下降不仅极大地降低了最终用户的体验质量，还影响了全景图像的可用性。准确评估全景图像的质量对于算法优化和系统优化至关重要。全景图像质量评估包括主观和客观质量评估，其中前者指的是进行心理物理实验，研究各种视觉因素的影响并建立不同客观模型的基准。现有的vr图像客观评价方法主要有全参考vr图像质量评价方法和无参考vr图像质量评价方法。前两种方法利用完整或部分参考信息评估全景图像的质量，而无参考全景图像质量评估可以在没有参考信息的情况下使用。由于获取原始图像的难度，无参考全景图像质量评估方法在实际应用中更为实用。
2、目前，全景图像质量评价数据库大多数为均匀失真的全景图像。真实世界中，全景图像不仅在压缩，传输和显示的过程中会不可避免的产生均匀失真，而且在采集和拼接处理过程中会引入非均匀失真，这种局部区域的降质对比周围区域更明显，甚至严重影响用户整体沉浸式体验。基于均匀失真的全景图像质量评价算法在处理非均匀失真全景图像时，其评价结果并不符合用户真实评价。此外，多数均匀失真图像质量评价算法对常见的压缩、模糊和噪声失真效果不错，对于全景图像中特有的拼接失真表现不佳。但鲁棒性强的全景图像客观质量评价算法能有效的评
技术实现思路
1、鉴于上述状况，本专利技术的主要目的是为了提出一种多任务驱动的真实失真全景图像盲质量评价方法与系统，以解决上述技术问题。
2、本专利技术提出了一种多任务驱动的真实失真全景图像盲质量评价方法，所述方法包括如下步骤：
3、s1、获取真实失真全景图像，并从真实失真全景图像中获取视口序列图像，对视口序列图像进行图像预处理，获得不同的视口图像；
4、s2、基于自注意力机制构建特征提取网络，将视口图像通过不同层级的特征提取网络，提取不同阶段视口图像的质量感知特征；
5、s3、利用不同阶段表征不同质量感知尺度的质量感知特征构建多尺度特征选择器，通过多尺度特征选择器选择任务性质相应层级的质量感知尺度特征；
6、s4、根据任务性质，将任务性质相应层级的质量感知尺度特征进行质量分数预测任务操作和失真范围预测任务操作，以分别得到预测质量分数和预测失真范围。
7、本专利技术还提出一种多任务驱动的真实失真全景图像盲质量评价系统，其中，所述系统应用如上所述的多任务驱动的真实失真全景图像盲质量评价方法，所述系统包括：
8、骨干网络，用于：
9、获取真实失真全景图像，并从真实失真全景图像中获取视口序列图像，对视口序列图像进行图像预处理，获得不同的视口图像；
10、基于自注意力机制构建特征提取网络，将视口图像通过不同层级的特征提取网络，提取不同阶段视口图像的质量感知特征；
11、自适应特征融合网络，用于：
12、利用不同阶段表征不同质量感知尺度的质量感知特征构建多尺度特征选择器，通过多尺度特征选择器选择任务性质相应层级的质量感知尺度特征；
13、质量分数预测网络，用于：
14、根据任务性质，将任务性质相应层级的质量感知尺度特征进行质量分数预测任务操作，得到预测质量分数；
15、失真范围预测网络，用于：
16、根据任务性质，将任务性质相应层级的质量感知尺度特征进行失真范围预测任务操作，得到预测失真范围。
17、相较于现有技术，本专利技术的有益效果如下：
18、1、基于邻域自注意力机捕获质量感知特征，获取对真实失真特征敏感的信息内容，引导模型区分不同类型的真实失真，增强特征的可辨别性；
19、2、对多尺度真实失真信息进行聚合，以增强特征表示并提高特征对图像质量在不同感知尺度上的敏感性，并采用深层语义以增强特征表示，增强多尺度质量感知信息的抽象感知程度，提高后续预测的准确性；
20、3、设计多尺度特征选择器和视口特征选择器，采用多尺度特征选择器以基于任务性质选择相应层级的质量特征适应不同的视觉任务，以实现多任务并行处理，视口特征选择器则以动态调整特征之间的权重并过滤冗余特征，提高模型在复杂失真环境下的鲁棒性和泛化能力；
21、4、以文本模板的方式生成质量描述，提供更加丰富的语义层级的质量评估，有利于该项技术在工业环境下有效应用。
22、本专利技术的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实施例了解到。
本文档来自技高网...【技术保护点】
1.一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，在所述步骤S1中，对视口序列图像进行图像预处理的方法具体包括如下步骤：
3.根据权利要求2所述的一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，在所述步骤S2中，基于自注意力机制构建特征提取网络，将视口图像通过不同层级的特征提取网络，提取不同阶段视口图像的质量感知特征的方法具体包括如下步骤：
4.根据权利要求2所述的一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，在所述步骤S3中，利用不同阶段表征不同质量感知尺度的质量感知特征构建多尺度特征选择器，通过多尺度特征选择器选择任务性质相应层级的质量感知尺度特征的方法具体包括如下步骤：
5.根据权利要求2所述的一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，在所述步骤S4中，根据任务性质，将任务性质相应层级的质量感知尺度特征进行质量分数预测任务操作，得到预测质量分数的方法具体包括如下步
6.根据权利要求5所述的一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，将相关视口特征进行质量分数预测操作，以得到预测质量分数的方法具体包括如下步骤：
7.根据权利要求6所述的一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，在所述步骤S4中，根据任务性质，将任务性质相应层级的质量感知尺度特征进行失真范围预测任务操作，得到预测失真范围的方法具体包括如下步骤：
8.根据权利要求7所述的一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，在执行上述步骤S1至步骤S4中，对应的训练方法包括如下步骤：
9.一种多任务驱动的真实失真全景图像盲质量评价系统，其特征在于，所述系统应用如权利要求1至8任意一项所述的一种多任务驱动的真实失真全景图像盲质量评价方法，所述系统包括：
...【技术特征摘要】
1.一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，在所述步骤s1中，对视口序列图像进行图像预处理的方法具体包括如下步骤：
3.根据权利要求2所述的一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，在所述步骤s2中，基于自注意力机制构建特征提取网络，将视口图像通过不同层级的特征提取网络，提取不同阶段视口图像的质量感知特征的方法具体包括如下步骤：
4.根据权利要求2所述的一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，在所述步骤s3中，利用不同阶段表征不同质量感知尺度的质量感知特征构建多尺度特征选择器，通过多尺度特征选择器选择任务性质相应层级的质量感知尺度特征的方法具体包括如下步骤：
5.根据权利要求2所述的一种多任务驱动的真实失真全景图像盲质量评价方法，其特征在于，在所述步骤...
【专利技术属性】
技术研发人员：鄢杰斌，谭淄文，吴康诚，方玉明，蔡超，夏雪，刘传林，
申请(专利权)人：江西财经大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。