【技术实现步骤摘要】
本专利技术涉及计算机视觉和多媒体数字图像处理，特别涉及一种基于层级移动窗口注意力的全景图像质量评价方法与系统。
技术介绍
1、虚拟现实（vr）是一种可以创建和体验虚拟世界的计算机仿真技术。它利用计算机技术模拟人的视听和触觉等感官体验，使用户仿佛身临其境地进入一个虚拟的世界。全景图像（oi）是vr显示的核心组成部分，能够提供全面的视角和强烈的沉浸感，从而使用户能够更加深入地体验虚拟环境。然而oi图像在采集、压缩、传输、重建、显示过程中会面临多种质量问题。因此，准确估计oi的质量对于系统优化和算法优化都非常重要。一般来说，根据客观算法对参考图像的依赖程度，现有的oi图像客观评价方法主要有全参考oiqa（fr-oiqa）和无参考/盲oiqa（nr-/boiqa）。fr-oiqa在部署时需要使用参考信息，而nr-/boiqa可以在没有参考信息的情况下评估oi质量，因此nr-/boiqa更实用也是研究热点。
2、随着近年来深度学习技术的不断进步，基于神经网络的深度学习方法逐渐成为质量评价研究和应用领域中备受关注的主流。根据oi输入模型方式的不同，oiqa可以分为基于等距投影及其他投影空间方式和基于视口的方式两种。第一种oiqa模型，直接将投影表达空间的图像作为输入或将投影表达空间图像分成图像块作为输入，这种方式数据处理简单且计算复杂度低。第二种oiqa模型，模拟用户在现实观看oi内容时的真实过程，将视口图像作为输入。这种方式数据的视觉内容和用户实际观看到的具有一致性。尽管现有的模型在均匀失真的oi上显示出不错的结果，但它们在非
3、为此，需要提出一种高效、准确的全景图像质量评价方法用于评价非均匀失真全景图像的质量，提出这种方法的目的在于：
4、1、开发专门的非均匀特征提取模块，以精准捕捉具有质量感知的特征，获取对非均匀失真特征敏感的信息。通过引导模型有效区分各种非均匀失真类型，提升特征的可辨别性。为图像处理领域提供更为高效的特征提取手段；
5、2、通过深入研究建模，致力于设计自适应选择不同视口的非均匀失真信息。通过应用多视口非均匀失真特征聚合模块，增强特征表示，有助于推动深度学习oiqa模型的发展。
6、因此，高效准确地评估非均匀失真全景图像的盲图像质量评价方法对于图像质量评价领域的发展乃至计算机视觉领域的发展都会有很大的促进作用。
技术实现思路
1、鉴于上述状况，本专利技术的主要目的是为了提出一种基于层级移动窗口注意力的全景图像质量评价方法与系统，以解决上述技术问题。
2、本专利技术提出了一种基于层级移动窗口注意力的全景图像质量评价方法，所述方法包括如下步骤：
3、s1、获取全景图像赤道区域的视口图像，对视口图像进行图像预处理；
4、s2、基于层级移动窗口注意力构建多尺度特征提取网络，将预处理后视口图像通过不同层级的多尺度特征提取网络，以获得不同尺度的非均匀质量感知特征；
5、s3、对不同尺度的非均匀质量感知特征进行融合，以提高对非均匀失真在局部和全局的敏感性，得到多尺度感知特征；
6、s4、自动调节不同视口维度和通道维度的权重，以获取不同视口图像的感知重要性，对视口中不同通道的重要性进行选择，定位不同失真类型和程度的通道以获取通道特征；
7、s5、融合通道特征和多尺度感知特征以捕获整张图像的局部细节和全局结构，得到多视口融合特征；
8、s6、将多视口融合特征通过多层感知机以获得非均匀失真全景图像的预测评价分数。
9、本专利技术还提出一种基于层级移动窗口注意力的全景图像质量评价系统，其中，所述系统应用如上所述的基于层级移动窗口注意力的全景图像质量评价方法，所述系统包括：
10、视口提取模块，用于：
11、获取全景图像赤道区域的视口图像，对视口图像进行图像预处理；
12、基于层级移动窗口注意力构建多尺度特征提取网络，将预处理后视口图像通过不同层级的多尺度特征提取网络，以获得不同尺度的非均匀质量感知特征；
13、多尺度特征聚合模块，用于：
14、对不同尺度的非均匀质量感知特征进行融合，以提高对非均匀失真在局部和全局的敏感性，得到多尺度感知特征；
15、失真自适应感知模块，用于：
16、自动调节不同视口维度和通道维度的权重，以获取不同视口图像的感知重要性，对视口中不同通道的重要性进行选择，定位不同失真类型和程度的通道以获取通道特征；
17、视口融合视觉注意力模块，用于：
18、融合通道特征和多尺度感知特征以捕获整张图像的局部细节和全局结构，得到多视口融合特征；
19、质量回归模块，用于：
20、将多视口融合特征通过多层感知机以获得非均匀失真全景图像的预测评价分数。
21、与现有技术相比，本专利技术的有益效果：
22、1、基于层级移动窗口注意力的多尺度特征提取，同时捕捉局部细节和全局结构，从而更好地理解非均匀失真图像的内容，适应非均匀图像中的物体可能具有不同的尺度，从而提高对非均匀失真的鲁棒性。
23、2、对多尺度非均匀失真信息进行聚合，对于非均匀失真，一些微小但重要的细节可能在较小尺度上更加显著。通过多尺度特征聚合使得模型能够更敏感地捕捉这些细节信息，同时可以更准确地定位和识别出这些失真区域，有助于更精细地进行质量评价。
24、3、使用自适应视口注意力计算，人眼在观看图像时通常会关注到一些特定区域，这些区域对于整体图像的理解和感知更为重要。引入自适应视口注意力可以更好地模拟人眼的观察方式，提高模型对于图像的感知能力。
25、4、使用自适应通道注意力计算，可以帮助模型区分图像中不同区域的失真程度。通过对失真区域的注意力加强，模型可以更有针对性地关注那些可能受到较大失真影响的区域，同时可以有选择地关注对应于特定失真类型的通道，使模型能够更好地适应不同种类的失真。
26、5、使用多视口视觉注意力计算，可以使得模型更加关注非均匀失真的区域，同时能够综合处理不同视口图像的失真情况，这提高了模型的泛化性，使其在更广泛的图像质量评价任务中表现更好。
27、本专利技术的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实施例了解到。
本文档来自技高网...【技术保护点】
1.一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，步骤S1中，获取全景图像赤道区域的视口图像，对视口图像进行图像预处理的方法具体包括如下步骤：
3.根据权利要求2所述的一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，在所述步骤S2中，将预处理后视口图像通过不同层级的多尺度特征提取网络的过程存在如下关系式：
4.根据权利要求3所述的一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，在所述步骤S3中，对不同尺度的非均匀质量感知特征进行融合的过程存在如下关系式：
5.根据权利要求4所述的一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，在所述步骤S4中，自动调节不同视口维度和通道维度的权重，以指导获取不同视口图像的感知重要性，对视口中不同通道的重要性进行选择，定位不同失真类型和程度的通道以获取通道特征的方法具体包括如下步骤：
6.根据权利要求5所述的一种基于层级移动窗口注意
7.根据权利要求6所述的一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，融合特征的计算过程存在如下关系式：
8.根据权利要求7所述的一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，在所述步骤S6中，将多视口融合特征通过多层感知机以获得非均匀失真全景图像的预测评价分数的过程存在如下关系式：
9.一种基于层级移动窗口注意力的全景图像质量评价系统，其特征在于，所述系统应用如权利要求1至8任意一项所述的基于层级移动窗口注意力的全景图像质量评价方法，所述系统包括：
...【技术特征摘要】
1.一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，步骤s1中，获取全景图像赤道区域的视口图像，对视口图像进行图像预处理的方法具体包括如下步骤：
3.根据权利要求2所述的一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，在所述步骤s2中，将预处理后视口图像通过不同层级的多尺度特征提取网络的过程存在如下关系式：
4.根据权利要求3所述的一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，在所述步骤s3中，对不同尺度的非均匀质量感知特征进行融合的过程存在如下关系式：
5.根据权利要求4所述的一种基于层级移动窗口注意力的全景图像质量评价方法，其特征在于，在所述步骤s4中，自动调节不同视口维度和通道维度的权重，以指导获取不同视口图像的感知重要性...
【专利技术属性】
技术研发人员：鄢杰斌，饶家乐，刘学林，方玉明，姜文晖，刘扬，
申请(专利权)人：江西财经大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。