【技术实现步骤摘要】
本专利技术涉及图像质量评价领域，具体的，本专利技术涉及一种基于transformer实现端到端全景图像质量评价的方法。
技术介绍
1、近些年来，国家大力扶持元宇宙行业的发展，相关技术正在不断演进，尤其是硬件设备的快速发展，包括虚拟现实(virtual reality,vr)和增强现实(augmented reality,ar)头戴式显示器(head mounted display,hmd)。这些设备的迭代升级推动了视觉内容和应用范围多样性的不断发展，同时也促进了沉浸式和交互式体验的提升。360度全景图像作为这些技术的主要视觉载体，因其高分辨率的特性，其存储和传输面临巨大挑战。在存储和传输过程中，存在造成图片质量降级的可能性，进而导致图像内容质量低，使得用户在视觉上感到不适。由于目前的图像编码标准通常适用于平面图像，在现有的图像编码标准下，需要将360度图像转换为平面格式，而投影过程成为其关键预处理步骤。然而，投影过程不可避免地会引入图像的失真，如几何拉伸和边界的不连续性，从而对图像质量产生不良影响。为了应对这一问题，需要建立有效的全景图像质量评价机制，以准确评估全景图像在处理过程中的质量变化，为元宇宙的深入发展提供可靠的视觉基础。
2、针对客观全景图像质量评价算法，可以分为三种类型，即全参考、半参考和无参考评价方法。在无参考图像质量评价过程中，无需依赖失真图像的原始无损图像作为参考，相对于全参考和半参考的图像质量评价方法，这种方法具备更高的实用价值。
3、近年来无参考全景图像质量评价领域发展迅速，一些先进
4、综上，为了促进元宇宙的深入发展，需要进一步研究和改进无参考全景图像质量评价算法，以适应真实场景的复杂性和多样性，确保用户获得更优质的视觉体验。
技术实现思路
1、针对现有技术中的缺陷，本公开的目的是提供一种基于transformer的端到端全景图像质量评价方法及系统。
2、根据本专利技术的一个方面，提供一种基于transformer的无参考全景图像质量评价方法，包括：
3、根据特征点检测网络确定数据集中特征视点；
4、对所述特征视点进行视口采样，确定视口图像；
5、对所述视口图像进行特征提取处理，基于swin transformer网络确定单个所述视口图像的多尺度特征；
6、将所有视口图像的多尺度特征进行融合处理后输入预设的特征交互网络，确定需要回归质量分数的交互特征；
7、通过提取出的所述交互特征回归全景图像的质量分数。
8、优选地，所述根据所述特征点检测网络确定所述数据集中特征视点，包括：
9、通过特征点检测网络进行特征点提取，提取出所有特征视点；
10、计算所有特征点的可以被作为关键视点的置信度，筛选出置信度最高的前n个特征视点，确定为需要被提取视口图像的视点位置。
11、优选地，所述根据所述特征视点进行视口采样，确定视口图像，包括：
12、对筛选出的n个特征视点以视口角为a度、视口大小为b*b进行采样，确定每个特征视点的视口图像。
13、优选地，所述对所述视口图像进行特征提取处理，基于swin transformer网络确定单个视口图像的多尺度特征，包括：
14、将每个特征视点对应采集的视口图像输入预设的swin transformer特征编码器中，提取多个阶段的特征并进行保存；
15、将每个阶段提取出的特征先进行下采样，再在通道维度上进行特征融合，确定输入视口图像的多尺度特征。
16、优选地，在所述swin transformer特征编码器的不同阶段提取特征，获得不同层次特征之间的信息交互，捕获多层次的语义信息。
17、优选地，所述将所有视口图像的多尺度特征进行融合处理后输入预设的特征交互网络，确定需要回归质量分数的交互特征，包括：
18、将所有视口图像的多尺度特征在空间维度上进行特征堆叠，确定感知特征；
19、将所述感知特征输入预设的特征交互网络中，进行依赖关系建模，确定进行全景感知质量分数回归的交互特征。
20、优选地，所述通过提取出的所述交互特征回归全景图像的质量分数，包括：
21、对所述交互特征进行质量分数的回归，确定最终预测的感知质量分数。
22、根据本专利技术的第二个方面，提供一种基于transformer的无参考全景图像质量评价系统，包括：
23、关键视点提取模块，根据特征点检测网络确定数据集中特征视点；
24、视口采样模块，通过所述特征视点进行视口采样，确定视口图像；
25、多尺度特征提取模块，对所述视口图像进行特征提取处理，基于swintransformer网络确定单个视口图像的多尺度特征；
26、多视口特征信息交互模块，将所有视口图像的多尺度特征进行融合处理后输入预设的特征交互网络，确定需要回归质量分数的交互特征；
27、质量分数回归模块，通过提取出的所述交互特征回归全景图像的质量分数。
28、根据本专利技术的第三个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行任一项所述的基于transformer的无参考全景图像质量评价方法，或，运行所述的基于transformer的无参考全景图像质量评价系统。
29、根据本专利技术的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行任一项所述的基于transformer的无参考全景图像质量评价方法，或，运行所述的基于transformer的无参考全景图像质量评价系统。
30、与现有技术相比，本专利技术实施例至少具有如下一种的有益效果：
31、本专利技术实施例中的基于transformer的端到端全景图像质量评价方法及系统，基于强大的特征提取能力，更加充分地利用视口的有效信息，完成建模视口提取过程，从而深入探讨人眼视觉观看过程；通过应用transformer网络，能够在全景图像的不同部分捕本文档来自技高网...
【技术保护点】
1.一种基于Transformer的无参考全景图像质量评价方法，其特征在于，包括：
2.根据权利要求1所述的一种基于Transformer的无参考全景图像质量评价方法，其特征在于，所述根据特征点检测网络确定数据集中特征视点，包括：
3.根据权利要求2所述的一种基于Transformer的无参考全景图像质量评价方法，其特征在于，所述根据所述特征视点进行视口采样，确定视口图像，包括：
4.根据权利要求3所述的一种基于Transformer的无参考全景图像质量评价方法，其特征在于，所述对所述视口图像进行特征提取处理，基于Swin Transformer网络确定单个视口图像的多尺度特征，包括：
5.根据权利要求4所述的一种基于Transformer的无参考全景图像质量评价方法，其特征在于，所述在Swin Transformer特征编码器的不同阶段提取特征，获得不同层次特征之间的信息交互，捕获多层次的语义信息。
6.根据权利要求1所述的一种基于Transformer的无参考全景图像质量评价方法，其特征在于，所述将所有视口图像的多尺
7.根据权利要求1所述的一种基于Transformer的无参考全景图像质量评价方法，其特征在于，所述通过提取出的所述交互特征回归全景图像的质量分数，包括：
8.一种基于Transformer的无参考全景图像质量评价系统，其特征在于，包括：
9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。
...【技术特征摘要】
1.一种基于transformer的无参考全景图像质量评价方法，其特征在于，包括：
2.根据权利要求1所述的一种基于transformer的无参考全景图像质量评价方法，其特征在于，所述根据特征点检测网络确定数据集中特征视点，包括：
3.根据权利要求2所述的一种基于transformer的无参考全景图像质量评价方法，其特征在于，所述根据所述特征视点进行视口采样，确定视口图像，包括：
4.根据权利要求3所述的一种基于transformer的无参考全景图像质量评价方法，其特征在于，所述对所述视口图像进行特征提取处理，基于swin transformer网络确定单个视口图像的多尺度特征，包括：
5.根据权利要求4所述的一种基于transformer的无参考全景图像质量评价方法，其特征在于，所述在swin transformer特征编码器的不同阶段提取特征，获得不同层次特征之间的信息交互，捕获多层次的语义信息...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。