一种基于显著性引导的全向图像质量评价方法和系统技术方案

本发明专利技术涉及一种基于显著性引导的全向图像质量评价方法和系统，包括：获取待评价的全向图像并进行预处理；通过显著性提取模型提取全向图像的全局显著性和局部显著性，并融合为全向图像的显著图；通过特征提取模型捕捉全向图像中不同区域之间的长距离语义关联，得到全向图像的全局特征图；将全向图像的显著图输入显著性引导模型提取全向图像的显著性特征；将全向图像的显著性特征和全向图像的全局特征图进行拼接得到全向图像的显著增强特征；将全向图像的显著增强特征输入线性回归模型计算得到全向图像的质量评价分数。本发明专利技术通过将显著图输入显著性引导模型提取显著性特征，与全局特征图拼接得到显著增强特征，再输入线性回归模型计算质量评价分数，整个流程从多环节优化全向图像质量评价，对于优化图像的处理过程、提升VR设备的性能以及改善用户体验等具有重要意义。

【技术实现步骤摘要】

本专利技术属于图像处理，特别是涉及一种基于显著性引导的全向图像质量评价方法和系统。

技术介绍

1、近年来，vr和ar技术迅猛发展，全向图像作为特殊的三维信息载体，能提供360度全方位视角体验，让用户仿若置身真实场景，在教育、医疗、娱乐、军事、车载驾驶等众多领域广泛应用，展现出巨大潜力，如特斯拉在自动驾驶辅助系统中运用该技术为驾驶员提供更全面路况信息。然而，全向图像在采集、压缩、传输及渲染过程中易出现畸变、模糊、伪影等失真现象，影响用户体验，甚至引发眩晕等生理不适。

2、现有客观全向图像质量评价方法分为全参考(fr)和无参考(nr)。fr型oiqa采用峰值信噪比/结构相似度和传统机器学习方法；nr型oiqa又分为基于不同投影空间和基于视口两类。nr型oiqa因无需参考图像，具有时间经济成本低、稳定性强和实用性高等优点，备受学者青睐。但目前诸多nr oiqa指标虽在各数据集表现出较高性能，仍有提升空间。基于显著性引导的模型在提取显著性语义时仅考虑图像局部视口区域，忽略图像整体显著性对视觉引导的作用，导致性能受限。面对全向图像较大数据量，许多模型在处本文档来自技高网...

【技术保护点】

1.一种基于显著性引导的全向图像质量评价方法，其特征在于，包括：

2.根据权利要求1所述的一种基于显著性引导的全向图像质量评价方法，其特征在于，所述显著性提取模型包括：SalBiNet360网络；所述特征提取模型包括：Mamba模型。

3.根据权利要求1所述的一种基于显著性引导的全向图像质量评价方法，其特征在于，所述线性回归模型包括全连接层。

4.根据权利要求1所述的一种基于显著性引导的全向图像质量评价方法，其特征在于，所述显著性引导模型包括：卷积层、最大池化层、3个Swin-Transformer+VGG的全局局部特征提取层、3个并行化的通道和空间注...

【技术特征摘要】

1.一种基于显著性引导的全向图像质量评价方法，其特征在于，包括：

2.根据权利要求1所述的一种基于显著性引导的全向图像质量评价方法，其特征在于，所述显著性提取模型包括：salbinet360网络；所述特征提取模型包括：mamba模型。

3.根据权利要求1所述的一种基于显著性引导的全向图像质量评价方法，其特征在于，所述线性回归模型包括全连接层。

4.根据权利要求1所述的一种基于显著性引导的全向图像质量评价方法，其特征在于，所述显著性引导模型包括：卷积层、最大池化层、3个swin-transformer+vgg的全局局部特征提取层、3个并行化的通道和空间注意力模块、以及平均池化层；其中，卷积层、最大池化层和3个swin-transformer+vgg的全局局部特征提取层依次级联；3个并行化的通道和空间注意力模块的输出特征分别输入3个并行化的通道和空间注意力模块；3个并行化的通道和空间注意力模块的输出特征进行拼接后输入平均池化层...

【专利技术属性】
技术研发人员：谈曦灿，胡波，童可可，汪彦辰，周明宇，孟靖淞，沈弋凯，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：