一种基于多模态脑视觉感知的立体图像质量评价方法技术

本发明专利技术公开了一种基于多模态脑视觉感知的立体图像质量评价方法，具体涉及图像质量评价技术领域。本发明专利技术所提出的方法包括以下步骤：预处理后的脑电信号按电极分布划分为腹侧区域和背侧区域送入多尺度脑电特征提取模块得到腹侧流脑电特征和背侧流脑电特征，然后二者被送入流特征交叉注意模块以获得融合脑电特征；搭建基于腹背侧认知的图像编码器，失真图像通过编码器以获得仿腹背侧图像视觉特征；随后将图像视觉特征送入跨模态视觉感知生成对抗网络，使用真实脑电特征作为真值引导模型训练，以生成融合视觉信息和脑电信息的伪脑电特征；经过学习，模型可实现在没有脑电图信号参与的情况下，利用由测试图像生成的伪脑电特征对立体图像质量进行评价。本发明专利技术在保证预测准确性的基础上有效地提高了立体图像质量评价算法的泛化性能。

【技术实现步骤摘要】

本专利技术涉及立体图像质量评价，具体为一种基于多模态脑视觉感知的立体图像质量评价方法。

技术介绍

1、立体图像通过提供更为真实的深度感和视觉体验，成为虚拟现实(vr)、增强现实(ar)、3d电影和医学成像等技术发展的基石，推动了娱乐、医疗、教育等多个领域的进步。然而，立体图像在采集、存储、压缩和传输等过程中不可避免地会遭遇质量下降。任何一个环节的问题都可能导致立体图像质量的降低，进而引发用户的视觉不适。高效的立体图像质量评价(stereoscopic image quality assessment,siqa)方法在这些过程中发挥关键作用，通过提供反馈来优化处理流程，确保立体图像的质量，维护用户的视觉沉浸体验。因此，研发高效且可靠的评价算法已成为研究人员关注的重点方向。

2、通常，siqa方法分为主观评价和客观评价。主观评价的结果因直接依赖于人类视觉感知，被认为是最准确的参考标签。然而，因为它依赖于人工评分，过程既繁琐又耗时，难以在大规模应用中推广。此外，立体图像的额外深度维度可能会对观看者的眼睛产生负面影响，导致视觉不适甚至疲劳，从而进一步增本文档来自技高网...

【技术保护点】

1.一种基于多模态脑视觉感知的立体图像质量评价方法，其特征在于，包括下列步骤：

2.根据权利要求1所述的一种基于多模态脑视觉感知的立体图像质量评价方法，其特征在于，S1中所述预处理的工作流程具体为：

3.根据权利要求1所述的一种基于多模态脑视觉感知的立体图像质量评价方法，其特征在于，S1中所述腹背侧脑电编码器的工作流程具体为：

4.根据权利要求1所述的一种基于多模态脑视觉感知的立体图像质量评价方法，其特征在于，S2中所述基于腹背侧认知的图像编码器的工作流程具体为：

5.根据权利要求1所述的一种基于多模态脑视觉感知的立体图像质量评价方法，其特...

【技术特征摘要】

1.一种基于多模态脑视觉感知的立体图像质量评价方法，其特征在于，包括下列步骤：

2.根据权利要求1所述的一种基于多模态脑视觉感知的立体图像质量评价方法，其特征在于，s1中所述预处理的工作流程具体为：

3.根据权利要求1所述的一种基于多模态脑视觉感知的立体图像质量评价方法，其特征在于，s1中所述腹背侧脑电编码器的工作流程具体为：

4.根据权利要求1所述的一种基于多模态脑视觉感知的立体图像质量评价方法，其特征在于，s2中所述基于腹背侧认知的图...

【专利技术属性】
技术研发人员：沈丽丽，卢淼，兰铖，潘兆庆，吴子阳，
申请(专利权)人：天津大学，
类型：发明
国别省市：