一种基于注意力机制的视觉诱发晕动症评估方法技术

本发明专利技术属于数字图像处理技术领域，尤其为一种基于注意力机制的视觉诱发晕动症评估方法，首先根据VR视频提取光流视频，再对VR视频和光流视频进行预处理，输入到评估模型；而后，对VR视频和光流视频进行独立的特征提取与评估，评估视觉诱发晕动症程度；最后将VR视频结果和光流视频结果进行融合，从而得到VR视频的视觉诱发晕动症的评估结果。本申请通过融合Transformer架构，分别针对时间序列和空间序列构建了自注意力机制，以捕获序列元素间的相互依赖性；通过后端融合技术，实现了双流网络输出的整合，既保持了计算效率，又显著提高了模型的评估准确度。

【技术实现步骤摘要】

本专利技术涉及一种基于注意力机制的视觉诱发晕动症评估方法，属于数字图像处理。

技术介绍

1、与二维视频相比，虚拟现实(vr)视频包含了深度信息，可以为观众带来更真实的视觉效果与沉浸式的体验。近年来，随着虚拟现实技术的广泛应用，例如3d电影和虚拟现实游戏，这些技术已经深刻影响并转变了人们的日常生活。作为一项迅速发展的技术，虚拟现实技术面临着诸多挑战。其中，最显著的问题之一便是在虚拟现实体验过程中，用户的视觉系统接收到运动信息，而身体却处于静止状态，这种视觉与前庭系统的不匹配可能导致用户出现头痛、眩晕乃至呕吐的症状，即所谓的视觉诱发晕动症。

2、如何构建视觉诱发晕动症评估模型，有效分类vr视频，使用户可以根据个人情况选择更符合其体验需求的视频是一个越来越受关注的问题。vr视频中可以评估视觉诱发晕动症的主要因素为：光流强度、运动轨迹、纹理信息、关注区域、时间信息等。通过建立结合注意力机制的视野流与运动流的双流评估模型可以有效评估视觉诱发晕动症程度。

技术实现思路

1、(一)解决的技术问题

2本文档来自技高网...

【技术保护点】

1.一种基于注意力机制的视觉诱发晕动症评估方法，其特征在于：选取Padmanaban立体视频数据库中的VR视频进行评估，具体步骤如下；

2.根据权利要求1所述的一种基于注意力机制的视觉诱发晕动症评估方法，其特征在于：所述步骤1包括如下子步骤，步骤101：对VR视频的连续帧提取光流图，公式如下所示：

3.根据权利要求1所述的一种基于注意力机制的视觉诱发晕动症评估方法，其特征在于：所述步骤2包括如下子步骤，步骤201：将Time patch输入到网络的Embeding模块中，方便之后计算VR视频和光流视频的时间序列相关性，并添加位置编码信息，如下式所示：

...

【技术特征摘要】

1.一种基于注意力机制的视觉诱发晕动症评估方法，其特征在于：选取padmanaban立体视频数据库中的vr视频进行评估，具体步骤如下；

2.根据权利要求1所述的一种基于注意力机制的视觉诱发晕动症评估方法，其特征在于：所述步骤1包括如下子步骤，步骤101：对vr视频的连续帧提取光流图，公式如下所示：

3.根据权利要求1所述的一种基于注意力机制的视觉诱发晕动症评估方法，其特征在于：所述步...

【专利技术属性】
技术研发人员：权巍，蔡永青，李林轩，李华，韩成，蒋振刚，丁岩，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：