一种基于注意力转移的第一视角注视点预测方法技术

本发明专利技术提供了一种基于注意力转移的第一视角注视点预测方法包括：提取光流图像；构建基于注意力转移的第一视角注视点预测模型；将所述光流图像输入所述第一视角注视点预测模型，获取空间特征和时间特征，基于所述空间特征和时间特征，获取初始视觉显著性图像和注意力图像，基于所述初始视觉显著性图像和注意力图像，融合生成最终的注视点预测图像。本发明专利技术对原图像在多尺度上进行了时空的特征提取，充分利用了时序信息和高层语义信息用于显著性检测，通过对注意力转移的建模，从先前的注视中预测后续的注意力，最后结合视觉显著性模型融合为最终注视点预测图，提高了注视点预测的准确度。准确度。准确度。

【技术实现步骤摘要】
一种基于注意力转移的第一视角注视点预测方法


[0001]本专利技术属于计算机视觉注视点预测
，尤其涉及一种基于注意力转移的第一视角注视点预测方法。

技术介绍

[0002]随着运动相机等设备的快速发展，越来越多以自我为中心的第一视角视频的产出使得第一视角注视点预测成为计算机视觉领域的一个新兴方向。第一视角视频是以拍摄者本人亲眼所见的角度对客观事物进行观察和拍摄的视频。研究第一视角中所注视的区域对于观察人类注意力，了解人类活动意图有着重大的作用。同时这一研究在虚拟现实(VR)，增强现实(AR)等诸多应用场景有着相当的价值。如VR目前所面临的全场景精细渲染对硬件要求较高的问题，如果能够预测人的注视区域并进行局部的精细渲染，则可以极大地降低硬件成本。第一视角注视点预测就是通过图像处理技术以及计算机视觉算法来定位第一人称视频中人眼所注视的区域。
[0003]第一视角的注视点预测将图像或视频中人们可能注视的区域进行估计和预测。例如，通过利用相机佩戴者行为中存在的隐性线索，进行第一视角的注视点预测。使用深度模型和对抗性网络来预测未来视频帧中以自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力转移的第一视角注视点预测方法，其特征在于，包括：提取光流图像；构建基于注意力转移的第一视角注视点预测模型；将所述光流图像输入所述第一视角注视点预测模型，获取空间特征和时间特征，基于所述空间特征和时间特征，获取初始视觉显著性图像和注意力图像，基于所述初始视觉显著性图像和注意力图像，融合生成最终的注视点预测图像。2.根据权利要求1所述的基于注意力转移的第一视角注视点预测方法，其特征在于，所述第一视角注视点预测模型包括：特征编码模块、显著性预测模块、注意力转移模块和后期融合模块；其中，所述特征编码模块为：引入Inflated 3D网络的特征编码模块；所述特征编码模块和所述后期融合模块通过并行的所述显著性预测模块和注视状态预测模块进行连接。3.根据权利要求2所述的基于注意力转移的第一视角注视点预测方法，其特征在于，获取所述空间特征和时间特征包括：将所述光流图像输入所述特征编码模块，利用所述Inflated 3D网络分别提取所述空间特征和时间特征。4.根据权利要求2所述的基于注意力转移的第一视角注视点预测方法，其特征在于，获取所述初始视觉显著性图像包括：将所述空间特征和所述时间特征输入所述显著性预测模块，采用逐个元素求和的方法进行特征融合，获得所述初始视觉显著性图像。5.根据权利要求2所述的基于注意力转移的第一视角注视点预测方法，其特征在于，所述注意力转移模块包...

【专利技术属性】
技术研发人员：李玉洁，王星河，谭本英，丁数学，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：