本发明专利技术提供一种基于特征解耦与注意力机制的跨视角视线估计方法，通过双相机采集双视角人脸图像，有效消除了单视角下的视角盲区，并缓解了单视角信息不足所带来的歧义问题；将人脸特征解耦为个人外观特征、头部姿态特征和视线相关特征，实现了对不同类型特征的精准分离；特征解耦策略增强了模型在多样化场景下的适应能力，确保其在不同个体和大幅头部姿态变化情况下依然保持高性能表现；然后，分别对解耦得到的三类特征应用交叉注意力机制进行自适应加权处理，通过双视角视线特征的融合，实现视线信息的补充与增强；同时，结合处理后的外观特征与头部姿态特征，补偿了个人因素和头部运动的影响，从而显著提升了视线估计的精度与鲁棒性。
【技术实现步骤摘要】
本专利技术属于图像处理，尤其涉及一种基于特征解耦与注意力机制的跨视角视线估计方法。
技术介绍
1、随着图像处理、计算机视觉等技术的发展，视线估计已经逐渐成为人机交互领域中的重要研究方向，在虚拟/增强现实，辅助驾驶，心理研究等领域均得到广泛应用。视线估计技术的核心目标是通过分析用户的眼睛或面部图像，推测其注视方向，从而实现用户与系统间的自然交互。
2、传统的视线估计方法主要分为基于模型的方法和基于外观的方法。基于模型的方法通过构建眼球模型并进行拟合，能够提供较高的精度，但通常需要用户佩戴特定设备，这不仅增加了硬件成本，还可能对用户造成干扰，限制了其实际应用。相比之下，基于外观的方法通过学习图像与注视方向之间的关系，仅依赖普通的网络摄像头即可完成视线估计，无需额外的硬件配置，成本较低，具有更广泛的应用前景，逐渐成为视线估计的主流方法。
3、目前，大多数基于外观的视线估计方法依赖单视角图像进行注视方向估计。然而，由于单视角图像的视野有限，通常难以全面捕捉面部的完整信息，可能会导致深度模糊和视线估计中的歧义问题。
...
【技术保护点】
1.一种基于特征解耦与注意力机制的跨视角视线估计方法，其特征在于，将双视角下的两个归一化人脸图像序列输入跨视角视线估计网络，由跨视角视线估计网络输出人脸的注视方向向量；其中，所述跨视角视线估计网络包括人脸特征提取骨干网络、特征解耦模块、第一～第三交叉注意力特征融合模块、特征拼接模块、多层感知机；
2.如权利要求1所述的一种基于特征解耦与注意力机制的跨视角视线估计方法，其特征在于，所述跨视角视线估计网络模型进行训练时所采用的损失函数Ltotal为：
3.如权利要求2所述的一种基于特征解耦与注意力机制的跨视角视线估计方法，其特征在于，外观相似度损失函数Lapp_sim...
【技术特征摘要】
1.一种基于特征解耦与注意力机制的跨视角视线估计方法，其特征在于，将双视角下的两个归一化人脸图像序列输入跨视角视线估计网络，由跨视角视线估计网络输出人脸的注视方向向量；其中，所述跨视角视线估计网络包括人脸特征提取骨干网络、特征解耦模块、第一～第三交叉注意力特征融合模块、特征拼接模块、多层感知机；
2.如权利要求1所述的一种基于特征解耦与注意力机制的跨视角视线估计方法，其特征在于，所述跨视角视线估计网络模型进行训练时所采用的损失函数ltotal为：
3.如权利要求2所述的一种基于特征解耦与注意力机制的跨视角视线估计方法，其特征在于，外观相似度损失函数lapp_sim的计算方法为：
4.如权利要求2所述的一种基于特征解耦与注意力机制的跨视角视线估计方法，其特征在于，头部角度损失函数lhead的计算方法为：
5.如权利要求4所述的一种基于特征解耦与注意力机制的跨视角视线估计方法，其特征在于，任意一个人脸的头部方...
【专利技术属性】
技术研发人员：陈靖，张湉琪，陈纪翔，刘锴，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。