一种3D视线目标估计方法及装置制造方法及图纸

本发明专利技术适用于视线估计领域，公开了3D视线目标估计方法及装置，该方法包括：获取原始图像，并提取得到原始特征图、头部姿态向量和眼部特征向量，根据头部姿态向量和眼部特征向量得到3D视线方向向量；基于3D视线方向向量的平面分量构建与原始图像对应的视场图；根据视场图构和原始特征图构建得到场景特征图；基于ViT模型整合场景特征图和3D视线方向向量的深度分量，生成更新后的场景标记和视线标记；将更新后的视线标记输入预训练的二分类模型，以得到分类结果，当分类结果为视线目标在图像内时，根据更新后的场景标记生成热度图，并筛选出热度图中热度值最大的像素点作为估计的视线目标位置，能够提升视线目标估计的精度与可靠性。

【技术实现步骤摘要】

本专利技术涉及视线估计领域，尤其涉及一种3d视线目标估计方法及装置。

技术介绍

1、注视作为人类行为的关键组成部分，能够直观反映个体的兴趣指向，揭示人与周围世界的互动模式，因此在各类社交场景中，成为评估个体意图、预测人类行为的重要依据。而准确估计注视目标的能力，是构建可理解人类行为的智能系统的核心基石之一，在人机交互、行为分析、智能监控等多个领域具有重要的应用价值。

2、在注视目标估计领域，现有技术已开展了一定的研究工作，众多研究团队提出了针对该任务的专用数据集与网络模型架构。然而，当前技术方案存在明显的局限性：其一，现有数据集的标签获取依赖人工标注者在图像中手动标注注视目标，不仅标注过程耗时耗力，难以实现大规模数据采集，且人工标注易受主观因素影响，导致标签精度和一致性难以保障；其二，现有网络模型架构通常仅在小规模数据集上进行训练，模型的泛化能力和对复杂场景的适应能力较弱，难以应对实际应用中多样化的环境与场景变化；其三，现有技术普遍局限于 2d 平面视线估计，缺乏有效的深度感知机制，无法捕捉场景中的深度信息，当多个物体沿视线方向排列时，易出现目本文档来自技高网...

【技术保护点】

1.一种3D视线目标估计方法，其特征在于，所述3D视线目标估计方法包括：

2.如权利要求1所述的3D视线目标估计方法，其特征在于，所述获取原始图像，并对所述原始图像进行特征提取，得到原始特征图，包括：

3.如权利要求1所述的3D视线目标估计方法，其特征在于，所述从所述原始图像中提取头部姿态向量和眼部特征向量，将所述头部姿态向量和所述眼部特征向量输入预训练的多层感知机模型，以得到3D视线方向向量，包括：

4.如权利要求1所述的3D视线目标估计方法，其特征在于，定义所述3D视线方向向量为，像素的视线空间注意力值为，则表示

5.如权利要求4所述的...

【技术特征摘要】

1.一种3d视线目标估计方法，其特征在于，所述3d视线目标估计方法包括：

2.如权利要求1所述的3d视线目标估计方法，其特征在于，所述获取原始图像，并对所述原始图像进行特征提取，得到原始特征图，包括：

3.如权利要求1所述的3d视线目标估计方法，其特征在于，所述从所述原始图像中提取头部姿态向量和眼部特征向量，将所述头部姿态向量和所述眼部特征向量输入预训练的多层感知机模型，以得到3d视线方向向量，包括：

4.如权利要求1所述的3d视线目标估计方法，其特征在于，定义所述3d视线方向向量为，像素的视线空间注意力值为，则表示

5.如权利要求4所述的3d视线目标估计方法，其特征在于，定义所述场景...

【专利技术属性】
技术研发人员：杨旭韵，袁悦，谢雄敦，温志庆，
申请(专利权)人：季华实验室，
类型：发明
国别省市：