当前位置: 首页 > 专利查询>东北大学专利>正文

一种基于自注意力的视线估计方法技术

技术编号:40439083 阅读:14 留言:0更新日期:2024-02-22 23:02
本发明专利技术设计一种基于自注意力的视线估计方法,属于计算机视觉领域;首先获取公开视线估计数据集,并对其进行预处理,得到更标准统一的数据集,并且预先定义手机型号与摄像头在屏幕中位置的对应关系;提出为视线估计任务定制化的DeiT模型,并基于预处理后的数据集,对DeiT模型进行训练,得到一个误差低、鲁棒性强的视线估计模型;最后基于训练好的模型,执行视线估计任务:根据输入的人脸图像,得到一个正确的视线估计点坐标;本发明专利技术在应用到手机屏幕的视线估计任务中,充分考虑了不同型号的手机中摄像头不同位置导致的差异,得到更加准确的视线估计。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域,具体涉及一种基于自注意力的视线估计方法


技术介绍

1、眼睛注视是最重要的非语言交流线索之一,是理解人类意图的重要因素。视线估计是根据一个人的目光来推测他在看什么地方的任务,现已经被广泛应用于各个领域,比如医学诊断(可以通过注视模式来进行自闭症谱系障碍的诊断)、疲劳驾驶检测(眼睛活动是认知分心检测率最高的指标)、虚拟现实(vr的渲染很耗费资源,但如果通过视线估计来预测用户目光,只展示所需资源,可显著降低渲染成本,但视觉质量没有明显差异)等。现有的视线估计模型大致可分为两类:基于模型的视线估计和基于外观的视线估计。

2、基于模型的视线估计方法需要专门设备来获取眼睛信息,从而构建一个眼睛的几何模型来进行视线估计,这些方法成本很高,而且在图像质量低或光照条件变化大的情况下的效果不理想。基于外观的视线估计方法直接使用眼睛图像作为输入,无需高昂的专门设备费用,但需要更多的训练数据,传统的基于外观的视线估计仅在实验室环境下表现良好,即头部姿势受限和受试者约束的情况下,无法很好地泛化到新面孔。随着大规模数据的可用性以及深度学习的本文档来自技高网...

【技术保护点】

1.一种基于自注意力的视线估计方法,其特征在于,具体包括以下步骤:

2.根据权利要求1所述的一种基于自注意力的视线估计方法,其特征在于,步骤1所述获取公开视线估计数据集,并对其进行预处理,得到更标准统一的数据集,具体为:

3.根据权利要求1所述的一种基于自注意力的视线估计方法,其特征在于,步骤1所述预先定义手机型号与摄像头在屏幕中位置的对应关系,具体为:

4.根据权利要求1所述的一种基于自注意力的视线估计方法,其特征在于,步骤2所述DeiT模型采用了Transformer的结构,通过输入图像分割、增加位置嵌入、位置信息处理、Transformer编码和...

【技术特征摘要】

1.一种基于自注意力的视线估计方法,其特征在于,具体包括以下步骤:

2.根据权利要求1所述的一种基于自注意力的视线估计方法,其特征在于,步骤1所述获取公开视线估计数据集,并对其进行预处理,得到更标准统一的数据集,具体为:

3.根据权利要求1所述的一种基于自注意力的视线估计方法,其特征在于,步骤1所述预先定义手机型号与摄像头在屏幕中位置的对应关系,具体为:

4.根据权利要求1所述的一种基于自注意力的视线估计方法,其特征在于,步骤2所述deit模型采用了transformer的结构,通过输入图像分...

【专利技术属性】
技术研发人员:孙霜铭程维潘永康彭程王柄然李宗晟
申请(专利权)人:东北大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1