基于面部特征标定的实时注视估计方法及系统技术方案

本发明专利技术提供了一种基于面部特征标定的实时注视估计方法及系统，包括：步骤

【技术实现步骤摘要】
基于面部特征标定的实时注视估计方法及系统


[0001]本专利技术涉及计算机视觉
，具体地，涉及基于面部特征标定的实时注视估计方法及系统
。

技术介绍

[0002]人类的眼部注视包含了丰富的意图
、
认知
、
行为
、
注意力等信息，注视估计技术在认知科学
、
医疗保健
、
辅助驾驶
、
虚拟现实
、
人机交互
、
体育竞技等领域都有着广泛的应用
。
[0003]现有的注视估计技术主要包括三种类别：
[0004]1)
基于回归的二维注视点估计
。
通常使用多个红外光源在角膜表面产生光点，将红外相机捕捉到的光点坐标和瞳孔中心坐标输入回归函数，直接映射为用户所观察屏幕上的二维注视点坐标
。
这类方法通常需要进行多点标定过程，来确定回归函数中的未知参数
。
这类方法存在许多缺点，例如易受头部运动的影响，需要固定用户头部，且标定过程较为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于面部特征标定的实时注视估计方法，其特征在于，包括：步骤
S1
：通过面部特征标定方法确定用户眼球中心的位置；步骤
S2
：待检测面部图像通过面部关键点检测算法确定用户瞳孔中心的位置；将用户眼球中心的位置和用户瞳孔中心的位置转换至相机坐标系，计算其连线方向作为用户的注视方向
。2.
根据权利要求1所述的基于面部特征标定的实时注视估计方法，其特征在于，所述步骤
S1
采用：步骤
S1.1
：采集标定图像；步骤
S1.2
：基于标定图像集得到面部关键点集的每一个关键点在面部坐标系中的坐标，基于标定图像集的每一张面部图像计算面部关键点集的每一个关键点在像素坐标系中的坐标；根据面部关键点集中的关键点分别在像素坐标系和面部坐标系中的坐标，结合相机内参计算得到标定图像集的每一张面部图像对应的相机外参；步骤
S1.3
：利用面部关键点检测技术基于标定图像集中的每一张面部图像计算瞳孔中心在像素坐标系中的坐标，基于相机内参和相机外参计算面部坐标系中视线的直线方程；步骤
S1.4
：基于标定图像集中所有面部图像获得全部视线直线方程，计算全部视线直线方程的交点得到用户眼球中心的坐标
。3.
根据权利要求2所述的基于面部特征标定的实时注视估计方法，其特征在于，所述步骤
S1.1
采用：用户保持目光注视在相机的镜头中心，并随意转动和移动头部，利用相机连续拍摄用户的面部
RGB
图像，将采集到的
RGB
图像作为标定图像集
。4.
根据权利要求2所述的基于面部特征标定的实时注视估计方法，其特征在于，所述步骤
S1.2
采用：步骤
S1.2.1
：利用面部三维建模技术根据标定图像集中的用户面部图像重建用户的面部三维模型，根据用户的面部三维模型得到面部关键点集的每一个关键点在面部坐标系中的坐标；步骤
S1.2.2
：利用面部关键点检测技术基于标定图像集中每一张面部图像计算面部关键点集的每一个关键点在像素坐标系中的坐标
。5.
根据权利要求2所述的基于面部特征标定的实时注视估计方法，其特征在于，所述步骤
S2
采用：步骤
S2.1
：针对待检测面部图像，根据相机内参将两瞳孔中心坐标由像素坐标系转换至相机坐标系；步骤
S2.2
：针对待检测面部图像，计算面部关键点集的每一个关键点在像素坐标系中的坐标，结合相机内参和面部关键点集的每一个关键点在面部坐标系中的坐标，计算待检测面部图像对应的相机外参；步骤
S2.3
：根据相机外参将用户的两眼球中心坐标由面部坐标系转换至相机坐标系；步骤
S2.4
：对于左右眼，分别计算眼球中心指向瞳孔中心的单位向量，并计算当前向量在左右眼上的平均值，将当前平均值作为相机坐标系中用户的注视方向三维向量，当前注视方向三维向量为注视估计结果
。6.
...

【专利技术属性】
技术研发人员：郭遥，李金凯，杨健鑫，柳宇轩，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：