基于眼部关键点检测的3D视线方向估计方法技术

本发明专利技术公开了一种基于眼部关键点检测的3D视线方向估计方法，采用人脸检测及头部姿态估计装置进行人脸区域检测和头部姿态估计，在眼球中心标定环节目标人员注视屏幕上某个已知坐标点，在标定过程中首先提取得到眼部关键点和虹膜中心在人脸图像中的坐标，利用眼部关键点与眼球中心的固定距离来对眼球中心进行约束，求解出眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标，再通过坐标变换得到头部坐标系下眼球中心的坐标；在以后的图像中，即可基于头部坐标系下眼球中心的坐标、头部坐标系原点、虹膜中心和头部姿态来对当前帧的视线方向进行估计。本发明专利技术通过引入眼部关键点信息，对眼球中心进行约束，从而能够更好地适应不同用户之间的差异。

3D gaze direction estimation method based on eye key point detection

The invention discloses a method for estimating 3D eye gaze direction key point detection based on the face detection and head pose estimation device for facial region detection and head pose estimation in the eye center of calibration target personnel to focus on certain known coordinates on the screen in the calibration process firstly extracted coordinates of key points and eye iris in the center of the face image, using a fixed distance from the eye point and eye center to constraints on the eye center, calculate the eyeball center in face detection and head pose estimation device coordinates coordinates, and then coordinate head coordinates eye center is obtained by coordinate transformation; image in the future, can be based on the head coordinates the eyeball center coordinates, the coordinate origin, head of the iris center and head pose for the current frame of sight direction Estimate. By introducing the key point information of the eye, the eye center is restrained, so as to better adapt to the differences between different users.

【技术实现步骤摘要】

本专利技术属于视线估计
，更为具体地讲，涉及一种基于眼部关键点检测的3D视线方向估计方法。
技术介绍
视觉作为人类了解周围的重要手段，机器通过捕获用户的注视位置，可以有利于对用户的许多行为进行解释分析，从而更好的理解用户的意图，进而提高用户的人机交互体验。目前的视线估计方法大致可以分为以下几种：appearance-based、2Dregression-based、3Dmodel-based。appearance-based的方法主要是通过学习的方式，根据图像提取眼部特征，然后学习得到特征到视线方向的映射方式，从而估计出视线方向。2Dregression-based中最具代表性的方法是PCCR(pupilcenterandcornealreflection)，PCCR主要通过用IR摄像机分别检测出瞳孔中心与角膜反射点的坐标，然后估计瞳孔-角膜反射的相对位置关系，从而估计出视线方向。3Dmodel-based方法通过建立3D眼球模型，根据该模型的三维几何关系建立求解方程组，求解眼球中心和虹膜(瞳孔)中心的坐标，从而估计用户视线方向。目前的许多3Dmodel-based方法建立的眼球模型过于简单，对于人与人之间的差异鲁棒性不佳。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于眼部关键点检测的3D视线方向估计方法，引入了眼部关键点信息，对眼球中心进行约束，从而更好地适应不同用户之间的差异。为实现上述专利技术目的，本专利技术基于眼部关键点检测的3D视线方向估计方法包括以下步骤：S1：在人脸前方设置人脸检测及头部姿态估计装置，用于获取人脸图像，从中检测得到人脸区域并对头部姿态进行估计，将头部姿态以该人脸检测及头部姿态估计装置坐标系下的旋转四元数[w,x,y,z]表示，其中w代表旋转量，x,y,z代表旋转轴；在眼球中心标定环节，目标人员注视屏幕上某个已知坐标点G0，在视线估计环节，目标人员注视屏幕上任意点G；S2：采用眼球中心标定环节所获取的人脸图像序列，对该目标人员进行眼球中心标定，得到眼球中心在头部坐标系中的坐标眼球中心标定的具体步骤包括：S2.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到各个眼部关键点在人脸图像中的坐标pi，i＝1,2,…,M，M表示眼部关键点数量；S2.2：根据步骤S2.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p0；S2.3：采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据对以下方程组进行迭代求解，得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe：其中，分别表示视轴单位向量Ng在人脸检测及头部姿态估计装置坐标系下的x、y轴分量，分别表示光轴单位向量Ne在人脸检测及头部姿态估计装置坐标系下的x、y轴分量；表示M个眼部关键点和虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标，j＝0,1,…,M，其计算公式为：其中，f表示人脸检测及头部姿态估计装置中摄像机的焦距，o表示人脸检测及头部姿态估计装置中摄像机的主点图像坐标，分别表示点pj在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量；在得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe之后，经过坐标转换即可得到头部坐标系下眼球中心的坐标其转换公式为：其中，表示作为头部坐标系原点的第i*个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标，R表示旋转矩阵，其计算公式为：S3：对于眼球中心标定环节完成之后的每帧人脸图像，根据步骤S2得到的眼球中心在头部坐标系中的坐标对当前帧目标人物的视线方向进行估计，视线估计的具体步骤包括：S3.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到作为头部坐标系原点的第i*个眼部关键点在人脸图像中的坐标S3.2：根据步骤S3.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p0；S3.3：将头部坐标系原点坐标和虹膜中心坐标p0转换到人脸检测及头部姿态估计装置坐标系下，其转换公式为：S3.4：根据当前帧人脸图像的旋转四元数[w,x,y,z]，计算得到旋转矩阵R：S3.5：根据当前帧对应的头部坐标系原点坐标旋转矩阵R对步骤S2得到的头部坐标系下眼球中心的坐标进行坐标系变换，得到当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe，其转换公式为：S3.6：根据当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe和虹膜中心坐标计算光轴单位向量Ne：S3.7：求解以下方程组得到视轴单位向量Ng作为视线方向，完成视线方向估计：本专利技术基于眼部关键点检测的3D视线方向估计方法，采用人脸检测及头部姿态估计装置进行人脸区域检测和头部姿态估计，在眼球中心标定环节目标人员注视屏幕上某个已知坐标点，在标定过程中首先提取得到眼部关键点和虹膜中心在人脸图像中的坐标，利用眼部关键点与眼球中心的固定距离来对眼球中心进行约束，求解出眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标，再通过坐标变换得到头部坐标系下眼球中心的坐标；在以后的图像中，即可基于头部坐标系下眼球中心的坐标、头部坐标系原点、虹膜中心和头部姿态来对当前帧的视线方向进行估计。本专利技术通过引入眼部关键点信息，对眼球中心进行约束，从而能够更好地适应不同用户之间的差异。附图说明图1是本专利技术所采用的眼球模型示意图；图2是本专利技术基于眼部关键点检测的3D视线方向估计方法的具体实施方法流程图；图3是本专利技术中眼球中心标定的流程图；图4是基于参数化虹膜模型的虹膜中心检测方法的具体实施方法流程图；图5是参数化虹膜模型示意图；图6是虹膜中心检测过程的示例图；图7是人脸检测及头部姿态估计装置坐标系与头部坐标系的关系示例图；图8是本专利技术中视线方向估计的流程图。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。实施例为了更好地说明本专利技术的技术方案，首先对本专利技术所采用的眼球模型进行说明。图1是本专利技术所采用的眼球模型示意图。如图1所示，本专利技术中，记眼球中心为Oe，虹膜中心为p0，注视点坐标为G。由于人眼球的生理结构特征，视线分为光轴Ne与视轴Ng，Ne和Ng之间存在固定夹角Kappa角，记其水平和竖直分量分别为α和β。光轴为眼球中心Oe与虹膜中心的连线，视轴为虹膜中心与注视点的连线，即实际的注视方向，本专利技术最终就是通过估计视轴方向，从而获取用户的注视方向的。图2是本专利技术基于眼部关键点检测的3D视线方向估计方法的具体实施方法流程图。如图2所示，本专利技术基于眼部关键点检测的3D视线方向估计方法包括以下步骤：S201：人脸检测及头部姿态估计：在屏幕上设置人脸检测及头部姿态估计装置，用于获取人脸图像，从中检测得到人脸区域并对头部姿态进行估计，将头部姿态以该传感器坐标系下的旋转四元数[w,x,y,z]表示，其中w代表旋转量，x,y,z代表旋转轴。在眼球中心标定环节，需要目标人员注视屏幕上某个已知坐标点G0，在视线估计环节，目标人员注视屏幕上任意点G。在现有的人脸检测及头部姿态估本文档来自技高网...

【技术保护点】
一种基于眼部关键点检测的3D视线方向估计方法，其特征在于，包括以下步骤：S1：在人脸前方设置人脸检测及头部姿态估计装置，用于获取人脸图像，从中检测得到人脸区域并对头部姿态进行估计，将头部姿态以该传感器坐标系下的旋转四元数[w,x,y,z]表示，其中w代表旋转量，x,y,z代表旋转轴；在眼球中心标定环节，目标人员注视屏幕上某个已知坐标点G0，在视线估计环节，目标人员注视屏幕上任意点G；S2：采用眼球中心标定环节所获取的人脸图像序列，对该目标人员进行眼球中心标定，得到眼球中心在头部坐标系中的坐标眼球中心标定的具体步骤包括：S2.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到各个眼部关键点在人脸图像中的坐标pi，i＝1,2,…,M，M表示眼部关键点数量；S2.2：根据步骤S2.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p0；S2.3：采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据对以下方程组进行迭代求解，得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe：其中，分别表示视轴单位向量Ng在人脸检测及头部姿态估计装置坐标系下的x、y轴分量，分别表示光轴单位向量Ne在人脸检测及头部姿态估计装置坐标系下的x、y轴分量；表示M个眼部关键点和虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标，j＝0,1,…,M，其计算公式为：其中，f表示人脸检测及头部姿态估计装置中摄像机的焦距，o表示人脸检测及头部姿态估计装置中摄像机的主点图像坐标，分别表示点pj在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量；在得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe之后，经过坐标转换即可得到头部坐标系下眼球中心的坐标其转换公式为：其中，表示作为头部坐标系原点的第i*个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标，R表示旋转矩阵，其计算公式为：S3：对于眼球中心标定环节完成之后的每帧人脸图像，根据步骤S2得到的眼球中心在头部坐标系中的坐标对当前帧目标人物的视线方向进行估计，视线估计的具体步骤包括：S3.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到作为头部坐标系原点的第i*个眼部关键点在人脸图像中的坐标S3.2：根据步骤S3.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p0；S3.3：将头部坐标系原点坐标和虹膜中心坐标p0转换到人脸检测及头部姿态估计装置坐标系下，其转换公式为：S3.4：根据当前帧人脸图像的旋转四元数[w,x,y,z]，计算得到旋转矩阵R：S3.5：根据当前帧对应的头部坐标系原点坐标旋转矩阵R对步骤S2得到的头部坐标系下眼球中心的坐标进行坐标系变换，得到当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe，其转换公式为：S3.6：根据当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe和虹膜中心坐标计算光轴单位向量Ne：S3.7：求解以下方程组得到视轴单位向量Ng作为视线方向，完成视线方向估计：。...

【技术特征摘要】
1.一种基于眼部关键点检测的3D视线方向估计方法，其特征在于，包括以下步骤：S1：在人脸前方设置人脸检测及头部姿态估计装置，用于获取人脸图像，从中检测得到人脸区域并对头部姿态进行估计，将头部姿态以该传感器坐标系下的旋转四元数[w,x,y,z]表示，其中w代表旋转量，x,y,z代表旋转轴；在眼球中心标定环节，目标人员注视屏幕上某个已知坐标点G0，在视线估计环节，目标人员注视屏幕上任意点G；S2：采用眼球中心标定环节所获取的人脸图像序列，对该目标人员进行眼球中心标定，得到眼球中心在头部坐标系中的坐标眼球中心标定的具体步骤包括：S2.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到各个眼部关键点在人脸图像中的坐标pi，i＝1,2,…,M，M表示眼部关键点数量；S2.2：根据步骤S2.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p0；S2.3：采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据对以下方程组进行迭代求解，得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe：其中，分别表示视轴单位向量Ng在人脸检测及头部姿态估计装置坐标系下的x、y轴分量，分别表示光轴单位向量Ne在人脸检测及头部姿态估计装置坐标系下的x、y轴分量；表示M个眼部关键点和虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标，j＝0,1,…,M，其计算公式为：其中，f表示人脸检测及头部姿态估计装置中摄像机的焦距，o表示人脸检测及头部姿态估计装置中摄像机的主点图像坐标，分别表示点pj在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量；在得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe之后，经过坐标转换即可得到头部坐标系下眼球中心的坐标其转换公式为：其中，表示作为头部坐标系原点的第i*个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标，R表示旋转矩阵，其计算公式为：S3：对于眼球中心标定环节完成之后的每帧人脸图像，根据步骤S2得到的眼球中心在头部坐标系中的坐标对当前帧目标人物的视线方向进行估计，视线估计的具体步骤包括：S3.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到作为...

【专利技术属性】
技术研发人员：姬艳丽，谢非，程洪，何晶，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51