一种人眼凝视方向检测方法、系统、终端及介质技术方案

本发明专利技术提供一种眼凝视方向检测方法、系统、终端及介质，其中，对待检测图像进行金字塔处理，得到不同分辨率的特征图；构建人脸和人眼识别模型，将所述特征图输入所述识别模型中，输出人脸识别框和人眼关键点；对所述人眼关键点的图像进行图像分割，得到眼部图像，对其进行瞳孔定位；将所述瞳孔定位的结果和所述人眼关键点进行位置上的对比，以所述人眼关键点为中心，以所述瞳孔定位的相对位置判断人眼凝视的方向。本发明专利技术还对应提供了眼凝视方向检测系统、终端及介质。本发明专利技术检测简单，精度高，检测速度快，可以良好地运用在AR

【技术实现步骤摘要】
一种人眼凝视方向检测方法、系统、终端及介质


[0001]本专利技术涉及图像处理
，具体的，涉及一种人眼凝视方向检测方法、系统、终端及介质。

技术介绍

[0002]虚拟增强抬头显示能够车辆信息直接投影在挡风玻璃上，用于对驾驶员进行实时信息提示。AR
‑
HUD目前被广泛运用在汽车、航天等领域。但是，当前AR
‑
HUD在挡风玻璃上的显示位置已经固定，驾驶员需要不断调整凝视度来获取提示信息，缺少人机互动性。为此，需要开展基于人眼凝视方向检测的AR
‑
HUD的研发。
[0003]目前人眼凝视方向检测主要分为两种方式：头戴式与非头戴式算法，头戴式指的是利用头戴式的设备，直接对人眼进行人眼凝视方向的检测，这种头戴式的方法可以非常高效而且精确地识别出人眼凝视方向。非头戴式算法中一般分为两类：三维算法和二维算法。以三维算法为代表的双目视觉测量是一种模仿人眼成像来建立三维空间模型的算法，需要两台摄像头和一台光源，在建立起三维的空间后就可以求出目标点的空间位置。二维算法代表有机器学习法，通过机器学习训练的模型和图像处理的算法进行结合，从而计算出人眼凝视方向，无需通过额外设备就可以进行人眼凝视方向检测。
[0004]但上述的方法仍有不足之处，头戴式算法设备过于复杂，也不便于携带，如何运用在汽车驾驶领域是个难题。非头戴式中双目视觉测量有着相同的问题：需要额外的设备。因此机器学习算法是其中成本较低，更易实施的，但是机器学习算法计算量较大，导致影响到检测的速度，精度也较低，因此人眼凝视方向检测仍有着很大的进步空间。
[0005]经检索，中国专利技术专利申请CN201910456761.0，公开一种基于优化图像前景和背景种子的人眼凝视点预测方法，虽然也是实现人眼凝视点预测，但是仍无法满足上述的应用。

技术实现思路

[0006]针对现有技术存在的不足，本专利技术提出一种基于Soft NMS的注意力机制的人眼凝视方向检测方法，解决现有人眼凝视检测方法复杂，精度偏低等缺点。
[0007]本专利技术的第一方面，提供一种人眼凝视方向检测方法，包括：
[0008]对待检测图像进行金字塔处理，得到不同分辨率的特征图；
[0009]构建人脸和人眼识别模型，将所述特征图输入所述识别模型中，输出人脸识别框和人眼关键点；
[0010]根据所述人脸识别框的面积，对所述人眼关键点的图像进行图像分割，得到眼部图像，对其进行瞳孔定位；
[0011]将所述瞳孔定位的结果和所述人眼关键点进行位置上的对比，以所述人眼关键点为中心，以所述瞳孔定位的相对位置判断人眼凝视的方向。
[0012]可选地，所述构建人脸和人眼识别模型，包括：
[0013]使用P
‑
NET、R
‑
NET和O
‑
NET的三个级联的卷积网络结构；
[0014]将Soft NMS分别串联在P
‑
NET、R
‑
NET和O
‑
NET的三个级联的卷积网络之间；
[0015]所述人脸和人眼识别模型完成人脸识别和人眼关键点检测两个任务。
[0016]可选地，所述构建人脸和人眼识别模型，还包括注意力机制，所述注意力机制包括通道注意力机制、空间注意力机制；
[0017]具体的，将P
‑
NET、Soft NMS、R
‑
NET、注意力机制、Soft NMS、O
‑
NET、Soft NMS依次串联，形成人脸和人眼识别模型。
[0018]可选地，所述对所述人眼关键点的图像进行图像分割，得到眼部图像，对其进行瞳孔定位，包括：
[0019]以所述人眼关键点为中心，对周围设定大小的图像进行分割，作为细粒度的眼部图像；
[0020]对所述细粒度的眼部图像进行瞳孔定位，增加瞳孔定位的精度。
[0021]可选地，所述对所述细粒度的眼部图像进行瞳孔定位，采用基于阈值的图像梯度法，根据人眼结构中的巩膜、虹膜、瞳孔灰度值不同，进行灰度阈值二值化的图像梯度瞳孔定位。进一步的，在进行所述瞳孔定位之前，使用二值的阈值法判断灰度值大于设定阈值的像素点为非瞳孔点，以降低图像梯度的计算量。
[0022]可选地，所述以所述人眼关键点为中心，以所述瞳孔定位的相对位置判断人眼凝视的方向，包括：
[0023]以人眼关键点作为原点建立直角坐标系，将人眼凝视方向检测分为9个方向：左、左上、左下、中、右、右上、右下、上、下；
[0024]人眼凝视的方向“中”的判断条件为：瞳孔坐标落在以人眼关键点为原点展开的坐标系，四个顶点坐标分别为一个正方形像素区域的顶点；剩下的凝视方向以“中”为参考点进行计算，从而计算出人眼凝视的方向。
[0025]本专利技术的第二方面，提供一种人眼凝视方向检测系统，包括：
[0026]特征图获取模块，对待检测图像进行金字塔处理，得到不同分辨率的特征图；
[0027]识别模块，该模块将所述特征图输入识别模型中，输出人脸识别框和人眼关键点；
[0028]瞳孔定位模块，该模块对根据所述人脸识别框的面积，对所述人眼关键点的图像进行图像分割，得到眼部图像，对其进行瞳孔定位；
[0029]凝视方向检测模块，该模块将所述瞳孔定位的结果和所述人眼关键点进行位置上的对比，以所述人眼关键点为中心，以所述瞳孔定位的相对位置判断人眼凝视的方向。
[0030]本专利技术的第三方面，提供一种终端，包括存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，所述处理器执行所述程序时用于执行上述的人眼凝视方向检测方法。
[0031]本专利技术的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行上述的人眼凝视方向检测方法。
[0032]与现有技术相比，本专利技术实施例具有如下至少一种有益效果：
[0033]本专利技术对待检测图像进行金字塔处理，得到不同分辨率的特征图；构建人脸和人眼识别模型，将所述特征图输入所述识别模型中，输出人脸识别框和人眼关键点；对所述人眼关键点的图像进行图像分割，得到眼部图像，对其进行瞳孔定位；将所述瞳孔定位的结果
和所述人眼关键点进行位置上的对比，以所述人眼关键点为中心，以所述瞳孔定位的相对位置判断人眼凝视的方向。通过这些技术特征的配合，解决了现有人眼凝视检测方法复杂，精度偏低等缺点，提高了人眼凝视方向的检测速度。
附图说明
[0034]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0035]图1为本专利技术一实施例中人眼凝视方向检测方法流程图；
[0036]图2为本专利技术一较优实施例中人眼凝视方向检测方法流程图；
[0037]图3为本专利技术一较优实施例中识别模型的网络结构图；
[0038]图4为本专利技术一较优实施例中注意力机制中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人眼凝视方向检测方法，其特征在于，包括：对待检测图像进行金字塔处理，得到不同分辨率的特征图；构建人脸和人眼识别模型，将所述特征图输入所述识别模型中，输出人脸识别框和人眼关键点；根据所述人脸识别框的面积，对所述人眼关键点的图像进行图像分割，得到眼部图像，对其进行瞳孔定位；将所述瞳孔定位的结果和所述人眼关键点进行位置上的对比，以所述人眼关键点为中心，以所述瞳孔定位的相对位置判断人眼凝视的方向。2.根据权利要求1所述的人眼凝视方向检测方法，其特征在于，所述构建人脸和人眼识别模型，包括：使用P
‑
NET、R
‑
NET和O
‑
NET的三个级联的卷积网络结构；将Soft NMS分别串联在P
‑
NET、R
‑
NET和O
‑
NET的三个级联的卷积网络之间；所述人脸和人眼识别模型完成人脸识别和人眼关键点检测两个任务。3.根据权利要求2所述的人眼凝视方向检测方法，其特征在于，所述构建人脸和人眼识别模型，还包括注意力机制，所述注意力机制包括通道注意力机制、空间注意力机制；具体的，将P
‑
NET、Soft NMS、R
‑
NET、注意力机制、Soft NMS、O
‑
NET、Soft NMS依次串联，形成人脸和人眼识别模型。4.根据权利要求1所述的人眼凝视方向检测方法，其特征在于，所述对所述人眼关键点的图像进行图像分割，得到眼部图像，对其进行瞳孔定位，包括：以所述人眼关键点为中心，对周围设定大小的图像进行分割，作为细粒度的眼部图像；对所述细粒度的眼部图像进行瞳孔定位，增加瞳孔定位的精度。5.根据权利要求4所述的人眼凝视方向检测方法，其特征在于，所述...

【专利技术属性】
技术研发人员：荀子麟，郭爱英，
申请(专利权)人：上海大学，
类型：发明
国别省市：