一种基于外观的人眼视线估计方法技术

本发明专利技术公开了一种基于外观的人眼视线估计方法，该方法使用的视线估计模型包括改进的ResNet网络和全连接层；在ResNet网络的第二卷积层、第三卷积层以及第四卷积层之后分别嵌入多尺度空洞卷积块和特征选择块，在第五卷积层之后嵌入有效区域注意力块，多尺度空洞卷积块的输出特征作为下一个卷积层的输入特征，所有特征选择块的输出特征与第五卷积层的输出特征进行拼接后作为有效区域注意力块的输入特征，进而得到改进的ResNet网络；人脸图像经过改进的ResNet网络提取空间注视特征，空间注视特征分别经过两个全连接层，得到视线的偏航角和俯仰角；最后，将训练后的视线估计模型用于人眼视线估计。该方法提取了更全局的特征信息，增强有效区域信息，弱化特征中可能包含模糊面部细节的冗余信息，具有更高的估计精度。

【技术实现步骤摘要】

本专利技术属于视线估计，具体是一种基于外观的人眼视线估计方法。

技术介绍

1、在计算机视觉技术中，视线估计是人脸检测的一个研究分支。根据应用场景的不同大致可以分为注视点估计、注视目标估计和三维视线估计三类。注视点估计是对双眼视线汇聚在屏幕上的焦点进行估计，主要是在二维平面上进行。注视目标估计是对人眼所注视的目标进行检测，目前既可以实现人眼与注视目标在同一张图片中的检测，也可以实现跨帧检测注视目标。三维视线估计是通过眼睛图片或者人脸图片估计人眼在世界坐标系中的视线方向。

2、现有方法主要分为基于模型和基于外观的视线估计方法。基于模型的视线估计主要是检测眼睛的外观形状特征，根据这些特征来计算并估计视线。基于外观的视线估计则采用机器学习的策略，根据人脸图像的纹理信息，对眼睛图像和注视方向进行学习，推测得到人眼视线。基于外观的视线估计对于人脸特征信息的提取，传统卷积神经网络提取的浅层特征的感受野较小，导致特征提取过程中会损失一些上下文信息，失去对不同视野的分辨能力，具有上下文感知能力不足、语义信息表征能力弱的缺陷。此外，基于全人脸图像的视线估计要想获得本文档来自技高网...

【技术保护点】

1.一种基于外观的人眼视线估计方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于外观的人眼视线估计方法，其特征在于，所述多尺度空洞卷积块采用多个分支提取多尺度特征，将所有分支的输出特征进行拼接，拼接特征经过卷积后，再与多尺度空度卷积块的输入特征进行逐元素相加，得到多尺度空度卷积块的输出。

3.根据权利要求2所述的基于外观的人眼视线估计方法，其特征在于，所述多尺度空洞卷积块包括四个分支，第一个分支包括一个大小为3×3、扩张率为1的卷积，第二个分支包括一个大小为3×1、扩张率为1的卷积和一个大小为3×3、扩张率为3的空洞卷积，第三个分支包括一个大小为...

【技术特征摘要】

1.一种基于外观的人眼视线估计方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于外观的人眼视线估计方法，其特征在于，所述多尺度空洞卷积块采用多个分支提取多尺度特征，将所有分支的输出特征进行拼接，拼接特征经过卷积后，再与多尺度空度卷积块的输入特征进行逐元素相加，得到多尺度空度卷积块的输出。

3.根据权利要求2所述的基于外观的人眼视线估计方法，其特征在于，所述多尺度空洞卷积块包括四个分支，第一个分支包括一个大小为3×3、扩张率为1的卷积，第...

【专利技术属性】
技术研发人员：刘教，李晓鹏，徐振南，吴焰樟，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：