一种基于头部姿态的眼睛注视视角测定方法技术

本发明专利技术公开了一种基于头部姿态的眼睛注视视角测定方法，其不需添加LED光源，仅采用一个摄像头、一个点激光器和布置在竖向实体标定平面上的标定点，即可完成训练过程，获得脸部模型数据库、三维头部姿态数据库和回归模型，再采用同一个摄像头获得用户在当前时刻的脸部图像，采用训练过程得到的数据通过实时测定过程，即可实时计算出用户的眼睛在当前时刻的眼睛注视视角，因此，本发明专利技术能够实现对用户眼睛注视视角进行测定，其对硬件的依赖小，能够有效的扩展眼睛注视视角测定的应用范围。

【技术实现步骤摘要】

本专利技术涉及一种基于头部姿态的眼睛注视视角测定方法，属于图像处理领域。
技术介绍
随着物联网的发展，越来越多的设备都加入了计算处理器变成智能设备，比如智能冰箱，智能售货机等等。于是智能化的人机交互也变得越来越重要。眼睛是人类获取外界信息的重要途径，眼睛注视的视角反应了人对外界的兴趣。眼睛注视视角的估计可以应用于商业广告测试、医学诊断、发展心理学以及虚拟现实等领域。所以眼睛注视视角的估计在人机交互中具有重要的意义，也是学术界研究的一个热点、难点问题。现有计算注视视角的方法，需要用一个880nm的LED光源照射人眼。人眼对LED光的反射点叫做普尔钦斑点glint点，第一Purkinje图像。利用普尔钦斑点可以计算瞳孔中心。将人眼近似看做一个球型，人眼的注视方向近似的表示成球心指向瞳孔中心的向量。目前的主流方法都是基于这个模型。基于上面的模型，现有计算注视视角的设备有2种类型，头戴式和非头戴式。头戴式设备以类似眼镜的形式戴在头上，镜框的中部有一个向内对着用户的LED光源和一个对着外面的摄像头，该摄像头的作用是计算头部移动时的情况。两个镜框分别各有一个摄像头对着眼睛。头戴式设备的问题有两个：第一是头戴设备比较昂贵；第二是用户体验不好。非头戴式设备，通常是一个长方形的盒子，里面有一到二个LED光源，和一个摄像头。使用时，该设备需要正对用户。非头戴式设备也有两个问题：第一是因为该设备一般离用户的距离比头戴式远，LED光源可能受到环境中其他不可见的LED光源的干扰；第二是要求限制人的头部动作，不能像头戴式那样自由移动。虽然非头戴式设备有这两个缺点，但是因为用户体验比头戴式设备好得多，所以找到一种不受LED光源影响，并且头部能自由移动的非头戴式的计算注视视角的方法，对视线跟踪技术的普及和发展具有重要的意义。
技术实现思路
本专利技术所要解决的技术问题是：提供一种基于头部姿态的眼睛注视视角测定方法。解决上述技术问题，本专利技术所采用的技术方案如下：一种基于头部姿态的眼睛注视视角测定方法，包含训练过程和实时测定过程；所述的训练过程，包括：步骤1-1、原始数据获取步骤，包括：步骤1-1-1，在用户的头上佩戴一个朝向所述用户前方的点激光器，并在所述用户的前方安放一个摄像头、在所述用户前方的竖向实体标定平面上设置多个标定点，其中，所述用户的头部完全落在所述摄像头的拍摄范围之内，所述用户所在位置距离所述竖向实体标定平面的距离、每一个所述标定点与用户的相对位置以及由所述距离和相对位置决定的用户二维头部姿态均为已知的预设值，该预设的二维头部姿态记为训练用二维头部姿态，所述训练用二维头部姿态以欧拉角表示，包括所述用户头部绕一个三维直角坐标系Y轴转动的Yaw旋转角和绕所述三维直角坐标系Z轴转动的Pitch旋转角，并且，所述用户头部绕所述三维直角坐标系X轴转动的欧拉角为Roll旋转角；步骤1-1-2，令所述用户在所述所在位置通过转动头部，使得所述点激光器所发出的激光点分别落在所述各个标定点上，以用所述摄像头拍摄所述激光点落在每一个所述标定点时所述用户的脸部图像，并记为训练用脸部图像，其中，所述各个标定点中包含有正中标定点，当所述激光点落在正中标定点上时，所述激光器的指向垂直于所述竖向实体标定平面，即所述用户头部的Yaw旋转角和Pitch旋转角均为0，将所述摄像头在所述激光点落在正中标定点上时拍摄到的训练用脸部图像记为正中训练用脸部图像；步骤1-2、将每一幅所述训练用脸部图像作为受处理脸部图像按以下步骤1-2-1至步骤1-2-5的方法进行处理，得到所述各幅训练用脸部图像的二维脸部特征，并保存在脸部模型数据库中，其中，所述二维脸部特征包含二维脸部特征像素点、眼部特征像素点、角膜缘特征像素点和瞳孔中心特征像素点；步骤1-2-1、对受处理脸部图像中的人脸进行定位；步骤1-2-2、用主动形状模型基于其默认的参数对所述受处理脸部图像中被定位出的人脸进行处理，得到所述受处理脸部图像中人脸的二维脸部特征像素点的坐标；步骤1-2-3、从所述受处理脸部图像的二维脸部特征像素点中提取出包围所述用户双眼眼部的特征像素点，记为眼部特征像素点，其中，所述用户的每一只眼睛对应有六个所述眼部特征像素点，位于中间位置的四个所述眼部特征像素点根据相互之间的相对位置分别记为左上方特征像素点、右上方特征像素点、右下方特征像素点和左下方特征像素点，其余两个所述眼部特征像素点根据相对位置分别记为内眼角特征像素点和外眼角特征像素点；步骤1-2-4、对所述受处理脸部图像位于所述用户每一只眼睛所对应眼部特征像素点围成区域内的图像区域进行处理，分别定位出所述受处理脸部图像中位于所述用户双眼角膜缘上的特征像素点，记为角膜缘特征像素点；步骤1-2-5、对所述受处理脸部图像的用户每一只眼睛对应的角膜缘特征像素点进行曲线拟合，得到所述受处理脸部图像中用户每一只眼睛对应的角膜缘曲线及该角膜缘曲线的中心像素点，将所述角膜缘曲线的中心像素点记为瞳孔中心特征像素点；步骤1-3、回归模型建立步骤，包括：步骤1-3-1、用所述主动形状模型基于所述脸部模型数据库计算每一所述训练用二维头部姿态所对应的用户头部的Roll旋转角，将所述训练用二维头部姿态及其对应的Roll旋转角记为训练用三维头部姿态，保存在三维头部姿态数据库中；并且，所述主动形状模型在训练过程即计算所述各个二维头部姿态所对应Roll旋转角的过程中自动对其默认的参数进行更新，使得主动形状模型的默认参数向适配于所述摄像头的参数变化，将所述主动形状模型完成所述训练过程后更新得到的参数记为适配参数；其中，在所述训练过程中计算得到的所述正中训练用脸部图像与用户本人的缩放比例记为s'；步骤1-3-2、将每一个所述训练用三维头部姿态及其对应的二维脸部特征作为输入，建立三维头部姿态与二维脸部特征的回归模型，并保存在所述三维头部姿态数据库中；所述的实时测定过程，包括：步骤2-1、用所述摄像头拍摄所述用户在当前时刻的脸部图像，并记为测定用脸部图像，其中，所述用户位于其头部能够完全落在所述摄像头拍摄范围之内的任意位置；步骤2-2、将所述测定用脸部图像作为受处理脸部图像按所述步骤1-2-1至步骤1-2-5的方法进行处理，并且，按所述步骤1-2-2的方法进行处理时，所述主动形状模型基于所述步骤1-3-1得到的适配参数对受处理脸部图像即所述测定用脸部图像中被定位出的人脸进行处理，得到所述测定用脸部图像的二维脸部特征、所述测定用脸部图像中人脸所对应的三维脸部特征点的坐标和测定用脸部图像与用户本人的缩放比例s，其中，所述二维脸部特征包含二维脸部特征像素点、眼部特征像素点、角膜缘特征像素点和瞳孔中心特征像素点；步骤2-4、将所述测定用脸部图像的二维脸部特征作为步骤1-3-2所建立回归模型的输入，计算出所述测定用脸部图像的三维头部姿态，即所述用户在拍摄该测定用脸部图像时的欧拉角，包括Yaw旋转角、Pitch旋转角和Roll旋转角，记为三维头部姿态欧拉角(φRoll,φYaw,φPitch)；步骤2-5、用户的眼睛注视视角实时计算步骤，包括：步骤2-5-1、建立眼部模型，即：将所述用户的一只真实眼球视为一个球体，并将所述真实眼球按照所述步骤2-2得到的缩放比例s进行缩放后得到的球体记为本文档来自技高网...

【技术保护点】
一种基于头部姿态的眼睛注视视角测定方法，包含训练过程和实时测定过程；所述的训练过程，包括：步骤1‑1、原始数据获取步骤，包括：步骤1‑1‑1，在用户的头上佩戴一个朝向所述用户前方的点激光器(Laser)，并在所述用户的前方安放一个摄像头、在所述用户前方的竖向实体标定平面(Wall)上设置多个标定点(Point)，其中，所述用户的头部(Head)完全落在所述摄像头的拍摄范围之内，所述用户所在位置距离所述竖向实体标定平面(Wall)的距离、每一个所述标定点(Point)与用户的相对位置以及由所述距离和相对位置决定的用户二维头部姿态均为已知的预设值，该预设的二维头部姿态记为训练用二维头部姿态，所述训练用二维头部姿态以欧拉角表示，包括所述用户头部绕一个三维直角坐标系Y轴转动的Yaw旋转角和绕所述三维直角坐标系Z轴转动的Pitch旋转角，并且，所述用户头部绕所述三维直角坐标系X轴转动的欧拉角为Roll旋转角；步骤1‑1‑2，令所述用户在所述所在位置通过转动头部，使得所述点激光器(Laser)所发出的激光点分别落在所述各个标定点(Point)上，以用所述摄像头拍摄所述激光点落在每一个所述标定点(Point)时所述用户的脸部图像，并记为训练用脸部图像，其中，所述各个标定点(Point)中包含有正中标定点，当所述激光点落在正中标定点上时，所述激光器(Laser)的指向垂直于所述竖向实体标定平面(Wall)，即所述用户头部的Yaw旋转角和Pitch旋转角均为0，将所述摄像头在所述激光点落在正中标定点上时拍摄到的训练用脸部图像记为正中训练用脸部图像；步骤1‑2、将每一幅所述训练用脸部图像作为受处理脸部图像按以下步骤1‑2‑1至步骤1‑2‑5的方法进行处理，得到所述各幅训练用脸部图像的二维脸部特征，并保存在脸部模型数据库中，其中，所述二维脸部特征包含二维脸部特征像素点、眼部特征像素点、角膜缘特征像素点和瞳孔中心特征像素点；步骤1‑2‑1、对受处理脸部图像中的人脸进行定位；步骤1‑2‑2、用主动形状模型基于其默认的参数对所述受处理脸部图像中被定位出的人脸进行处理，得到所述受处理脸部图像中人脸的二维脸部特征像素点的坐标；步骤1‑2‑3、从所述受处理脸部图像的二维脸部特征像素点中提取出包围所述用户双眼眼部的特征像素点，记为眼部特征像素点，其中，所述用户的每一只眼睛对应有六个所述眼部特征像素点，位于中间位置的四个所述眼部特征像素点根据相互之间的相对位置分别记为左上方特征像素点、右上方特征像素点、右下方特征像素点和左下方特征像素点，其余两个所述眼部特征像素点根据相对位置分别记为内眼角特征像素点和外眼角特征像素点；步骤1‑2‑4、对所述受处理脸部图像位于所述用户每一只眼睛所对应眼部特征像素点围成区域内的图像区域进行处理，分别定位出所述受处理脸部图像中位于所述用户双眼角膜缘上的特征像素点，记为角膜缘特征像素点；步骤1‑2‑5、对所述受处理脸部图像的用户每一只眼睛对应的角膜缘特征像素点进行曲线拟合，得到所述受处理脸部图像中用户每一只眼睛对应的角膜缘曲线及该角膜缘曲线的中心像素点，将所述角膜缘曲线的中心像素点记为瞳孔中心特征像素点；步骤1‑3、回归模型建立步骤，包括：步骤1‑3‑1、用所述主动形状模型基于所述脸部模型数据库计算每一所述训练用二维头部姿态所对应的用户头部的Roll旋转角，将所述训练用二维头部姿态及其对应的Roll旋转角记为训练用三维头部姿态，保存在三维头部姿态数据库中；并且，所述主动形状模型在训练过程即计算所述各个二维头部姿态所对应Roll旋转角的过程中自动对其默认的参数进行更新，使得主动形状模型的默认参数向适配于所述摄像头的参数变化，将所述主动形状模型完成所述训练过程后更新得到的参数记为适配参数；其中，在所述训练过程中计算得到的所述正中训练用脸部图像与用户本人的缩放比例记为s'；步骤1‑3‑2、将每一个所述训练用三维头部姿态及其对应的二维脸部特征作为输入，建立三维头部姿态与二维脸部特征的回归模型，并保存在所述三维头部姿态数据库中；所述的实时测定过程，包括：步骤2‑1、用所述摄像头拍摄所述用户在当前时刻的脸部图像，并记为测定用脸部图像，其中，所述用户位于其头部(Head)能够完全落在所述摄像头拍摄范围之内的任意位置；步骤2‑2、将所述测定用脸部图像作为受处理脸部图像按所述步骤1‑2‑1至步骤1‑2‑5的方法进行处理，并且，按所述步骤1‑2‑2的方法进行处理时，所述主动形状模型基于所述步骤1‑3‑1得到的适配参数对受处理脸部图像即所述测定用脸部图像中被定位出的人脸进行处理，得到所述测定用脸部图像的二维脸部特征、所述测定用脸部图像中人脸所对应的三维脸部特征点的坐标和测定用脸部图像与用户本人的缩放比例s，其中，所述二维脸部特征包含二维脸部特征像素点、眼部特征...

【技术特征摘要】
1.一种基于头部姿态的眼睛注视视角测定方法，包含训练过程和实时测定过程；所述的训练过程，包括：步骤1-1、原始数据获取步骤，包括：步骤1-1-1，在用户的头上佩戴一个朝向所述用户前方的点激光器(Laser)，并在所述用户的前方安放一个摄像头、在所述用户前方的竖向实体标定平面(Wall)上设置多个标定点(Point)，其中，所述用户的头部(Head)完全落在所述摄像头的拍摄范围之内，所述用户所在位置距离所述竖向实体标定平面(Wall)的距离、每一个所述标定点(Point)与用户的相对位置以及由所述距离和相对位置决定的用户二维头部姿态均为已知的预设值，该预设的二维头部姿态记为训练用二维头部姿态，所述训练用二维头部姿态以欧拉角表示，包括所述用户头部绕一个三维直角坐标系Y轴转动的Yaw旋转角和绕所述三维直角坐标系Z轴转动的Pitch旋转角，并且，所述用户头部绕所述三维直角坐标系X轴转动的欧拉角为Roll旋转角；步骤1-1-2，令所述用户在所述所在位置通过转动头部，使得所述点激光器(Laser)所发出的激光点分别落在所述各个标定点(Point)上，以用所述摄像头拍摄所述激光点落在每一个所述标定点(Point)时所述用户的脸部图像，并记为训练用脸部图像，其中，所述各个标定点(Point)中包含有正中标定点，当所述激光点落在正中标定点上时，所述激光器(Laser)的指向垂直于所述竖向实体标定平面(Wall)，即所述用户头部的Yaw旋转角和Pitch旋转角均为0，将所述摄像头在所述激光点落在正中标定点上时拍摄到的训练用脸部图像记为正中训练用脸部图像；步骤1-2、将每一幅所述训练用脸部图像作为受处理脸部图像按以下步骤1-2-1至步骤1-2-5的方法进行处理，得到所述各幅训练用脸部图像的二维脸部特征，并保存在脸部模型数据库中，其中，所述二维脸部特征包含二维脸部特征像素点、眼部特征像素点、角膜缘特征像素点和瞳孔中心特征像素点；步骤1-2-1、对受处理脸部图像中的人脸进行定位；步骤1-2-2、用主动形状模型基于其默认的参数对所述受处理脸部图像中被定位出的人脸进行处理，得到所述受处理脸部图像中人脸的二维脸部特征像素点的坐标；步骤1-2-3、从所述受处理脸部图像的二维脸部特征像素点中提取出包围所述用户双眼眼部的特征像素点，记为眼部特征像素点，其中，所述用户的每一只眼睛对应有六个所述眼部特征像素点，位于中间位置的四个所述眼部特征像素点根据相互之间的相对位置分别记为左上方特征像素点、右上方特征像素点、右下方特征像素点和左下方特征像素点，其余两个所述眼部特征像素点根据相对位置分别记为内眼角特征像素点和外眼角特征像素点；步骤1-2-4、对所述受处理脸部图像位于所述用户每一只眼睛所对应眼部特征像素点围成区域内的图像区域进行处理，分别定位出所述受处理脸部图像中位于所述用户双眼角膜缘上的特征像素点，记为角膜缘特征像素点；步骤1-2-5、对所述受处理脸部图像的用户每一只眼睛对应的角膜缘特征像素点进行曲线拟合，得到所述受处理脸部图像中用户每一只眼睛对应的角膜缘曲线及该角膜缘曲线的中心像素点，将所述角膜缘曲线的中心像素点记为瞳孔中心特征像素点；步骤1-3、回归模型建立步骤，包括：步骤1-3-1、用所述主动形状模型基于所述脸部模型数据库计算每一所述训练用二维头部姿态所对应的用户头部的Roll旋转角，将所述训练用二维头部姿态及其对应的Roll旋转角记为训练用三维头部姿态，保存在三维头部姿态数据库中；并且，所述主动形状模型在训练过程即计算所述各个二维头部姿态所对应Roll旋转角的过程中自动对其默认的参数进行更新，使得主动形状模型的默认参数向适配于所述摄像头的参数变化，将所述主动形状模型完成所述训练过程后更新得到的参数记为适配参数；其中，在所述训练过程中计算得到的所述正中训练用脸部图像与用户本人的缩放比例记为s'；步骤1-3-2、将每一个所述训练用三维头部姿态及其对应的二维脸部特征作为输入，建立三维头部姿态与二维脸部特征的回归模型，并保存在所述三维头部姿态数据库中；所述的实时测定过程，包括：步骤2-1、用所述摄像头拍摄所述用户在当前时刻的脸部图像，并记为测定用脸部图像，其中，所述用户位于其头部(Head)能够完全落在所述摄像头拍摄范围之内的任意位置；步骤2-2、将所述测定用脸部图像作为受处理脸部图像按所述步骤1-2-1至步骤1-2-5的方法进行处理，并且，按所述步骤1-2-2的方法进行处理时，所述主动形状模型基于所述步骤1-3-1得到的适配参数对受处理脸部图像即所述测定用脸部图像中被定位出的人脸进行处理，得到所述测定用脸部图像的二维脸部特征、所述测定用脸部图像中人脸所对应的三维脸部特征点的坐标和测定用脸部图像与用户本人的缩放比例s，其中，所述二维脸部特征包含二维脸部特征像素点、眼部特征像素点、角膜缘特征像素点和瞳孔中心特征像素点；步骤2-4、将所述测定用脸部图像的二维脸部特征作为步骤1-3-2所建立回归模型的输入，计算出所述测定用脸部图像的三维头部姿态，即所述用户在拍摄该测定用脸部图像时的欧拉角，包括Yaw旋转角、Pitch旋转角和Roll旋转角，记为三维头部姿态欧拉角(φRoll,φYaw,φPitch)；步骤2-5、用户的眼睛注视视角实时计算步骤，包括：步骤2-5-1、建立眼部模型，即：将所述用户的一只真实眼球视为一个球体，并将所述真实眼球按照所述步骤2-2得到的缩放比例s进行缩放后得到的球体记为图像眼球，其中，所述真实眼球的半径预设为R0、眼球中心至外眼角特征点与内眼角特征点所在直线的距离预设为L0，所述图像眼球的球心记为o；并且，将所述步骤2-2得到的三维脸部特征点中对应所述图像眼球的外眼角特征点、内眼角特征点和瞳孔中心特征点依次记为e1、e2和p，将所述外眼角特征点e1与内眼角特征点e2的中点记为m，所述球心o在所述外眼角特征点e1与内眼角特征点e2的连线上的垂足记为n；所述球心o与瞳孔中心...

【专利技术属性】
技术研发人员：詹宜巨，吕律，蔡庆玲，唐承佩，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44