人脸刚体模型及注视点检测的方法、装置及存储介质制造方法及图纸

本发明专利技术公开了人脸刚体模型及注视点检测的方法、装置及存储介质，该人脸刚体模型的生成方法包括：获取图像传感器正向拍摄当前用户的第一可见光人脸图像，并从第一可见光人脸图像中获取当前用户人脸的预设数量的特征点；基于预设数量的特征点确定当前用户的左眼球中心三维坐标、右眼球中心三维坐标以及人脸中心三维坐标；分别建立左眼球中心三维坐标、右眼眼球中心三维坐标到人脸中心三维坐标的左眼向量和右眼向量，并映射到人脸三维模型中，获得当前用户的人脸刚体模型。得当前用户的人脸刚体模型。得当前用户的人脸刚体模型。

【技术实现步骤摘要】
人脸刚体模型及注视点检测的方法、装置及存储介质


[0001]本专利技术涉及机器视觉领域，尤其是涉及人脸刚体模型及注视点检测的方法、装置及存储介质。

技术介绍

[0002]目前，空间视线追踪系统多采用多项式模型映射的方法，一般采用9点标定方法，即通过人眼依次注视屏幕(相当于一个二维平面)上的9个标定点，从而得到瞳孔到屏幕之间的坐标映模型，利用该模型计算屏幕上的注视点坐标。
[0003]尽管该9点标定方法在人脸保持静止的情况下具有较高的精度，但是当人脸发生移动或者旋转后，由于人脸位姿变化后，历史9点标定得到的多项式模型不再适用于当前人脸位姿下的视线计算，使得注视点计算精度出现大幅下降。

技术实现思路

[0004]本专利技术提供人脸刚体模型及注视点检测的方法、装置及存储介质，用以解决现有技术中存在的上述技术问题。
[0005]第一方面，为解决上述技术问题，本专利技术实施例提供的人脸刚体模型生成的方法的技术方案如下：
[0006]获取图像传感器正向拍摄当前用户的第一可见光人脸图像，并从所述第一可见光人脸图像中获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸刚体模型生成的方法，其特征在于，包括：获取图像传感器正向拍摄当前用户的第一可见光人脸图像，并从所述第一可见光人脸图像中获取所述当前用户人脸的预设数量的特征点；基于所述预设数量的特征点确定所述当前用户的左眼球中心三维坐标、右眼球中心三维坐标以及人脸中心三维坐标；分别建立所述左眼球中心三维坐标、所述右眼眼球中心三维坐标到所述人脸中心三维坐标的左眼向量和右眼向量，并映射到人脸三维模型中，获得所述当前用户的人脸刚体模型。2.如权利要求1所述的方法，其特征在于，获取图像传感器正向拍摄当前用户的第一可见光人脸图像，包括：在所述显示屏幕中最靠近拍摄设备的位置显示第一注视区域；持续拍摄所述当前用户注视所述第一注视区域时的第二可见光人脸图像，直至确定正向拍摄到所述当前用户的人脸图像；每拍摄一次，根据所述第二可见光人脸图像确定所述当前用户的人脸朝向与所述显示屏幕的第二交点，以及第二人脸位姿；其中，所述第二人脸位姿用于表示所述当前用户人脸的姿态角度；判断所述第二交点是否在所述第一注视区域内，且所述第二人脸位姿是否在设定的误差范围内；若所述第二交点在所述第一注视区域内，且第二人脸位姿在设定的误差范围内，确定正向拍摄到所述当前用户的人脸图像，并将对应的第二可见光人脸图像作为所述第一可见光人脸图像。3.如权利要求2所述的方法，其特征在于，判断所述第二人脸位姿是否在设定的误差范围内，包括：将所述第二人脸位姿的误差值抽象为以所述第一注视区域的中心为起点的线段，将所述第一注视区域的边界作为所述误差范围的界限值；判断所述线段是否超出所述第一注视区域；若所述线段超出所述第一注视区域，则确定所述第二人脸位姿不在所述误差范围内；若所述线段未超出所述第一注视区域，则确定所述第二人脸位姿在所述误差范围内。4.如权利要求1所述的方法，其特征在于，基于所述预设数量的特征点确定所述当前用户的左眼球中心三维坐标、右眼球中心三维坐标以及人脸中心三维坐标，包括：将所述预设数量的特征点对应的像素坐标转换为世界坐标下的三维坐标；从所述预设数量的特征点中确定出左眼区域特征点和右眼区域特征点；确定所述左眼区域特征点和所述右眼区域特征点的中心点，并将所述左眼区域特征点的中心点作为左眼中心三维坐标，将所述右眼区域特征点的中心点作为右眼中心三维坐标；根据预设眼球半径及所述左眼中心三维坐标和所述右眼中心三维坐标，确定左眼眼球中心三维坐标和右眼眼球中心三维；根据所述预设数量的特征点对应的三维坐标，确定所述人脸中心三维坐标。5.如权利要求1所述的方法，其特征在于，获得所述当前用户的人脸刚体模型后，还包
括：在显示屏幕的中心显示第二注视区域，并获取所述当前用户注视所述第二注视区域时拍摄的第三可见光人脸图像和第三红外人脸图像；基于所述第三可见光人脸图像确定所述当前用户的第三人脸位姿，并检测所述第三红外图像中左眼瞳孔和右眼瞳孔的中心位置，获得左眼瞳孔中心三维坐标和右眼瞳孔中心坐标；其中，所述第三人脸位姿用于表示所述当前用户人脸的姿态角度；通过所述第三人脸位姿更新所述人脸刚体模型的姿态，并结合所述左眼瞳孔中心三维坐标和所述右眼瞳孔中心坐标，获得所述当前用户的当前注视点；判断所述当前注视点是否在所述第二注视区域内；若不在所述第二注视区域内，将所述当前注视点移动到所述第二注视区域内，根据移动的距离对所述人脸刚体模型中的所述左眼向量和右眼向量进行微调，获得校正后的人脸刚体模型。6.如权利要求5所述的方法，其特征在于，检测所述第三红外图像中左眼瞳孔和右眼瞳孔的中心位置，获得左眼瞳孔中心三维坐标和右眼瞳孔中心坐标，包括：将所述第三红外图像转换为与所述第三可见光图像同坐标系下的第四红外图像；从所述第四红外图像中获取左眼区域和右眼区域，并用瞳孔检测算法分别从所述左眼区域和所述右眼区域中获取左眼瞳孔中心像素坐标和右眼瞳孔中心像素坐标；将所述左眼瞳孔中心像素坐标和所述右眼瞳孔中心像素坐标，分别转换为世界坐标系下的左眼瞳孔中心三维坐标和右眼瞳孔中心三维坐标。7.如权利要求6所述的方法，其特征在于，通过所述第三人脸位姿更新所述人脸刚体模型的姿态，并结合所述左眼瞳孔中心三维坐标和所述右眼瞳孔中心坐标，获得所述当前用户的当前注视点，包括：将所述人脸刚体模型中左眼向量和右眼向量，按所述第三人脸位姿调整旋转角度，获得调整后的左眼向量和调整后的右眼向量；从所述调整后的左眼向量和所述调整后的右眼向量中获取当前左眼眼球中心三维坐标和当前右眼眼球中心三维坐标；将所述当前左眼眼球中心三维坐标和所述左眼瞳孔三维坐标连线的延长线作为左眼视线，将所述当前右眼眼球中心三维坐标和所述左眼瞳孔三维坐标连线的延长线作为右眼视线；...

【专利技术属性】
技术研发人员：薛亚冲，张浩，陈丽莉，孙建康，闫桂新，刘小磊，吕耀宇，张梦蕾，李鑫恺，
申请(专利权)人：北京京东方光电科技有限公司，
类型：发明
国别省市：