一种人体三维视线方向处理方法及装置制造方法及图纸

一种人体三维视线方向处理方法与装置，该方法通过真实相机采集预设姿势下的人脸图像，对人脸图像进行人脸关键点检测，得到人脸关键点的坐标，人脸关键点包括左眼角、右眼角、内眼角、外眼角，左嘴角和右嘴角；将人脸关键点坐标与人脸平面模型的实际尺寸相匹配，获得人脸关键点坐标与人脸平面模型的相应点对；通过最小二乘法计算相应点对的单应矩阵，通过单应矩阵反推真实相机的内外参，线性求解真实相机的畸变系数，重投影进行真实相机的参数优化；引入虚拟相机，通过虚拟相机进行人脸图像校正，计算校正后的人脸图像射影变换矩阵，得到校正后的人体三维视线方向。本发明专利技术可以规范化视线方向注释数据，提高后续模型设计的可靠性和泛化能力。能力。能力。

【技术实现步骤摘要】
一种人体三维视线方向处理方法及装置


[0001]本专利技术属于数据处理
，具体涉及一种人体三维视线方向处理方法及装置。

技术介绍

[0002]目前，基于表观的视线估计在人机交互、行为理解和自动驾驶等场景有着重要的应用。然而，由于头部姿势、表观、几何形状和照明条件的差别，导致该方法估计精度不高、应用场景受限。通过获取更多变的视线注释数据集可以解决这一问题，但是，收集具有准确视线注释的数据需要复杂的设置和繁琐的过程。
[0003]眼动跟踪主要关注对象是人的三维视线方向。标定数据的准确度直接影响后续模型设计的可靠性和泛化能力，然而收集准确的眼动跟踪基准数据十分困难。现阶段并没有一种统一的技术对数据集进行处理，致使后续任务的算法比较缺乏一致的基准数据。

技术实现思路

[0004]为此，本专利技术提供一种人体三维视线方向处理方法及装置，实现人体三维视线方向注释数据规范化，解决难以收集准确的眼动跟踪基准数据问题。
[0005]为了实现上述目的，本专利技术提供如下技术方案：一种人体三维视线方向处理方法，包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体三维视线方向处理方法，其特征在于，包括：通过真实相机采集预设姿势下的人脸图像，对所述人脸图像进行人脸关键点检测，得到人脸关键点的坐标，所述人脸关键点包括左眼角、右眼角、内眼角、外眼角，左嘴角和右嘴角；将人脸关键点坐标与人脸平面模型的实际尺寸相匹配，获得人脸关键点坐标与人脸平面模型的相应点对；通过最小二乘法计算相应点对的单应矩阵，通过单应矩阵反推真实相机的内外参，线性求解真实相机的畸变系数，重投影进行真实相机的参数优化；引入虚拟相机，通过虚拟相机进行人脸图像校正，计算校正后的人脸图像射影变换矩阵，得到校正后的人体三维视线方向。2.根据权利要求1所述的一种人体三维视线方向处理方法，其特征在于，通过真实相机拍摄人脸平面模型，建立真实相机坐标系和二维像素坐标系之间的关系；真实相机坐标系以两眼中心为原点，以右眼中心到左眼中心的方向为x轴，y轴垂直x轴，z轴垂直x、y轴所组成的平面且遵循右手系规则。3.根据权利要求1所述的一种人体三维视线方向处理方法，其特征在于，把眼动数据集的图片和标签数据映射到标准化空间，标准化空间设置为由距离脸部中心预设长度的虚拟相机采集眼动数据。4.根据权利要求1所述的一种人体三维视线方向处理方法，其特征在于，虚拟相机坐标系的z轴方向对准面部中心，虚拟相机的x轴平行头部坐标系的x轴，虚拟相机的y轴垂直虚拟相机的x、z轴组成的平面且遵循右手系规则，虚拟相机沿z轴平行移动。5.根据权利要求1所述的一种人体三维视线方向处理方法，其特征在于，真实相机坐标系中三维空间点P
c
对应的相点p，虚拟相机坐标系中空间点P
c
′
对应相点p
′
，真实相机的相机矩阵为K，虚拟相机的相机矩阵为K
n
，存在以下关系：p＝KP
c
p
′
＝K
n
P
c
′
＝K
n
RSK
‑1p式中，R为虚拟相机相对真实相机的旋转；S为虚拟相机相对真实相机的伸缩变换；人脸图像射影变换矩阵W为：W＝K
n
RSK
‑1校正后的人体三维视线方向为：式中，g为校正前的人体三维视线方向。6.一种人体三维视线方向处理装置，其特征在于，包括：人脸关键点检测模块，用于通过真实相机采集预设姿势...

【专利技术属性】
技术研发人员：刘天键，
申请(专利权)人：闽江学院，
类型：发明
国别省市：