眼球追踪方法、装置及存储介质制造方法及图纸

本申请实施例提供一种眼球追踪方法、装置及存储介质，包括：将灰度图像和深度图像进行预处理，得到预设坐标系下的目标的灰度

【技术实现步骤摘要】
【国外来华专利技术】眼球追踪方法、装置及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种眼球追踪方法、装置及存储介质。

技术介绍

[0002]视线估计技术是人机交互中一种理解人类意图的重要技术，可以应用于游戏交互、医疗诊断(心理类疾病)、座舱内驾驶员意图分析等场景。视线起始点(即眼球位置)、视线方向是组成视线估计的两个重要模块，这两个模块结合场景环境的三维建模，可以获得用户视线的关注点(Point of Regard，PoR)，从而更为精准地了解用户的意图，完成交互。
[0003]目前在确定眼球位置时使用单目摄像头来估计视线起始点在三维空间中的位置，其使用先验和相机成像模型估算人眼与摄像头距离。采用该技术，一般在正常驾驶距离情况下，深度误差在2
‑
3厘米(cm)，其无法满足更高精度要求的场景，例如车载场景中点亮中控屏。且起始点2
‑
3cm的误差，会在相应的方向上造成预测到的PoR有较大误差，尤其是随着注视物体距离离用户越远，视线方向与物体交点与真实值差距会越来越大，这就无法满足视线与车外物体交互的需求。
[0004]目前还有采用深度传感器的方法来确定眼球位置，其先利用深度数据离线做基于优化的人脸重建，在部署时，利用该重建的人脸模型与实时获取的点云数据进行迭代最近点算法处理，获取当前的人脸6个自由度的姿态，从而获取到眼球的三维位置。采用该技术，需要离线注册以获取用户的人脸网格信息，同时当人脸表情变化幅度较大时迭代最近点算法配准误差较大。因此，现有技术无法应对开放的环境和实际的车载场景。

技术实现思路

[0005]本申请实施例提供一种眼球追踪方法、装置及存储介质，以提高眼球追踪的精度。
[0006]第一方面，本申请实施例提供一种眼球追踪方法，包括：将灰度图像和深度图像进行预处理，得到预设坐标系下的目标的灰度
‑
深度图像，其中，所述灰度图像和所述深度图像中均包含所述目标的头部信息；对所述目标的灰度
‑
深度图像进行人头检测，以得到所述目标的头部的灰度
‑
深度图像；对所述目标的头部的灰度
‑
深度图像进行人脸重建处理，以得到所述目标的人脸信息；根据所述人脸信息得到所述目标的瞳孔位置。
[0007]通过本申请实施例，基于目标的灰度图像和深度图像得到目标的灰度
‑
深度图像，通过进行人头检测进而得到目标的头部的灰度
‑
深度图像，根据目标的头部的灰度
‑
深度图像进行人脸重建处理，进而得到目标的瞳孔位置。采用该手段，基于灰度图像和深度图像两个维度的信息对目标的人脸进行重建，能够实时获取精准的视线起始点。
[0008]作为一种可选的实现方式，所述对所述目标的头部的灰度
‑
深度图像进行人脸重建处理，以得到所述目标的人脸信息，包括：对所述目标的头部的灰度
‑
深度图像进行特征提取，得到所述目标的灰度特征和深度特征；将所述目标的灰度特征和深度特征进行融合处理，得到所述目标的人脸模型参数；根据所述目标的人脸模型参数得到所述目标的人脸信息。
[0009]通过融合目标的灰度特征和深度特征，得到所述目标的人脸模型参数，进而得到所述目标的人脸信息。该目标的人脸模型参数融合了灰度特征和深度特征，和现有技术中仅包含灰度特征相比，本方案包含的特征更加全面，可有效提高眼球追踪的精度。
[0010]作为一种可选的实现方式，所述对所述目标的头部的灰度
‑
深度图像进行人脸重建处理是通过人脸重建网络模型处理的。
[0011]作为一种可选的实现方式，所述人脸重建网络模型通过如下训练得到：分别对输入人脸重建网络模型的用户灰度图像样本和用户深度图像样本进行特征提取，得到所述用户的灰度特征和深度特征；将所述用户的灰度特征和深度特征进行融合处理，得到所述用户的人脸模型参数，所述人脸模型参数包括身份参数、表情参数、纹理参数、旋转参数和位移参数；根据所述用户的人脸模型参数得到人脸信息；根据所述人脸信息获取损失值，若未达到停止条件，则调整所述人脸重建网络模型的参数，并重复执行上述步骤，直到达到停止条件，得到训练后的所述人脸重建网络模型，其中，所述损失值对应的第一损失函数中用户眼睛的权重不小于预设阈值。该停止条件可以是损失值不大于预设值。
[0012]作为另一种可选的实现方式，所述方法还包括：获取所述用户的第一点云样本以及遮挡物的点云样本、纹理样本；在所述用户的第一点云样本上叠加所述遮挡物的点云样本，得到所述用户的第二点云样本；对所述用户的第二点云样本进行消隐处理，得到所述用户的第三点云样本；对所述第三点云样本和所述遮挡物的纹理样本进行渲染处理，得到所述用户的二维图像样本；对所述用户的二维图像样本和所述第三点云样本分别进行添加噪声的增强处理，得到所述用户的增强后的二维图像样本和增强后的深度图像样本，其中所述用户的增强后的二维图像样本和增强后的深度图像样本分别为所述输入人脸重建网络模型的用户灰度图像样本和用户深度图像样本。
[0013]通过本申请实施例，通过获取用户的点云样本以及遮挡物的点云样本、纹理样本，且通过对存在遮挡物的情况进行模拟，训练得到可以适应遮挡物的人脸重建网络模型。采用该方案，可以实现对眼部遮挡物有较强的鲁棒性；且针对眼部区域的数据增强，使得眼部区域重建精度更高。采用该手段，可以模拟出各种真实场景中会出现的情况，获取到对应的增强后的二维图像、三维图像，从而提升算法的鲁棒性。
[0014]第二方面，本申请实施例提供一种眼球追踪装置，包括：预处理模块，用于将灰度图像和深度图像进行预处理，得到预设坐标系下的目标的灰度
‑
深度图像，其中，所述灰度图像和所述深度图像中均包含所述目标的头部信息；检测模块，用于对所述目标的灰度
‑
深度图像进行人头检测，以得到所述目标的头部的灰度
‑
深度图像；重建处理模块，用于对所述目标的头部的灰度
‑
深度图像进行人脸重建处理，以得到所述目标的人脸信息；获取模块，用于根据所述人脸信息得到所述目标的瞳孔位置。
[0015]作为一种可选的实现方式，所述重建处理模块，用于：对所述目标的头部的灰度
‑
深度图像进行特征提取，得到所述目标的灰度特征和深度特征；将所述目标的灰度特征和深度特征进行融合处理，得到所述目标的人脸模型参数；根据所述目标的人脸模型参数得到所述目标的人脸信息。
[0016]作为一种可选的实现方式，所述对所述目标的头部的灰度
‑
深度图像进行人脸重建处理是通过人脸重建网络模型处理的。
[0017]作为一种可选的实现方式，所述人脸重建网络模型通过如下训练得到：分别对输
入人脸重建网络模型的用户灰度图像样本和用户深度图像样本进行特征提取，得到所述用户的灰度特征和深度特征；将所述用户的灰度特征和深度特征进行融合处理，得到所述用户的人脸模型参数，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种眼球追踪方法，其特征在于，包括：将灰度图像和深度图像进行预处理，得到预设坐标系下的目标的灰度
‑
深度图像，其中，所述灰度图像和所述深度图像中均包含所述目标的头部信息；对所述目标的灰度
‑
深度图像进行人头检测，以得到所述目标的头部的灰度
‑
深度图像；对所述目标的头部的灰度
‑
深度图像进行人脸重建处理，以得到所述目标的人脸信息；根据所述人脸信息得到所述目标的瞳孔位置。2.根据权利要求1所述的方法，其特征在于，所述对所述目标的头部的灰度
‑
深度图像进行人脸重建处理，以得到所述目标的人脸信息，包括：对所述目标的头部的灰度
‑
深度图像进行特征提取，得到所述目标的灰度特征和深度特征；将所述目标的灰度特征和深度特征进行融合处理，得到所述目标的人脸模型参数；根据所述目标的人脸模型参数得到所述目标的人脸信息。3.根据权利要求2所述的方法，其特征在于，所述对所述目标的头部的灰度
‑
深度图像进行人脸重建处理是通过人脸重建网络模型处理的。4.根据权利要求3所述的方法，其特征在于，所述人脸重建网络模型通过如下训练得到：分别对输入人脸重建网络模型的用户灰度图像样本和用户深度图像样本进行特征提取，得到所述用户的灰度特征和深度特征；将所述用户的灰度特征和深度特征进行融合处理，得到所述用户的人脸模型参数，所述人脸模型参数包括身份参数、表情参数、纹理参数、旋转参数和位移参数；根据所述用户的人脸模型参数得到人脸信息；根据所述人脸信息获取损失值，若未达到停止条件，则调整所述人脸重建网络模型的参数，并重复执行上述步骤，直到达到停止条件，得到训练后的所述人脸重建网络模型，其中，所述损失值对应的第一损失函数中用户眼睛的权重不小于预设阈值。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取所述用户的第一点云样本以及遮挡物的点云样本、纹理样本；在所述用户的第一点云样本上叠加所述遮挡物的点云样本，得到所述用户的第二点云样本；对所述用户的第二点云样本进行消隐处理，得到所述用户的第三点云样本；对所述第三点云样本和所述遮挡物的纹理样本进行渲染处理，得到所述用户的二维图像样本；对所述用户的二维图像样本和所述第三点云样本分别进行添加噪声的增强处理，得到所述用户的增强后的二维图像样本和增强后的深度图像样本，其中所述用户的增强后的二维图像样本和增强后的深度图像样本分别为所述输入人脸重建网络模型的用户灰度图像样本和用户深度图像样本。6.一种眼球追踪装置，其特征在于，包括：预处理模块，用于将灰度图像和深度图像进行预处理，得到预设坐标系下的目标的灰度
‑
深度图像，其中，所述灰度图像和所述深度图像中均包含所述目标的头部信息；
检测模块，用于对所述目标的灰度
‑
深度图像进行人头检测，以得到所述目标的头部的灰度
...

【专利技术属性】
技术研发人员：袁麓，张国华，张代齐，郑爽，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：