一种视线估计方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种视线估计方法、系统、装置及存储介质，该方法包括：获取人脸图像并进行关键点检测和3D模型拟合处理，得到人眼图像和3D头部旋转向量；对人眼图像和3D头部旋转向量进行数据正则化，得到正则化人眼图像和头部姿态估计向量；将正则化人眼图像和头部姿态估计向量输入到预训练的CNN网络，并将网络输出转换为3D视线方向向量。该系统包括：图像预处理模块、数据正则化模块和结果输出模块。该装置包括存储器以及用于执行上述视线估计方法的处理器。通过使用本发明专利技术，能够得到高精度的视线估计结果。本发明专利技术作为一种视线估计方法、系统、装置及存储介质，可广泛应用于视线估计领域。领域。领域。

【技术实现步骤摘要】
一种视线估计方法、系统、装置及存储介质


[0001]本专利技术涉及视线估计领域，尤其涉及一种视线估计方法、系统、装置及存储介质。

技术介绍

[0002]视线估计技术是研究如何精准的跟踪人类视觉方向、视觉注意力的技术，视线估计技术在实际生活中有着广泛的应用场景、巨大的应用价值，可以应用在认知科学、心理学、医学研究、汽车驾驶、娱乐以及广告与市场营销研究等领域，为人们生活带来便利，全面提升社会科技水平，伴随着光学成像技术和图像处理能力的不断提高，特别是计算机视觉的发展，基于图像的视线估计方法开始成为主导，目前的视线估计方法包括基于模型的方法和基于表现的视线，但是，现有方法存在估计精度不高、估计速度较慢、对场景依赖性强、实验过程复杂、用户体验差等问题。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的是提供一种视线估计方法、系统、装置及存储介质，精度高、无需定标且操作简单。
[0004]本专利技术所采用的第一技术方案是：一种视线估计方法，包括以下步骤：
[0005]获取人脸图像并进行关键点检测和3D模型拟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线估计方法，其特征在于，包括以下步骤：获取人脸图像并进行关键点检测和3D模型拟合处理，得到人眼图像和3D头部旋转向量；对人眼图像和3D头部旋转向量进行数据正则化，得到正则化人眼图像和头部姿态估计向量；将正则化人眼图像和头部姿态估计向量输入到预训练的CNN网络，并将网络输出转换为3D视线方向向量。2.根据权利要求1所述一种视线估计方法，其特征在于，所述获取人脸图像并进行关键点检测和3D模型拟合处理，得到人眼图像和3D头部旋转向量这一步骤，其具体包括：获取完整的人脸图像；基于dlib人脸检测和68个人脸关键点检测进行2D人脸对齐，得到图像对应的人脸关键点二维坐标；根据人脸关键点二维坐标中的眼部关键点位置，获取人眼图像；获取3D人脸关键点模型；基于EPnP算法将人脸关键点二维坐标和3D人脸关键点模型进行拟合，得到3D头部旋转向量。3.根据权利要求2所述一种视线估计方法，其特征在于，对人眼图像进行数据正则化之前，还包括对人眼图像进行眨眼检测并筛选这一步骤，具体包括：根据人眼图像中的左眼关键点信息和右眼关键点信息，得到穿过眼睛的一条水平线和一条垂直线；计算水平线与对应垂直线的比值；判断到比值大于预设阈值，确定该人眼图像为睁眼状态，将进行视线估计；判断到比值小于预设阈值，确定该人眼图像为闭眼状态，将不再进行视线估计。4.根据权利要求3所述一种视线估计方法，其特征在于，数据正则化的公式如下：M＝S*R上式中，R表示相机旋转矩阵的逆矩阵，S表示缩放矩阵。5.根据权利要求4所述一种视线估计方法，其特征在于，所述对人眼图像和3D头部旋转向量进行数据正则化，得到正则化人眼图像和头部姿态估计向量这一步骤，其具体包括：基于变换矩阵对人眼图像和3D头部旋转向量进行处理；将相机坐标系以R旋转矩阵旋转；再将相机坐标系以S缩放矩阵进行缩放；通过透视...

【专利技术属性】
技术研发人员：梁姗姗，张航，
申请(专利权)人：中山大学，
类型：发明
国别省市：