视线估计方法和装置制造方法及图纸

技术编号:35764345 阅读:37 留言:0更新日期:2022-12-01 14:00
本公开实施例提供一种视线估计方法和装置,该方法包括获取目标图像,目标图像呈现有待测用户的面部图像;对目标图像进行面部特征检测,得到待测用户的面部特征信息;将目标图像和所述面部特征信息输入至机器学习模型中进行视线估计,得到机器学习模型输出的视线估计结果;机器学习模型已基于样本图像、样本面部特征和样本视线信息进行了训练,样本面部特征是所述样本图像中呈现的面部特征,样本视线信息用于指示所述样本图像中呈现的视线;根据视线估计结果确定在所述目标图像中所述待测用户的视点位置。本公开实施例通过预先训练得到的模型对用户的图像进行处理得到视线估计结果,降低了操作复杂性,且提高了视线估计效率和准确率。率和准确率。率和准确率。

【技术实现步骤摘要】
视线估计方法和装置


[0001]本公开实施例涉及计算机视觉
,尤其涉及一种视线估计方法和装置。

技术介绍

[0002]随着科学技术的迅速发展,计算机视觉的应用领域越来越广泛,其不仅能应用于人机交互
比如,视线估计(Gaze Estimation)技术指的是通过采集用户的人眼图像信息估计用户的视线方向和视点位置,从而实现对计算机等设备的操控等。近年来,随着大数据、人工智能等新一代信息技术的发展,对视线估计技术也提出了更高的要求。
[0003]相关技术中,通过对眼睛视线方向进行估计进而确定注视点位置的方法通常为,采用瞳孔

角膜反射方法确定眼球的注视点位置信息,即利用多个光源在用户眼球中形成多个光斑,并获取用户的人眼图像,然后根据在人眼图像上检测到所有光源对应的光斑得到注视点位置信息。
[0004]然而,现有方法需要额外使用光源和传感器设备,操作复杂,且在用户眼球运动幅度较大或者用户头部运动幅度较大时,部分光源无法在人眼中形成光斑,从而导致无法进行视线估计或视线估计不准确的问题。<br/>
技术实现思路
本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种视线估计方法,其特征在于,包括:获取目标图像,所述目标图像呈现有待测用户的面部图像;对所述目标图像进行面部特征检测,得到所述待测用户的面部特征信息;将所述目标图像和所述面部特征信息输入至机器学习模型中进行视线估计,得到所述机器学习模型输出的视线估计结果;所述机器学习模型已基于样本图像、样本面部特征和样本视线信息进行了训练,所述样本面部特征是所述样本图像中呈现的面部特征,所述样本视线信息用于指示所述样本图像中呈现的视线;根据所述视线估计结果,确定在所述目标图像中所述待测用户的视点位置。2.根据权利要求1所述的方法,其特征在于,所述对所述目标图像进行面部特征检测,得到所述待测用户的面部特征信息,包括:获取所述目标图像的图像信息,所述图像信息包括所述目标图像的宽度和高度、所述目标图像中每行像素所占空间、所述目标图像的色彩空间和所述目标图像的方向信息;将所述目标图像的图像信息输入至预先训练得到的人脸检测模型中,得到所述人脸检测模型输出的所述待测用户的面部特征信息,所述面部特征信息包括所述待测用户的面部矩形区域信息、人脸关键点数据、每个人脸关键点的能见度、面部水平转角、面部俯仰角、面部旋转角以及双眼间距。3.根据权利要求1所述的方法,其特征在于,所述视线估计结果包括:左眼和右眼在三维空间中的位置信息和双眼平均视线方向,所述三维空间是以目标点所在位置为原点建立的三维空间;所述根据所述视线估计结果,确定在所述目标图像中所述待测用户的视点位置,包括:根据所述左眼和右眼在三维空间中的位置信息,确定所述左眼和右眼之间的中间点位置信息;根据所述中间点位置信息、所述双眼平均视线方向和第一公式,确定所述待测用户的视点位置。4.根据权利要求3所述的方法,其特征在于,所述第一公式为空间直线方程。5.根据权利要求1

4任一项所述的方法,其特征在于,还包括:根据所述待测用户的视点位置,判断所述待测用户的视点是否在预设区域内,所述预设区域为目标平面中的区域。6.根据权利要求5所述的方法,其特征在于,所述根据所述待测用户的视点位置,判断所述待测用户的视点是否在预设区域内,包括:在所述视点的横坐标、纵坐标和竖坐标满足预设条件时,确定所述视点在所述预设区域内,所述预设条件包括:所述视点的横坐标在第一范围内、所述视点的纵坐标在第二范围内且所述视点的竖坐标在第三范围内;其中,所述第一范围、第二范围和第三范围各自对应的起始值和终点值是根据所述预设区域的各个边缘点的坐标确定的,且所述第一范围的起始值和终点值分别是所述预设区域的各个边缘点的横坐标的最小值和最大值,所述第二范围的起始值和终点值分别是所述预设区域的各个边缘点的纵坐标的最小值和最大值,所述第三范围的起始值和终点值分别是所述预设区域的各个边缘点的竖坐标的最小值和最大值。7.根据权利要求1

4任一项所述...

【专利技术属性】
技术研发人员:罗飞
申请(专利权)人:北京字跳网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1