视线追踪方法和装置、计算机可读存储介质、电子设备制造方法及图纸

本公开实施例公开了一种视线追踪方法和装置、计算机可读存储介质、电子设备，其中，方法包括：在一组光源下，分别基于两个成像设备对目标人脸进行图像采集，获得两个人脸成像图像；分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。本公开实施例采用两成像设备单光源的配置，实现对人眼的视线方向进行估计，并且布局紧凑，占空间少，计算简易，实现方便，易于推广。

Line of sight tracking method and device, computer-readable storage medium, electronic equipment

The embodiment of the disclosure discloses a line of sight tracking method and device, a computer-readable storage medium, and an electronic device, wherein the method comprises: under a group of light sources, image acquisition is carried out on the target face based on two imaging devices respectively, and two face imaging images are obtained; each face imaging image in the two face imaging images is processed separately, and two groups of people are obtained Eye feature data; wherein, each face imaging image corresponds to a set of human eye feature data; based on the two sets of human eye feature data, the line of sight of the target face is estimated to determine the line of sight direction of the target face. The embodiment of the disclosure adopts the configuration of two imaging devices and a single light source to realize the estimation of the line of sight direction of the human eye, and the layout is compact, takes up less space, the calculation is simple, the implementation is convenient and the popularization is easy.

【技术实现步骤摘要】
视线追踪方法和装置、计算机可读存储介质、电子设备
本公开涉及视线跟踪
，尤其是一种视线追踪方法和装置、计算机可读存储介质、电子设备。
技术介绍
计算机技术的发展，科技成果已经融入了人们生活的方方面面，给人们生活带来很多便捷。眼球追踪是估计人眼注视方向或注视点的技术。注视方向指在特定空间坐标系中的人眼的视线方向，通常以三维向量表示。注视点指在特点平面上人眼注视点的位置，通常以二维坐标表示。
技术实现思路
本公开实施例所要解决的一个技术问题是：提供一种视线追踪方法和装置、计算机可读存储介质、电子设备。根据本公开的一个方面，提供了一种视线追踪方法，包括：在一组光源下，分别基于两个成像设备对目标人脸进行图像采集，获得两个人脸成像图像；其中，所述两个成像设备之间间隔预设距离；所述一组光源设置于所述两个成像设备之间；分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。可选地，所述两个成像设备以及所述光源设置在世界坐标系下的同一平面内。可选地，所述人眼特征数据包括：瞳孔中心坐标、光斑中心坐标；所述基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向，包括：基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述目标人脸的眼球的曲率中心；r>基于所述两个瞳孔中心坐标、所述两个成像设备的光心坐标和所述目标人脸的眼球的曲率中心，确定所述目标人脸的人眼光轴向量；基于所述人眼光轴向量确定所述目标人脸的视线方向。可选地，所述基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述目标人脸的眼球的曲率中心，包括：基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述光源在人眼的角膜面的反射点坐标；基于所述光源的坐标和所述光斑中心坐标确定角膜曲率半径；基于所述反射点坐标和所述角膜曲率半径确定所述眼球的曲率中心。可选地，所述基于所述人眼光轴向量确定所述目标人脸的视线方向，包括：基于所述人眼光轴向量与人眼视轴之间的固定偏角对所述人眼光轴向量的进行角度补偿，确定所述目标人脸的视线方向。可选地，在基于所述人眼光轴向量与人眼视轴之间的固定偏角对所述人眼光轴向量的进行角度补偿，确定所述目标人脸的视线方向之前，还包括：基于已知坐标的校准点确定校准人眼视轴向量；获取注视所述校准点的人眼的两组校准人眼特征数据；基于所述两组校准人眼特征数据进行视线估计，获得校准人眼光轴向量；基于所述校准人眼视轴向量和校准人眼光轴向量，确定所述固定偏角。可选地，所述一组光源包括一个发光器件；或者，所述一组光源包括多个发光器件，所述多个发光器件之间的距离小于预设值。可选地，所述分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据，包括：针对每个人脸成像图像，对所述人脸成像图像执行人眼检测处理，得到人眼区域图像；对所述人眼区域图像进行特征提取处理，获得所述人眼特征数据。根据本公开的另一个方面，提供了一种视线追踪装置，包括：相距预设距离设置的两个成像设备、设置于两个成像设备之间的一组光源、控制器和/或处理器；所述光源，用于发出光线，照射到目标人脸；所述两个成像设备，用于分别对所述目标人脸进行图像采集，获得两个人脸成像图像；所述控制器和/或所述处理器，用于分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。可选地，所述两个成像设备以及所述光源设置在世界坐标系下的同一平面内。可选地，所述控制器包括图像处理模块和/或视线估计模块；所述处理器包括图像处理模块和/或视线估计模块；所述图像处理模块，用于分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；所述视线估计模块，用于基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。可选地，所述人眼特征数据包括：瞳孔中心坐标、光斑中心坐标；所述视线估计模块，包括：曲率中心确定单元，用于基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述目标人脸的眼球的曲率中心；光轴确定单元，用于基于所述两个瞳孔中心坐标、所述两个成像设备的光心坐标和所述目标人脸的眼球的曲率中心，确定所述目标人脸的人眼光轴向量；视线方向确定单元，用于基于所述人眼光轴向量确定所述目标人脸的视线方向。可选地，所述曲率中心确定单元，具体用于基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述光源在人眼的角膜面的反射点坐标；基于所述光源的坐标和所述光斑中心坐标确定角膜曲率半径；基于所述反射点坐标和所述角膜曲率半径确定所述眼球的曲率中心。可选地，所述视线方向确定单元，具体用于基于所述人眼光轴向量与人眼视轴之间的固定偏角对所述人眼光轴向量的进行角度补偿，确定所述目标人脸的视线方向。可选地，所述视线方向确定单元，还用于基于已知坐标的校准点确定校准人眼视轴向量；获取注视所述校准点的人眼的两组校准人眼特征数据；基于所述两组校准人眼特征数据进行视线估计，获得校准人眼光轴向量；基于所述校准人眼视轴向量和校准人眼光轴向量，确定所述固定偏角。可选地，所述一组光源包括一个发光器件；或者，所述一组光源包括多个发光器件，所述多个发光器件之间的距离小于预设值。可选地，所述图像处理模块，具体用于针对每个人脸成像图像，对所述人脸成像图像执行人眼检测处理，得到人眼区域图像；对所述人眼区域图像进行特征提取处理，获得所述人眼特征数据。可选地，所述装置还包括：光源控制器，用于控制所述光源是否发出光线。可选地，所述控制器，还用于控制所述两个成像设备的触发、曝光和增益。根据本公开的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的视线追踪方法。根据本公开的还一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的视线追踪方法。基于本公开上述实施例提供的一种视线追踪方法和装置、计算机可读存储介质、电子设备，在一组光源本文档来自技高网...

【技术保护点】
1.一种视线追踪方法，其特征在于，包括：/n在一组光源下，分别基于两个成像设备对目标人脸进行图像采集，获得两个人脸成像图像；其中，所述两个成像设备之间间隔预设距离；所述一组光源设置于所述两个成像设备之间；/n分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；/n基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。/n

【技术特征摘要】
1.一种视线追踪方法，其特征在于，包括：
在一组光源下，分别基于两个成像设备对目标人脸进行图像采集，获得两个人脸成像图像；其中，所述两个成像设备之间间隔预设距离；所述一组光源设置于所述两个成像设备之间；
分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；
基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。


2.根据权利要求1所述的方法，其特征在于，所述两个成像设备以及所述光源设置在世界坐标系下的同一平面内。


3.根据权利要求1或2所述的方法，其特征在于，所述人眼特征数据包括：瞳孔中心坐标、光斑中心坐标；
所述基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向，包括：
基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述目标人脸的眼球的曲率中心；
基于所述两个瞳孔中心坐标、所述两个成像设备的光心坐标和所述目标人脸的眼球的曲率中心，确定所述目标人脸的人眼光轴向量；
基于所述人眼光轴向量确定所述目标人脸的视线方向。


4.根据权利要求3所述的方法，其特征在于，所述基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述目标人脸的眼球的曲率中心，包括：
基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述光源在人眼的角膜面的反射点坐标；
基于所述光源的坐标和所述光斑中心坐标确定角膜曲率半径；
基于所述反射点坐标和所述角膜曲率半径确定所述眼球的曲率中心。


5.根据权利要求3或4所述的方法，其特征在于，所述基于所述人眼光轴向量确定所述目标人脸的视线方向，包括：
基于所述人眼光轴向量与人眼视轴之间的固定偏角对所述人眼光轴向量的进行角度补偿，确定所述目标人脸的视线方向。


6.根据权利要求5所述的方法，其特征在于，在基于所述人眼光轴向量与人眼视轴之间的固定偏角对所述人眼光轴向量的进行角度补偿，确定所述目标人脸的视线方向之前，还包括：
基于已知坐标的校准点确定校准人眼视轴向量；
获取注视所述校准点的人眼的两组校准人眼特征数据；
基于所述两组校准人眼特征数据进行视线估计，获得校准人眼光轴向量；
基于所述校准人眼视轴向量和校准人眼光轴向量，确定所述固定偏角。


7.根据权利要求1-6任一所述的方法，其特征在于，所述一组光源包括一个发光器件；
或者，所述一组光源包括多个发光器件，所述多个发光器件之间的距离小于预设值。


8.根据权利要求1-7任一所述的方法，其特征在于，所述分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据，包括：
针对每个人脸成像图像，对所述人脸成像图像执行人眼检测处理，得到人眼区域图像；
对所述人眼区域图像进行特征提取处理，获得所述人眼特征数据。


9.一种视线追踪装置，其特征在于，包括：相距预设距离设置的两个成像设备、设置于两个成像设备之间的一组光源、控制器和/或处理器；
所述光源，用于发出光线，照射到目标人脸；
所述两个成像设备，用于分别对所述目标人脸进行图像采集，获得两个人脸成像图像；
所述控制器和/或所述处理器，用于分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京未动科技有限公司，
类型：发明
国别省市：北京;11