视线追踪方法、装置、设备和存储介质制造方法及图纸

本发明专利技术涉及一种视线追踪方法、装置、设备和存储介质，包括：获取眼睛图像；确定所述眼睛图像中瞳孔成像点在屏幕的立体坐标系中的坐标、以及光源经角膜反射在所述眼睛图像中形成的光源成像点在所述立体坐标系中的坐标；根据所述瞳孔成像点的坐标和光源成像点的坐标确定光轴方向；按照与所述眼睛图像匹配的光视轴方向角度差以及所述光轴方向，确定视轴方向；根据所述视轴方向，确定在所述屏幕上的凝视点位置。本申请的方案提高了所确定的凝视点位置的准确性。

LOS TRACKING METHOD, EQUIPMENT, EQUIPMENT AND STORAGE MEDIUM

【技术实现步骤摘要】
视线追踪方法、装置、设备和存储介质
本专利技术涉及计算机
，特别是涉及一种视线追踪方法、装置、设备和存储介质。
技术介绍
随着科学技术的飞速发展，视线追踪技术也越来越受到关注。其中，视线追踪，是通过观测眼睛，来估算出视线凝视点的位置。传统方法中，是通过将当前获取的眼睛图像与之前获取的眼睛图像进行对比，根据两幅眼睛图像中的瞳孔成像点的位移差来估计人眼的凝视点位置。这种直接根据平面的瞳孔成像点的位移差所估计出的凝视点位置不够准确。
技术实现思路
基于此，有必要针对根据瞳孔成像点的位移差所估计出的凝视点位置不够准确的问题，提供一种视线追踪方法、装置、计算机设备和存储介质。一种视线追踪方法，所述方法包括：获取眼睛图像；确定所述眼睛图像中瞳孔成像点在屏幕的立体坐标系中的坐标、以及光源经角膜反射在所述眼睛图像中形成的光源成像点在所述立体坐标系中的坐标；根据所述瞳孔成像点的坐标和光源成像点的坐标确定光轴方向；按照与所述眼睛图像匹配的光视轴方向角度差以及所述光轴方向，确定视轴方向；根据所述视轴方向，确定在所述屏幕上的凝视点位置。一种视线追踪装置，所述装置包括：获取模块，用于获取眼睛图像；坐标确定模块，用于确定所述眼睛图像中瞳孔成像点在屏幕的立体坐标系中的坐标、以及光源经角膜反射在所述眼睛图像中形成的光源成像点在所述立体坐标系中的坐标；光轴方向确定模块，用于根据所述瞳孔成像点的坐标和光源成像点的坐标确定光轴方向；视轴方向确定模块，用于按照与所述眼睛图像匹配的光视轴方向角度差以及所述光轴方向，确定视轴方向；凝视点确定模块，用于根据所述视轴方向，确定在所述屏幕上的凝视点位置。一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：获取眼睛图像；确定所述眼睛图像中瞳孔成像点在屏幕的立体坐标系中的坐标、以及光源经角膜反射在所述眼睛图像中形成的光源成像点在所述立体坐标系中的坐标；根据所述瞳孔成像点的坐标和光源成像点的坐标确定光轴方向；按照与所述眼睛图像匹配的光视轴方向角度差以及所述光轴方向，确定视轴方向；根据所述视轴方向，确定在所述屏幕上的凝视点位置。一种存储有计算机程序的存储介质，所述计算机程序被一个或多个处理器执行时，使得一个或多个处理器执行如下步骤：获取眼睛图像；确定所述眼睛图像中瞳孔成像点在屏幕的立体坐标系中的坐标、以及光源经角膜反射在所述眼睛图像中形成的光源成像点在所述立体坐标系中的坐标；根据所述瞳孔成像点的坐标和光源成像点的坐标确定光轴方向；按照与所述眼睛图像匹配的光视轴方向角度差以及所述光轴方向，确定视轴方向；根据所述视轴方向，确定在所述屏幕上的凝视点位置。上述视线追踪方法、装置、计算机设备和存储介质，确定瞳孔经角膜折射后的瞳孔成像点在屏幕坐标系中的坐标，以及确定光源经角膜反射后的光源成像点在屏幕坐标系中的坐标，将平面的眼睛图像中瞳孔成像点和光源成像点转换为三维的屏幕坐标系中的坐标。根据三维的瞳孔成像点的坐标和光源成像点的坐标，确定真实的眼睛的瞳孔中心与角膜曲率中心连线的光轴方向，并根据光轴方向与视轴方向间的角度差，确定视轴方向，视轴方向能够更加准确的表示视线方向。进而，根据视轴方向确定眼睛在屏幕上的凝视点位置更加的准确。附图说明图1为一个实施例中视线追踪方法的应用环境图；图2为一个实施例中视线追踪方法的流程示意图；图3A为一个实施例中瞳孔经角膜折射成像的示意图；图3B为一个实施例中光源经角膜反射成像的示意图；图4为一个实施例中光视轴方向的示意图；图5为一个实施例中成像点坐标确定步骤的流程示意图；图6为一个实施例中瞳孔中心及角膜曲率中心的坐标确定步骤的流程示意图；图7为一个实施例中光轴方向在立体坐标系中的第一水平方向角度和第一竖直方向角度的示意图；图8为另一个实施例中视线追踪方法的流程示意图；图9为一个实施例中视线追踪装置的结构框图；图10为另一个实施例中视线追踪装置的结构框图；图11为又一个实施例中视线追踪装置的结构框图；图12为一个实施例中计算机设备的内部结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。图1为一个实施例中视线追踪方法的应用环境图。参照图1，该视线追踪方法的应用环境包括通过网络进行通信的头戴式显示器110和计算机设备120。其中，头戴式显示器(HMD，HeadMountedDisplay)110可以是具备输出显示虚拟现实场景功能的头戴式显示设备，可以理解，头戴式显示器也并不限定于输出虚拟现实场景，也可以是能够用于观察到外界事物的设备，比如医用的头戴式显示设备，可以用于观察有机体组织。头戴式显示器110可以包括红外光源发生设备110a和眼睛拍摄设备110b以及屏幕110c。红外光源发生设备110a可用于生成射向眼睛的红外光源，眼睛拍摄设备110b可用于拍摄眼睛图像，屏幕110c可用于输出显示虚拟现实场景画面。眼睛拍摄设备110可以是相机。计算机设备120可用于进行与虚拟现实相关的处理计算。计算机设备120可以是终端。终端可以是台式计算机或移动终端，移动终端可以包括手机、平板电脑、个人数字助理和穿戴式设备等中的至少一种。红外光源发生设备110a可以向眼睛发射红外光源，眼睛拍摄设备110b可以拍摄包括瞳孔成像点和光源经角膜反射得到的光源成像点的眼睛图像。眼睛拍摄设备可以将拍摄的眼睛图像发送至计算机设备120。计算机设备120获取眼睛图像，确定眼睛图像中瞳孔成像点在屏幕110c的立体坐标系中的坐标、以及光源经角膜反射在眼睛图像中形成的光源成像点在立体坐标系中的坐标。计算机设备120根据瞳孔成像点的坐标和光源成像点的坐标确定光轴方向，并按照与眼睛图像匹配的光视轴方向角度差以及光轴方向，确定视轴方向。计算机设备120根据视轴方向，确定被拍摄的眼睛在屏幕110c上的凝视点位置。需要说明的是，在其它实施例中，红外光源发生设备和眼睛拍摄设备也可以是不包括于头戴式显示器，可以是独立于头戴式显示器的、且与头戴式显示器保持确定的位置关系的设备。图2为一个实施例中视线追踪方法的流程示意图。本实施例主要以该视线追踪方法应用于计算机设备来举例说明，该计算机设备可以是图1中的计算机设备120。参照图2，该方法具体包括如下步骤：S202，获取眼睛图像。其中，眼睛图像中包括瞳孔成像点和光源经角膜反射形成的光源成像点。瞳孔，是眼睛内虹膜中心的小圆孔，为光线进入眼睛的通道。角膜，是位于眼球前壁的一层的透明膜，相当于凸凹镜。角膜的前面凸起，呈球面弯曲。瞳孔成像点，是瞳孔中心经角膜折射后的瞳孔折射点在被拍摄的眼睛图像中的成像。瞳孔中心，是瞳孔区域的中心点。光源成像点，是光源中心经角膜反射后的瞳孔反射点在被拍摄的眼睛图像中的成像。光源是射向眼睛的入射光。光源中心，是光源区域的中心点。在一个实施例中，光源可以为红外光源。图3A为一个实施例中瞳孔经角膜折射成像的示意图。图3B为一个实施例中光源经角膜反射成像的示意图。参照图3A，眼睛实体的眼球E包括眼球中心d、瞳孔中心p、角膜J和角膜曲率中心c。其中，角膜曲率中心，是将角膜建本文档来自技高网...

【技术保护点】
1.一种视线追踪方法，所述方法包括：获取眼睛图像；确定所述眼睛图像中瞳孔成像点在屏幕的立体坐标系中的坐标、以及光源经角膜反射在所述眼睛图像中形成的光源成像点在所述立体坐标系中的坐标；根据所述瞳孔成像点的坐标和光源成像点的坐标确定光轴方向；按照与所述眼睛图像匹配的光视轴方向角度差以及所述光轴方向，确定视轴方向；根据所述视轴方向，确定在所述屏幕上的凝视点位置。

【技术特征摘要】
1.一种视线追踪方法，所述方法包括：获取眼睛图像；确定所述眼睛图像中瞳孔成像点在屏幕的立体坐标系中的坐标、以及光源经角膜反射在所述眼睛图像中形成的光源成像点在所述立体坐标系中的坐标；根据所述瞳孔成像点的坐标和光源成像点的坐标确定光轴方向；按照与所述眼睛图像匹配的光视轴方向角度差以及所述光轴方向，确定视轴方向；根据所述视轴方向，确定在所述屏幕上的凝视点位置。2.根据权利要求1所述的方法，其特征在于，所述确定所述眼睛图像中瞳孔成像点在屏幕的立体坐标系中的坐标，确定光源经角膜反射在所述眼睛图像中形成的光源成像点在所述立体坐标系中的坐标包括：在所述眼睛图像中确定瞳孔成像点的像素位置和光源经角膜反射形成的光源成像点的像素位置；根据眼睛图像中像素位置与屏幕的立体坐标系中坐标的映射关系，将所述瞳孔成像点的像素位置映射为所述瞳孔成像点在所述立体坐标系中的坐标；根据所述映射关系，将所述光源成像点的像素位置映射为所述光源成像点在所述立体坐标系中的坐标。3.根据权利要求1所述的方法，其特征在于，所述根据所述瞳孔成像点的坐标和光源成像点的坐标确定光轴方向包括：根据所述瞳孔成像点的坐标和所述光源成像点的坐标，确定瞳孔中心的坐标和角膜曲率中心的坐标；根据所述瞳孔中心的坐标和所述角膜曲率中心的坐标，确定所述瞳孔中心与所述角膜曲率中心连线的光轴方向。4.根据权利要求3所述的方法，其特征在于，所述根据所述瞳孔成像点的坐标和所述光源成像点的坐标，确定瞳孔中心的坐标和角膜曲率中心的坐标包括：分别获取所述光源和所述眼睛图像的拍摄点在所述屏幕的立体坐标系中相应的光源坐标和拍摄点坐标；根据所述拍摄点坐标和所述瞳孔成像点的坐标，确定瞳孔折射点的坐标；根据所述拍摄点坐标和所述光源成像点的坐标，确定光反射点的坐标；获取与所述眼睛图像匹配的瞳孔中心至角膜曲率中心的距离和角膜半径；根据所述瞳孔中心至角膜曲率中心的距离、所述角膜半径、所述光反射点的坐标、所述瞳孔折射点的坐标、所述拍摄点坐标以及所述光源坐标，确定瞳孔中心的坐标和角膜曲率中心的坐标。5.根据权利要求4所述的方法，其特征在于，所述根据所述瞳孔中心至角膜曲率中心的距离、所述角膜半径、所述光反射点的坐标、所述瞳孔折射点的坐标、所述拍摄点坐标以及所述光源坐标，确定瞳孔中心的坐标和角膜曲率中心的坐标包括：按照以下公式确定瞳孔中心的坐标和角膜曲率中心的坐标：(r-o)×(c-o)·(p-o)＝0；n1||(r-c)×(p-r)||·||(o-r)||＝n2||(r-c)×(o-r)||·||(p-r)||；||r-c||＝R；(l-o)×(q-o)·(c-o)＝0；(l-q)·(q-c)·||(o-q)||＝(o-q)·(q-c)·||(l-q)||；||q-c||＝R；||p-c||＝K；其中，r为瞳孔折射点的坐标；o为拍摄点坐标；c为角膜曲率中心的坐标；p为瞳孔中心的坐标；n1为角膜折射率；n2为空气折射率；R为角膜半径；l为光源坐标；q为光反射点的坐标；K为瞳孔中心至角膜曲率中心的距离。6.根据权利要求3所述的方法，其特征在于，所述根据所述瞳孔中心的坐标和所述角膜曲率中心的坐标，确定所述瞳孔中心与所述角膜曲率中心连线的光轴方向包括：将所述瞳孔中心的坐标减去所述角膜曲率中心的坐标，得到所述瞳孔中心到所述角膜曲率中心的向量；根据所述向量和所述向量的模的比值，得到表示所述瞳孔中心与角膜曲率中心连线的光轴方向的单位向量。7.根据权利要求6...

【专利技术属性】
技术研发人员：高林，刘婷婷，袁坤，黄婷婷，
申请(专利权)人：中国科学院计算技术研究所，腾讯科技深圳有限公司，
类型：发明
国别省市：北京,11