一种视线估计的方法、装置和系统制造方法及图纸

本申请实施例公开了一种视线估计的方法、装置和系统，通过实时采集当前人眼图像，从该当前人眼图像中分析出用于描述椭圆形瞳孔所成像的几何参数的瞳孔形态信息，利用瞳孔所成像所分析出的二维瞳孔形态信息计算三维世界坐标系中瞳孔所在平面法向，记作人眼光轴方向；再以预置补偿角度对该人眼光轴方向进行补偿得到人眼视轴方向，即可根据该人眼视轴方向确定出该当前人眼图像对应的注视方向和/或注视点。这样，通过量化当前人眼图像中的瞳孔形态信息，计算和补偿确定出人眼注视方向和/或注视点，从而可以在更大范围内实现对人眼注视方向和/或注视点的实时、准确的检测。

【技术实现步骤摘要】
一种视线估计的方法、装置和系统
本申请涉及眼控
，特别是涉及一种视线估计的方法、装置和系统。
技术介绍
眼控技术，也称视线估计技术，可以对人眼的视线进行追踪和检测，以使得人眼视线能够用于实现一些应用功能。其中，人眼的视线既可以是人眼的注视方向，也可以是人眼的注视点。目前，注视方向和注视点通常通过角膜反射法进行检测。具体地，在用于拍摄人眼图像的相机两侧部署一对光源。由于人眼的角膜可以近似地认为是个球形镜面，当一对光源照射到角膜上时，角膜上会产生两个镜面反射的光斑，从而这两个光斑能够被相机捕捉到人眼图像中。这样，根据人眼图像中角膜上的两个光斑，可以分析出注视点和注视方向。但在有些情况下，人眼的注视方向可能过于偏离相机光轴。此时，光源在眼球的反射点可能会落在巩膜或巩膜与角膜的交界处。在巩膜及巩膜与角膜的交界处上的反射点往往难以形成形态理想的光斑，甚至往往无法形成光斑。因此，相机往往无法捕捉到具有两个形态理想光斑的人眼图像，从而使用角膜反射法就无法检测出人眼的注视方向和注视点。
技术实现思路
本申请所要解决的技术问题是，提供一种视线估计的方法、装置和系统，以使得即使在人眼注视方向过于偏离相机光轴而导致相机无法捕捉到两个光斑的情况下，也能够检测出人眼的注视方向或注视点，从而能够检测出较大范围内的注视方向和注视点。第一方面，提供了一种视线估计的方法，包括：从用户的当前人眼图像中分析瞳孔形态信息，其中，所述瞳孔形态信息是用于描述瞳孔所成像的几何参数；根据所述瞳孔形态信息，计算瞳孔所在平面法向，作为人眼光轴方向；以预置补偿角度对所述人眼光轴方向进行补偿，得到人眼视轴方向，并根据所述人眼视轴方向确定所述当前人眼图像对应的注视方向和/或注视点。可选地，所述预置补偿角度是在具有已知注视点的校准过程中根据所述目标用户的瞳孔形态信息和所述已知注视点确定。可选地，该方法还包括：从用户的当前人眼图像中识别角膜上的真实光斑；所述从用户的当前人眼图像中分析瞳孔形态信息，具体为：若所述当前人眼图像中识别不出角膜上的真实光斑，从所述当前人眼图像中分析所述瞳孔形态信息。可选地，该方法还包括：确定所述当前人眼图像中两光斑之间的间距；若所述当前人眼图像中仅识别出一个角膜上的真实光斑，根据所述真实光斑与所述当前人眼图像中两光斑之间的间距，在所述当前人眼图像中确定预测光斑，其中，所述预测光斑与所述真实光斑是两个不同的光斑；根据所述真实光斑与所述预测光斑，计算所述当前人眼图像对应的注视方向和/或注视点。可选地，所述确定所述当前人眼图像中两光斑之间的间距，具体为：根据所述用户的参考人眼图像中两光斑之间的间距，确定所述当前人眼图像中两光斑之间的间距；其中，所述参考人眼图像包括在所述当前人眼图像之前的n帧人眼图像。可选地，所述当前人眼图像中两光斑之间的间距为各所述参考人眼图像中两光斑之间的间距按照各所述参考人眼图像的权重进行加权得到的，其中，越接近于所述当前人眼图像的参考人眼图像的权重越大。可选地，所述确定所述当前人眼图像中两光斑之间的间距，具体为：根据所述目标用户的瞳孔间距和预置参数，确定所述当前人眼图像中两光斑之间的间距。可选地，所述预置参数是在具有已知注视点的校准过程中根据所述目标用户的瞳孔间距和所述已知注视点确定。可选地，该方法还包括：若所述当前人眼图像中识别出两个角膜上的真实光斑，根据两个所述真实光斑，计算所述当前人眼图像对应的注视方向和/或注视点。可选地，该方法还包括：若所述当前人眼图像中在识别出一个角膜上的真实光斑的基础上还识别出一个非角膜上的不理想光斑，向所述不理想光斑对应的光源发出关闭信号，以使得所述不理想光斑对应的光源关闭。第二方面，还提供了一种视线估计的装置，包括：分析单元，还用于从用户的当前人眼图像中分析瞳孔形态信息，其中，所述瞳孔形态信息是用于描述椭圆形瞳孔的几何参数；第一计算单元，用于根据所述瞳孔所成像形态信息，计算瞳孔所在平面法向，作为人眼光轴方向；补偿单元，用于以预置补偿角度对所述人眼光轴方向进行补偿，得到人眼视轴方向；第一确定单元，用于根据所述人眼视轴方向确定所述当前人眼图像对应的注视方向和/或注视点。可选地，所述预置补偿角度是在具有已知注视点的校准过程中根据所述目标用户的瞳孔形态信息和所述已知注视点确定。可选地，该装置还包括：识别单元，用于从用户的当前人眼图像中识别角膜上的真实光斑；所述分析单元，具体用于：若所述当前人眼图像中识别不出角膜上的真实光斑，从所述当前人眼图像中分析所述瞳孔形态信息。可选地，该装置还包括：第二确定单元，用于确定所述当前人眼图像中两光斑之间的间距；第三确定单元，用于若所述当前人眼图像中仅识别出一个角膜上的真实光斑，根据所述真实光斑与所述当前人眼图像中两光斑之间的间距，在所述当前人眼图像中确定预测光斑，其中，所述预测光斑与所述真实光斑是两个不同的光斑；第二计算单元，用于根据所述真实光斑与所述预测光斑，计算所述当前人眼图像对应的注视方向和/或注视点。可选地，所述第二确定单元，具体用于：根据所述用户的参考人眼图像中两光斑之间的间距，确定所述当前人眼图像中两光斑之间的间距；其中，所述参考人眼图像包括在所述当前人眼图像之前的n帧人眼图像。可选地，所述当前人眼图像中两光斑之间的间距为各所述参考人眼图像中两光斑之间的间距按照各所述参考人眼图像的权重进行加权得到的，其中，越接近于所述当前人眼图像的参考人眼图像的权重越大。可选地，所述第二确定单元，具体用于：根据所述目标用户的瞳孔间距和预置参数，确定所述当前人眼图像中两光斑之间的间距。可选地，所述预置参数是在具有已知注视点的校准过程中根据所述目标用户的瞳孔间距和所述已知注视点确定。可选地，该装置还包括：第三计算单元，用于若所述当前人眼图像中识别出两个角膜上的真实光斑，根据两个所述真实光斑，计算所述当前人眼图像对应的注视方向和/或注视点。可选地，该装置还包括：关闭单元，用于若所述当前人眼图像中在识别出一个角膜上的真实光斑的基础上还识别出一个非角膜上的不理想光斑，向所述不理想光斑对应的光源发出关闭信号，以使得所述不理想光斑对应的光源关闭。第三方面，还提供了一种视线估计的系统，包括处理器、红外成像设备和分别位于所述红外成像设备两侧的两个红外光源；两个红外光源，用于按照所述处理器发送的输出信号开启或关闭；所述红外成像设备，用于拍摄人眼图像并向所述处理器发送；所述处理器，用于执行如前述第一方面提供的视线估计的方法。在本申请实施例中，如果需要对人眼的视线进行检测，判断人眼的注视方向和/或注视点时，可以通过实时采集当前人眼图像，从该当前人眼图像中分析出用于描述瞳孔所成像的几何参数的瞳孔形态信息，利用所分析出的瞳孔形态信息计算瞳孔所在平面法向，记作人眼光轴方向；再以预置补偿角度对该人眼光轴方向进行补偿得到人眼视轴方向，即可根据该人眼视轴方向确定出该当前人眼图像对应的注视方向和/或注视点。这样，本申请实施例提供的技术方案，弥补了在人眼的注视方向过于偏离相机光轴的情况下，采用现有的角膜反射法由于无法识别出两个真实光斑而无法检测人眼注视方向和/或注视点的问题，可以通过量化当前人眼图像中的瞳孔形态信息，通过计算和补偿确定出人眼注视方向和/或注视点，从而可以在更大范围内实现对本文档来自技高网...

【技术保护点】
1.一种视线估计的方法，其特征在于，包括：从用户的当前人眼图像中分析瞳孔形态信息，其中，所述瞳孔形态信息是用于描述瞳孔所成像的几何参数；根据所述瞳孔形态信息，计算世界坐标系中瞳孔所在平面法向，作为人眼光轴方向；以预置补偿角度对所述人眼光轴方向进行补偿，得到人眼视轴方向，并根据所述人眼视轴方向确定所述当前人眼图像对应的注视方向和/或注视点。

【技术特征摘要】
1.一种视线估计的方法，其特征在于，包括：从用户的当前人眼图像中分析瞳孔形态信息，其中，所述瞳孔形态信息是用于描述瞳孔所成像的几何参数；根据所述瞳孔形态信息，计算世界坐标系中瞳孔所在平面法向，作为人眼光轴方向；以预置补偿角度对所述人眼光轴方向进行补偿，得到人眼视轴方向，并根据所述人眼视轴方向确定所述当前人眼图像对应的注视方向和/或注视点。2.根据权利要求1所述的方法，其特征在于，所述预置补偿角度是在具有已知注视点的校准过程中根据所述目标用户的瞳孔形态信息和所述已知注视点确定。3.根据权利要求1所述的方法，其特征在于，还包括：从用户的当前人眼图像中识别角膜上的真实光斑；所述从用户的当前人眼图像中分析瞳孔形态信息，具体为：若所述当前人眼图像中识别不出角膜上的真实光斑，从所述当前人眼图像中分析所述瞳孔形态信息。4.根据权利要求3所述的方法，其特征在于，还包括：确定所述当前人眼图像中两光斑之间的间距；若所述当前人眼图像中仅识别出一个角膜上的真实光斑，根据所述真实光斑与所述当前人眼图像中两光斑之间的间距，在所述当前人眼图像中确定预测光斑，其中，所述预测光斑与所述真实光斑是两个不同的光斑；根据所述真实光斑与所述预测光斑，计算所述当前人眼图像对应的注视方向和/或注视点。5.根据权利要求4所述的方法，其特征在于，所述确定所述当前人眼图像中两光斑之间的间距，具体为：根据所述用户的参考人眼图像中两光斑之间的间距，确定所述当前人眼图像中两光斑之间的间距；其中，所述参考人眼图像包括在所述当前人眼图像之前的n帧人眼图像。6.根据权利要求5所述的方法，其特征在于，所述当前人眼图像中两光斑之间的间距为各所述参考人眼图像中两光斑之间的间距按照各所述参考人眼...

【专利技术属性】
技术研发人员：付阳，王云飞，黄通兵，
申请(专利权)人：北京七鑫易维信息技术有限公司，
类型：发明
国别省市：北京,11