用于确定三维对象上注视点的方法和装置制造方法及图纸

一种用于确定被摄体(subject)的注视端点的系统，该系统包括：眼睛追踪单元，该眼睛追踪单元适于被摄体的一只或多只眼睛的注视方向；头部追踪单元，该头部追踪单元适于确定眼睛追踪器相对于参考坐标系统的位置，该位置包括地点和方位；3D结构表示单元，该3D结构表示单元利用场景的对象在参考坐标系统中的3D结构和位置来提供场景的3D结构表示；基于注视方向、眼睛追踪器位置和3D结构表示，计算场景的3D结构表示的对象上的注视端点或确定该对象本身。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于确定注视端点的方法和装置，尤其是用于确定被摄体在空间中的三维对象上的注视端点的方法和装置。
技术介绍
针对找到(可能是移动的)人所注视的点或对象或更具体地对象表面的一部分的问题，存在现存的解决方案。这种解决方案描述如下并且可以被拆分成单独的部分。首先，要找到人(或者其表示，如瞳孔/CR组合，角膜中心和瞳孔/角膜缘等)的注视方向。为了确定注视方向，可以使用眼睛追踪器。眼睛追踪器观察眼睛(如瞳孔、角膜缘、巩膜上的血管、眼球或光源的反射(角膜反射))的特征，以计算注视方向。然后，该注视方向被映射到由头戴式场景相机或任何固定位置处的场景相机所捕捉的场景图像。头戴式场景相机相对于头部是固定的，并且因此，一旦进行了相应的校准，就可以进行这种映射。为了执行校准，用户可能必须注视由头戴式相机捕捉的场景图像中的若干个定义的点。通过使用相应地检测的注视方向，可以执行校准，结果产生将注视方向映射到场景图像中的相应的点的转换。在该途径中，如果任何类型的眼睛追踪器允许将注视方向映射到头戴式场景相机的图像中，则可以都被使用。该途径使能够确定由头戴式场景相机所拍摄的场景图像中的注视点。作为下一步骤，它会感兴趣的是将头戴式场景相机所捕捉到的场景图像中的注视点映射到(稳定的)参考图像中的点，该注视点可以由于被摄体的移动而可以变化，该参考图像不会移动并且对应于“真实世界”对象或其图像。从而，因为场景相机可以与使用者的头部一起移动，所以通常从与由头戴式场景相机所拍摄的场景图像不同的相机位置拍摄参考图像。对于头部移动的这种情况，存在已知途径用于基于相对于头部移动后由头戴式相机拍摄得到的特定场景图像的注视方向的检测来确定不移动的参考图像中的注视点。一种确定注视点的可能途径是将注视方向与相对于眼睛追踪器所限定的虚拟场景平面相交。WO 2010/083853 Al公开了将有源IR标记物用于该目的，该有源IR标记物被固定到特定位置处，例如附接到书架。首先，通过使用两个正交IR线检测器对这些标记物相对于“测试场景”的位置进行检测，该“测试场景”用作由头戴式相机所获得的“参考”图像，这两个IR线检测器通过检测两个线传感器的最大强度来检测两个正交角度。所检测的IR源的角度对应于其在参考图像中的位置。然后，为头戴式相机从不同位置拍摄的随后检测场景检测标记物的角度，从而检测IR源在随后场景图像中的位置。然后，再确定“立体投射”，该立体投射是将所检测到的IR源在随后拍摄的图像(场景图像)中的位置(此时头戴式相机位于不同的位置)转换成IR光源在测试图像(或参考图像)中的位置的映射。借助于这种转换，之后确定的场景图像的注视点也可以转换成测试图像中的相应的(实际)注视点。通过相对场景稳定标记物，而非相对眼睛追踪器(ET)，来界定注视点被映射的平面，使得将来自实际“场景图像”的注视点映射到不随着时间变化的稳定的参考图像变得可能。以这种方式，参考图像的平面变得随着时间变化而稳定，并且其他参与者的注视也可被映射到其中，因而注视点信息可以随着时间和参与者变化而被聚集，就像之前只能使用位于固定位置的眼睛追踪器做到的一样。为此，如WO 2010/083853 Al所公开的，现有技术使用IR源作为人工标记物来检测最大发射角，该人工标记物的位置可以通过正交IR线检测器而被检测。利用IR源作为标记物来确定注视点的从场景图像向参考图像的转换的做法很复杂并且不方便。在由 SensoMotoric Instruments Gesellschaft fur innovative Sensorik mbH提交的和题为“用于注视点映射的方法和装置”的欧洲专利申请第EPl I 158922.2描述了不同的途径，其通过引用并入本文。在该途径中提供了一种用于将被摄体在场景图像上的注视点映射到在参考图像中的注视点的装置，其中所述场景图像和所述参考图像已经由相机从不同的位置拍摄，所述装置包括: 模块，该模块用于在所述参考图像上执行特征检测算法来识别多个特性特征和它们在所述参考图像中的位置； 模块，该模块用于在所述场景图像上执行所述特征检测算法来再次识别所述多个特性特征和它们在所述场景图像中的位置； 模块，该模块用于确定点转移映射，该点转移映射基于在所述参考图像和所述场景图像中检测到的所述多个特性特征的位置而将点位置在所述场景图像和所述参考图像之间转换； 模块，该模块用于使用所述点转移映射以将已经在所述场景图像中确定的注视点映射到其在所述参考图像中的相应的点。这使能够实现注视点映射，该注视点映射不需要任何人工IR源或IR检测器。它可以在由在可见频率范围内操作的常规CCD相机拍摄的自然场景的正常且无修改的图像上操作。对于这种途径的详细描述，参照欧洲专利申请第EPl I 158922.2号。但是，即便凭借这种途径，也只可以将移动被摄体的注视映射到特定的预定静态平面，然而，在3D空间中的任何任意的对象处确定注视端点是不可能的。因此，本专利技术的目的在于提供一种途径，该途径可以在3D空间中的任何任意的对象处确定注视端点。
技术实现思路
根据一个实施例，提供了一种用于确定被摄体的注视端点的系统，该系统包括: 眼睛追踪单元，该眼睛追踪单元适于确定对象的一只或多只眼睛的注视方向； 头部追踪单元，该头部追踪单元适于确定头部和/或眼睛追踪单元相对于参考坐标系统的位置，该位置包括地点和方位； 3D场景结构表示单元，该3D场景结构表示单元借助参考坐标系统中的坐标、通过借助对象的3D位置和/或对象的3D结构表示真实世界场景的对象，来表示真实世界场景和场景中所包含的对象，从而提供场景的3D结构表示； 计算单元，该计算单元用于基于注视方向、眼睛追踪器位置与3D场景结构表示来计算注视端点，和/或用于 基于注视方向、眼睛追踪器位置与3D场景结构表示来确定被摄体正在注视的3D场景中的对象。通过使用3D表示，眼睛追踪器和头部追踪器可以不仅确定2D平面上的注视点而且还可以确定被摄体正在注视的的对象和/或3D中的注视端点。根据一个实施例，该系统包括:模块，该模块用于计算场景的3D结构表示的对象上的注视端点，其中所述注视端点基于注视方向与与3D结构场景表示中的对象的交点来计算。注视方向与3D表示的交点给出了用于计算注视“命中” 3D结构或与3D结构相交的地点的几何途径，并且因此提供了真实注视端点。从而，可以确定场景中的3D对象上的真实注视端点。根据一个实施例，该系统包括模块，该模块用于基于被摄体的两只眼睛的注视方向的交点来计算注视端点，和/或 模块，该模块用于基于所计算的注视端点和真实世界场景的对象的3D位置和/或3D结构来确定被摄体正在注视的对象。通过使用聚散度来计算被摄体的眼睛的注视方向的交点，可以确定注视端点。然后，该注视端点可以用来确定用户正在注视的对象。根据一个实施例，通过选择3D位置和/或结构最接近所计算的注视端点的对象，被注视的对象被确定为被摄体正在注视的对象。根据一个实施例，所述眼睛追踪单元适于确定所述一只或多只眼睛的所述注视方向的概率分布，该眼睛追踪单元适于确定所述被摄体的所述一只或多只眼睛的注视方向，并且其中用于确定被注视的对象的所述计算单元基于注视端点的概率分布来为一个本文档来自技高网...

【技术保护点】
一种用于确定被摄体的注视端点的系统，该系统包括：眼睛追踪单元，该眼睛追踪单元适于确定被摄体的一只或多只眼睛的注视方向；对象追踪单元，该对象追踪单元适于确定头部和/或眼睛追踪单元相对于参考坐标系统的位置，该位置包括地点和方位；3D场景结构表示单元，该3D场景结构表示单元借助参考坐标系统中的坐标、通过借助对象的3D位置和/或对象的3D结构表示真实世界场景的对象，来表示真实世界场景和场景中所包含的对象，从而提供场景的3D结构表示；计算单元，该计算单元用于基于注视方向、眼睛追踪器位置与3D场景结构表示来计算注视端点，和/或用于基于注视方向、眼睛追踪器位置与3D场景结构表示来确定被摄体正在注视的3D场景中的对象。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：简·霍夫曼，汤姆·辛格洛布，丹尼斯·威廉姆斯，
申请(专利权)人：感官运动仪器创新传感器有限公司，
类型：发明
国别省市：德国;DE