用于跟踪头部和眼睛的运动和姿势的系统和方法技术方案

公开了被配置为跟踪头部和眼睛运动的装置、系统和方法。在一个示例中，一种装置包括成像传感器、空间方位传感器和计算设备，该计算设备包括处理器和与处理器通信耦合的存储器。成像传感器被配置为当用户凝视注视点并且绕第一轴和绕与第一轴正交的第二轴旋转用户的头部时捕获和记录用户的眼睛的图像。空间方位传感器耦合到成像传感器，使得成像传感器相对于空间方位传感器具有固定位置和固定方位，并且被配置为在用户头部的旋转期间产生输出，其中每个输出对应于眼睛的一个图像。

Systems and methods for tracking head and eye movements and postures

Devices, systems and methods configured to track head and eye movements are disclosed. In one example, a device includes an imaging sensor, a spatial orientation sensor, and a computing device comprising a processor and a memory coupled to the processor's communication. The imaging sensor is configured to capture and record the image of the user's eyes when the user gazes at the gaze point and rotates the user's head around the first axis and the second axis orthogonal to the first axis. The spatial azimuth sensor is coupled to the imaging sensor so that the imaging sensor has a fixed position and orientation relative to the spatial azimuth sensor, and is configured to generate an output during the rotation of the user's head, each of which corresponds to an image of the eye.

【技术实现步骤摘要】
【国外来华专利技术】用于跟踪头部和眼睛的运动和姿势的系统和方法
本教导总体地涉及人机交互技术。更具体地，本教导涉及用于跟踪人头和眼睛的运动和姿势的系统和方法。
技术介绍
人与计算机交互(HCI)，或者更一般地，人机交互，专注于计算机技术的设计和使用以及用户和计算机之间的接口。HCI依赖于对人类输入行为的灵敏、直观和准确的测量。鼠标、键盘和触摸屏是传统的输入设备，其需要用户的手动控制。某些输入设备(如MicrosoftKinect和LeapMotionController)能够在没有任何物理接触的情况下跟踪用户的身体和/或手势。虚拟现实(VR)的最新进展将诸如OculusRift和HTCVive的护目镜带入消费者市场。VR护目镜可以为用户创建身临其境的三维(3D)体验。用户可以通过转动头部环顾虚拟世界，就像在现实世界中环顾四周一样。增强现实(AR)是另一个快速发展的领域。AR和VR之间的一个主要区别是AR在真实场景中实时操作，而不是仅在VR中计算机创建或记录的场景。在VR和AR两者中，系统知道用户正在查看的位置以及用户想要对预期目标采取的操作将非常有用。有效可靠的头部和眼睛跟踪将在这种情况下实现广泛的应用。如今，自动驾驶车辆也处于前沿阶段。存在这样的情形，由于更新的道路/交通状况或驾驶模式变化等原因，处于其自主模式的汽车可能需要驾驶员的注意力。因此，持续地监视驾驶员正在观察哪里是重要的。机器学习和人工智能(AI)可以在学习、建模和预测的循环中工作。快速直观地跟踪和确认用户的关注点以用于数据采集和确认的方式可以在此循环中发挥重要作用。现有的头部和眼睛跟踪系统包括非常复杂的结构，其导致高成本，并且需要用户在校准和操作期间执行许多动作。因此，需要没有上述缺点的头部和眼睛的运动与姿势跟踪系统以及用于校准和操作的一组工作流程。
技术实现思路
本教导总体地涉及人机交互技术。更具体地，本教导涉及用于跟踪人头和眼睛的运动和姿势的系统和方法。在一个示例中，公开了一种被配置为跟踪头部运动的装置。该装置包括空间方位传感器和计算设备，该计算设备包括处理器和与处理器通信耦合的存储器。空间方位传感器被配置为在用户的头部绕第一轴的第一旋转期间产生第一输出，并且在用户的头部绕第二轴的第二旋转期间产生第二输出，第二轴与第一轴正交的。处理器被配置用于基于第一输出和第二输出确定头部和空间方位传感器之间的方位关系。根据实施例，计算设备包括被配置为基于用户的输入确定计算设备的工作模式的工作模式协调器，其中工作模式是以下中的至少一个：头部校准、头部跟踪和姿势确定。根据实施例，计算设备包括头部校准器，该头部校准器被配置为：获取空间方位传感器的第一输出；基于第一输出计算与第一轴对准的第一旋转向量；获取空间方位传感器的第二输出；基于第二输出计算与第二轴对准的第二旋转向量；基于第一旋转向量和第二旋转向量计算表示头部和空间方位传感器之间的方位关系的一个或多个参数。根据实施例，计算设备包括头部跟踪器，该头部跟踪器被配置为：当头部处于初始方位时，获取空间方位传感器的初始输出；当头部处于最终方位时，获取空间方位传感器的最终输出；以及基于空间方位传感器的初始输出、空间方位传感器的最终输出以及头部和空间方位传感器之间的方位关系，检测从初始方位到最终方位的头部运动。根据实施例，头部跟踪器还被配置为：将最终输出配置为空间方位传感器的新的初始输出；将最终方位配置为头部的新的初始方位，使得将来相对于新的初始方位检测头部运动。根据实施例，计算设备包括姿势确定器，该姿势确定器被配置为：基于检测到的头部运动确定头部姿势，其中，当头部绕第三轴上下运动时，头部姿势是点头，当头部绕与第三轴正交的第四轴左右运动时，头部姿势是摇头，并且，当头部绕与第三轴和第四轴都正交的第五轴运动时，头部姿势是晃头。根据实施例，计算设备包括指令生成器，该指令生成器被配置为基于所确定的头部姿势生成指令，其中该指令对应于用户对机器的输入。根据实施例，由该装置测量的方位基于以下中的至少一个来表示：四元数、欧拉角和矩阵。根据实施例，该装置能够安装到佩戴在头部上的设备上。根据实施例，空间方位传感器是装置中的唯一的空间方位传感器。在另一个示例中，公开了一种被配置为跟踪眼睛运动的装置。该装置包括成像传感器、空间方位传感器和计算设备，该计算设备包括处理器和与处理器通信耦合的存储器。成像传感器被配置为当用户凝视注视点并执行一系列眼睛运动时捕获和记录用户眼睛的图像。空间方位传感器耦合到成像传感器，使得成像传感器相对于空间方位传感器具有固定位置和固定方位，并且被配置为在所述系列眼睛运动期间产生输出，其中每个输出对应于眼睛的一个图像。处理器被配置为基于以下来确定眼睛的眼球中心与成像传感器之间的位置关系：眼睛的图像、空间方位传感器的输出、以及成像传感器相对于空间方位传感器的固定方位。根据实施例，计算设备包括被配置为基于用户的输入确定计算设备的工作模式的工作模式协调器，其中工作模式是以下中的至少一个：眼睛校准、眼睛跟踪和姿势确定。根据实施例，该装置安装在固定平台上，并且该计算设备还被配置为：在成像传感器的前方配置两个标记；在成像传感器的屏幕上配置三条均匀间隔的水平线，其中三条线的中间线位于屏幕的中间；当成像传感器被定向为使得所述两个标记的图像位于所述三条线的顶线的中间的方位时，获取空间方位传感器的第一输出；当成像传感器被定向为使得所述两个标记的图像位于所述三条线的底线的中间的方位时，获取空间方位传感器的第二输出；当成像传感器被定向为使得所述两个标记的图像位于所述三条线的中线的左侧的方位时，获取空间方位传感器的第三输出；当成像传感器被定向为使得所述两个标记的图像位于所述三条线的中线的右侧的方位时，获取空间方位传感器的第四输出；以及基于第一输出、第二输出、第三输出和第四输出计算成像传感器相对于空间方位传感器的固定方位和成像传感器的焦距。根据实施例，计算设备包括眼睛校准器，该眼睛校准器被配置为指示用户凝视注视点并执行所述系列眼睛运动；获取一系列数据对，每个数据对包括眼睛的图像和空间方位传感器的相应输出；获取每个图像中眼球中心的坐标；以及计算眼球中心相对于成像传感器的坐标。根据实施例，眼睛校准器还被配置为基于由成像传感器捕获的双眼的图像来计算用户的双眼的眼球中心相对于成像传感器的坐标。根据实施例，计算设备包括眼睛跟踪器，该眼睛跟踪器被配置为：计算相对于成像传感器的通过头部上的眼睛的眼球中心指向用户正在看的对象的注视向量；基于相对于成像传感器的注视向量计算相对于头部的注视向量；基于相对于头部的注视向量计算眼睛相对于头部的最终方位；基于眼睛相对于头部的预定初始方位和眼睛相对于头部的最终方位，检测眼睛从眼睛相对于头部的预定初始方位到最终方位的眼睛运动；以及基于眼睛的眼睛运动以及头部与空间方位传感器之间的方位关系计算相对于世界的最终注视向量。根据实施例，眼睛跟踪器还被配置为：将眼睛的最终方位配置为眼睛相对于头部的新的初始方位，使得将来基于眼睛相对于头部的新的初始方位检测眼睛运动。根据实施例，计算设备包括姿势确定器，该姿势确定器被配置为基于检测到的眼睛运动来确定眼睛姿势，其中，当相对于世界的注视向量在一段时间内被限制在预定的小范围内时，眼睛姿势是凝视状态。根据实本文档来自技高网...

【技术保护点】
1.一种被配置为跟踪头部运动的装置，包括：空间方位传感器，该空间方位传感器被配置为：在用户头部绕第一轴的第一旋转期间产生第一输出，并且在用户头部绕与第一轴正交的第二轴的第二旋转期间产生第二输出；以及计算设备，该计算设备包括处理器和与处理器通信耦合的存储器，其中处理器被配置为：基于第一输出和第二输出确定头部和空间方位传感器之间的方位关系。

【技术特征摘要】
【国外来华专利技术】1.一种被配置为跟踪头部运动的装置，包括：空间方位传感器，该空间方位传感器被配置为：在用户头部绕第一轴的第一旋转期间产生第一输出，并且在用户头部绕与第一轴正交的第二轴的第二旋转期间产生第二输出；以及计算设备，该计算设备包括处理器和与处理器通信耦合的存储器，其中处理器被配置为：基于第一输出和第二输出确定头部和空间方位传感器之间的方位关系。2.根据权利要求1所述的装置，其中，计算设备包括被配置为基于用户的输入确定计算设备的工作模式的工作模式协调器，其中工作模式是以下中的至少一个：头部校准、头部跟踪和姿势确定。3.根据权利要求1所述的装置，其中，计算设备包括头部校准器，该头部校准器被配置为：获取空间方位传感器的第一输出；基于第一输出计算与第一轴对准的第一旋转向量；获取空间方位传感器的第二输出；基于第二输出计算与第二轴对准的第二旋转向量；以及基于第一旋转向量和第二旋转向量计算表示头部和空间方位传感器之间的方位关系的一个或多个参数。4.根据权利要求1所述的装置，其中，计算设备包括头部跟踪器，该头部跟踪器被配置为：当头部处于初始方位时，获取空间方位传感器的初始输出；当头部处于最终方位时，获取空间方位传感器的最终输出；以及基于空间方位传感器的初始输出、空间方位传感器的最终输出以及头部和空间方位传感器之间的方位关系，检测从初始方位到最终方位的头部运动。5.根据权利要求4所述的装置，其中，头部跟踪器还被配置为：将最终输出配置为空间方位传感器的新的初始输出；以及将最终方位配置为头部的新的初始方位，使得将来相对于新的初始方位检测头部运动。6.根据权利要求4所述的装置，其中，计算设备包括姿势确定器，该姿势确定器被配置为：基于检测到的头部运动确定头部姿势，其中当头部绕第三轴上下运动时，头部姿势是点头，其中当头部绕与第三轴正交的第四轴左右运动时，头部姿势是摇头，并且，其中当头部绕与第三轴和第四轴都正交的第五轴运动时，头部姿势是晃头。7.根据权利要求6所述的装置，其中，计算设备包括指令生成器，该指令生成器被配置为基于所确定的头部姿势生成指令，其中该指令对应于用户对机器的输入。8.根据权利要求1所述的装置，其中，由所述装置测量的方位基于以下中的至少一个来表示：四元数、欧拉角和矩阵。9.根据权利要求1所述的装置，其中，所述装置能够安装到佩戴在头部上的设备上。10.根据权利要求1所述的装置，其中，空间方位传感器是所述装置中唯一的空间方位传感器。11.一种被配置为跟踪眼睛运动的装置，包括：成像传感器，该成像传感器被配置为当用户凝视注视点并执行一系列眼睛运动时捕获和记录用户眼睛的图像；空间方位传感器，该空间方位传感器耦合到成像传感器，使得成像传感器相对于空间方位传感器具有固定位置和固定方位，该空间方位传感器被配置为：在所述系列眼睛运动期间产生输出，其中每个输出对应于眼睛的一个图像；以及计算设备，该计算设备包括处理器和与处理器通信耦合的存储器，其中处理器被配置为：基于以下来确定眼睛的眼球中心与成像传感器之间的位置关系：眼睛的图像、空间方位传感器的输出、以及成像传感器相对于空间方位传感器的固定方位。12.根据权利要求11所述的装置，其中，计算设备包括被配置为基于用户的输入确定计算设备的工作模式的工作模式协调器，其中工作模式是以下中的至少一个：眼睛校准、眼睛跟踪和姿势确定。13.根据权利要求11所述的装置，其中，所述装置安装在固定平台上，并且计算设备还被配置为：在成像传感器的前方配置两个标记；在成像传感器的屏幕上配置三条均匀间隔的水平线，其中三条线的中间线位于屏幕的中间；当成像传感器被定向为使得所述两个标记的图像位于所述三条线的顶线的中间的方位时，获取空间方位传感器的第一输出；当成像传感器被定向为使得所述两个标记的图像位于所述三条线的底线的中间的方位时，获取空间方位传感器的第二输出；当成像传感器被定向为使得所述两个标记的图像位于所述三条线的中线的左侧的方位时，获取空间方位传感器的第三输出；当成像传感器被定向为使得所述两个标记的图像位于所述三条线的中线的右侧的方位时，获取空间方位传感器的第四输出；以及基于第一输出、第二输出、第三输出和第四输出计算成像传感器相对于空间方位传感器的固定方位和成像传感器的焦距。14.根据权利要求11所述的装置，其中，计算设备包括眼睛校准器，该眼睛校准器被配置为：指示用户凝视注视点并执行所述系列眼睛运动；获取一系列数据对，每个数据对包括眼睛的图像和空间方位传感器的相应输出；获取每个图像中的眼球中心的坐标；以及计算眼球中心相对于成像传感器的坐标。15.根据权利要求14所述的装置，其中，眼睛校准器还被配置为基于由成像传感器捕获的双眼的图像来计算用户的双眼的眼球中心相对于成像传感器的坐标。16.根据权利要求11所述的装置，其中，计算设备包括眼睛跟踪器，该眼睛跟踪器被配置为：计算相对于成像传感器的通过头部上的眼睛的眼球中心指向用户正在看的对象的注视向量；基于相对于成像传感器的注视向量计算相对于头部的注视向量；基于相对于头部的注视向量计算眼睛相对于头部的最终方位；基于眼睛相对于头部的预定初始方位和眼睛相对于头部的最终方位，检测眼睛从眼睛相对于头部的预定初始方位到最终方位的眼睛运动；以及基于眼睛的眼睛运动以及头部与空间方位传感器之间的方位关系计算相对于世界的最终注视向量。17.根据权利要求16所述的装置，其中，眼睛跟踪器还被配置为：将眼睛的最终方位配置为眼睛相对于头部的新的初始方位，使得将来基于眼睛相对于头部的新的初始方位检测眼睛运动。18.根据权利要求16所述的装置，其中，计算设备包括姿势确定器，该姿势确定器被配置为：基于检测到的眼睛运动确定眼睛姿势，其中当相对于世界的注视向量在一段时间内被限制在预定的小范围内时，眼睛姿势是凝视状态。19.根据权利要求18所述的装置，其中，计算设备包括指令生成器，该指令生成器被配置为基于所确定的眼睛姿势生成指令，其中该指令对应于用户对机器的输入。20.根据权利要求16所述的装置，其中，眼睛跟踪器还被配置为检测用户双眼的眼睛运动，其中对应于每只眼睛的注视向量相对于世界从预定的初始方位运动到最终方位。21.根据权利要求11所述的装置，其中，所述装置不再包括除所述成像传感器之外的成像传感器，并且不再包括除所述空间方位传感器之外的空间方位传感器。22.一种被配置为跟踪头部和眼睛运动的装置，包括：成像传感器，该成像传感器被配置为当用户凝视注视点并且绕第一轴和绕与第一轴正交的第二轴旋转用户的头部时捕获和记录用户的眼睛的图像；空间方位传感器，该空间方位传感器耦合到成像传感器，使得成像传感器相对于空间方位传感器具有固定位置和固定方位，该空间方位传感器被配...

【专利技术属性】
技术研发人员：聂小春，
申请(专利权)人：美国景书公司，
类型：发明
国别省市：美国,US