视觉和惯性运动跟踪制造技术

一种跟踪受试体在环境中的运动的运动跟踪系统，该系统包括：被适配为由所述受试体穿戴的成像设备；被适配为由所述受试体穿戴的加速度计；以及处理器，其被配置为接收由所述成像设备捕获的所述环境的一系列图像，并根据所述图像形成所述受试体在所述环境中的位置的估计，以及从所述加速度计接收加速度数据，并根据所述加速度数据和所估计的位置，形成携带所述加速度计的所述受试体的身体的部位的运动的估计。

Vision and inertial motion tracking

【技术实现步骤摘要】
【国外来华专利技术】视觉和惯性运动跟踪本专利技术涉及跟踪人或动物的运动，例如用于通知动画或虚拟现实仿真或用于向控制系统提供输入。已知用于测量受试人或动物的身体和四肢的运动的系统。这些系统的一种用途是收集关于受试体的典型移动的信息。该信息可用于帮助定义动画图形中角色的运动，例如在计算机游戏中。信息的另一用途是允许受试体的特定运动影响系统的操作。例如，受试体可以参加其中动画角色实时移动以模拟受试体的运动的游戏。受试体可以具有虚拟现实头戴式设备(headset)，并且在头戴式设备上示出的图像可以响应于受试体的运动而改变。系统检测到的受试体的运动也可以用于控制诸如工业机器人之类的物理移动设备物品。一种检测受试体运动的方法是将加速度计附接到受试体身体的各种部位。例如，可以将加速度计附接在脚、膝盖、臀部、肩膀、肘部、手和头部处。加速度计检测它们所安装到的身体部位的加速度。所得到的数据给出各个身体部位的运动的指示，并且例如还通过对所有加速度计检测到的运动求平均来给出整个受试体身体的运动的指示。可以将加速度计附接到受试体穿戴的服装，例如弹性连体衣。另选地，可以使用包括陀螺仪、加速度计、磁力计和气压计中的一个、全部或其组合的惯性测量单元(IMU)。检测受试体运动的另一种方法是通过使用声发射器，该声发射器具有放置在受试体将要处于的环境周围的固定位置处的一组声接收器。该系统测量在多个接收器处接收到从对象发射的信号所花费的时间。然后，通过将从发射器到那些接收器中的每一个的飞行时间与接收器的位置相关联，可以在三个维度上估计受试体的位置。此类系统的一个示例是Sarissa局部定位系统。以类似的方式，其他系统采用由待测的受试体携带的无线电发射器，该无线电发射器与位于环境周围或由其他受试体携带的多个无线电接收器协作。无线电接收器可以检测由发射器发送的无线电信号的一系列参数中的任一个(例如，到达时间、到达时间差、到达角度或信号强度)。使用这些参数，可以再次估计发射器相对于接收器的位置。已知用于检测身体运动的其他系统。例如，MicrosoftKinect系统从受试体的图像中检测运动。EP2962284公开了一种用于检测诸如电影摄影机之类的设备的运动的系统。例如，这可用于将模拟图形叠加在视频摄影机的输出上。需要一种用于感测人和动物受试体的运动的改进的系统。根据一个方面，提供了一种用于跟踪受试体在环境中的运动的运动跟踪系统，该系统包括：被适配为由所述受试体穿戴的成像设备；被适配为由所述受试体穿戴的加速度计；以及处理器，其被配置为接收由所述成像设备捕获的所述环境的一系列图像，并根据所述图像形成所述受试体在所述环境中的位置的估计，并且从所述加速度计接收加速度数据，并根据所述加速度数据和所估计的位置，形成携带所述加速度计的所述受试体的身体的部位的运动的估计。所述处理器可以被配置为在所述图像中检测位于所述环境中的多个标记物中的每个标记物的表示，并且通过比较所述标记物的表示在不同时间捕获的图像中的位置来形成所述位置估计。所述处理器可以被配置为将所述图像中的每个标记物的表示检测为所述图像的相对高亮度区域。所述运动跟踪系统可以包括在所述环境中以不规则图案设置的多个标记物。所述标记物可以是逆向反光的。所述标记物可以基本相同。所述标记物可以位于所述环境的朝向下方的表面上。所述成像设备可以固定至头戴物。所述成像设备可以以如下取向固定到所述头戴物：所述取向使得当穿戴者的头部以直立取向正常穿戴所述头戴物时，所述成像设备的视场的中心向上对准。所述头戴物可以是帽子。所述头戴物可以是头戴式设备，所述头戴式设备包括所述头戴式设备的穿戴者可得到的显示器。处理器(可以是第二处理器)可以被配置为使所述显示器上的图像与由所述处理器检测到的所述受试体的头部的运动相对应地摇动和/或倾斜和/或转动。所述处理器(可以是第二处理器)可以被配置为使所述显示器上的图像与由所述处理器检测到的所述受试体的运动相对应地显示对穿过环境的运动进行模拟的所述环境的虚拟现实图像。所述运动跟踪系统可以包括处理器，所述处理器被配置为使显示器在模拟环境中显示人物的图像，其中，所述人物在所述模拟环境中被显示的位置是根据借助于来自所述成像设备的图像确定的所述受试体在所述环境中的位置的所述估计来确定的，并且所述人物被显示的姿势取决于借助于来自所述加速度计的加速度数据确定的加速度数据。根据另一方面，提供了一种用于跟踪受试体在环境中的运动的方法，该方法包括：借助于穿戴在所述受试体的身体的第一部位上的成像设备来感测所述环境的一系列图像；借助于穿戴在所述受试体的身体的第二部位上的加速度计来感测一系列加速度，所述第二身体部位相对于所述第一身体部位通过关节连接；根据所述图像形成所述受试体在所述环境中的位置的估计；根据所述加速度数据和所估计的位置形成所述第二身体部位的运动的估计。可以通过以下方式形成对携带加速度计的受试体身体的部位的运动的估计：(i)对在第一时间与第二时间之间由加速度计测得的加速度进行积分，以形成加速度计在第二时间相对于其在第一时间的位置的位置偏移的估计，并形成该位置偏移估计、在第一时间借助于成像设备确定的位置与预定位置偏移之和；(ii)对在第一时间与第三时间之间由加速度计测得的加速度进行积分(这可以通过对第二时间与第三时间之间的加速度进行积分并将其与所述位置偏移估计相加来完成)以形成加速度计在第三时间相对于其在第一时间的位置的位置偏移的第二估计，并且形成该位置偏移估计、借助于成像设备在第一时间确定的位置与预定位置偏移之和；以及对这两个和进行比较。可以通过估计成像设备与加速度计之间在第一时间的位置偏移来形成预定位置偏移。之间；以及根据加速度数据和估计位置。现在将参照附图通过示例的方式描述本专利技术。在附图中：图1是用于感测受试体的运动的系统的示意图。图2是运动捕获设备的简化图。图3示出了标记物的示例。图4示出了环境中的标记物的图案和由诸如摄像头的成像设备捕获的帧。图5和图6示出了包含摄像头的头戴物的示例。图1示出了受试体1。在该示例中，受试体是人，但是受试体可以是动物，诸如狗或马。受试体具有头部2、躯干3和四肢4。受试体处于包含相对于环境而已是静态的多个对象和/或由所述多个对象所界定的环境中。在该示例中，对象是界定环境的墙壁5、地板6和天花板7以及位于环境中的支柱8。每个静态对象具有暴露于环境的表面。受试体配备有用于感测受试体身体运动的运动捕获设备。将在下面更详细地描述运动捕获设备。来自运动捕获设备的数据被传递到控制器10。控制器10可以处理该信息以生成输出，诸如位置估计流、视频流(可选地与另一处理器15结合)或对机器人或另一项移动设备的运动要求。运动捕获设备在图1中示意性地示出，并且在图2中以架构形式示出。在各幅图中，相同的附图标记物用于表示相同的部分。加速度计20被附加至受试体身体上的各种位置。方便地，加速度计可以基本上附加在受试体的四肢的关节处。例如，一个或更多个加速度计可以被附加在受试体的臀部、膝盖、脚踝、肩本文档来自技高网...

【技术保护点】
1.一种用于跟踪受试体在环境中的运动的运动跟踪系统，该系统包括：/n成像设备，其被适配为由所述受试体穿戴；/n加速度计，其被适配为由所述受试体穿戴；以及/n处理器，其被配置为接收由所述成像设备捕获的所述环境的一系列图像，并根据所述图像形成所述受试体在所述环境中的位置的估计，以及从所述加速度计接收加速度数据，并根据所述加速度数据和所估计的位置来形成携带所述加速度计的所述受试体的身体的部位的运动的估计。/n

【技术特征摘要】
【国外来华专利技术】20170727 GB 1712131.01.一种用于跟踪受试体在环境中的运动的运动跟踪系统，该系统包括：
成像设备，其被适配为由所述受试体穿戴；
加速度计，其被适配为由所述受试体穿戴；以及
处理器，其被配置为接收由所述成像设备捕获的所述环境的一系列图像，并根据所述图像形成所述受试体在所述环境中的位置的估计，以及从所述加速度计接收加速度数据，并根据所述加速度数据和所估计的位置来形成携带所述加速度计的所述受试体的身体的部位的运动的估计。


2.根据权利要求1所述的运动跟踪系统，其中，所述处理器被配置为：
在所述图像中检测位于所述环境中的多个标记物中的各个标记物的表示；以及
通过比较所述标记物的表示在不同时间捕获的图像中的位置来形成所述位置的估计。


3.根据权利要求2所述的运动跟踪系统，其中，所述处理器被配置为将所述图像中的各个所述标记物的表示检测为所述图像的相对高亮度区域。


4.根据任一前述权利要求所述的运动跟踪系统，所述运动跟踪系统包括：按照不规则图案设置在所述环境中的多个标记物。


5.根据权利要求4所述的运动跟踪系统，其中，所述标记物是逆向反光的。


6.根据权利要求4或5所述的运动跟踪系统，其中，所述标记物是基本相同的。


7.根据权利要求4至6中任一项所述的运动跟踪系统，其中，所述标记物位于所述环境的朝向下方的表面上。


8.根据任一前述权利要求所述的运动跟踪系统，其中，所述成像设备被固定至头戴物。


9.根据权利要求8所述的运动跟踪系统，其中，所述成像设备按照如下取向固定到所述头戴物：所述取向...

【专利技术属性】
技术研发人员：M·P·帕斯利，M·P·A·盖斯勒，
申请(专利权)人：MOSYS工程有限公司，
类型：发明
国别省市：英国;GB