人体部分跟踪方法和人体部分跟踪系统技术方案

本发明专利技术提供一种人体部分跟踪方法和人体部分跟踪系统。获得第一图像。第一图像在第一时间点捕获人体部分的第一段和第二段。从第一图像识别第一参考点和第二参考点。根据第一参考点和第二参考点的三维坐标来确定第一段与第二段之间的定位关系。获得第二图像。第二图像在第二时间点捕获第一段但没有第二段。识别来自第二图像的第三参考点。从第二图像识别第三参考点。通过使用第三参考点的三维坐标和定位关系来预测第四参考点的三维坐标。第四参考点指示人体部分的第二段在第二时间点的位置。因此，可跟踪视野外的人体部分的位置。可跟踪视野外的人体部分的位置。可跟踪视野外的人体部分的位置。

【技术实现步骤摘要】
人体部分跟踪方法和人体部分跟踪系统


[0001]本公开大体上涉及运动预测，具体地说，涉及人体部分跟踪方法和人体部分跟踪系统。

技术介绍

[0002]现如今流行用于模拟感觉、感知和/或环境的扩展现实(extended reality；XR)技术，例如虚拟现实(virtual reality；VR)、增强现实(augmented reality；AR)、以及混合现实(mixed reality；MR)。前述技术可应用于多个领域中，例如游戏、军事训练、医疗保健、远程工作等。通常，用户可佩戴头戴式显示器以体验虚拟世界。此外，为了在头戴式显示器系统上提供直观的操作，可检测用户的运动，以根据用户的运动直接操作头戴式显示器系统。可根据由照相机捕获的一个或多个图像来确定用户的运动。然而，照相机具有视野上的限制。举例来说，图1A和图1B是示出手部运动的实例的示意图。参考图1A，用户的手部H位于照相机的视野FOV内。参考图1B，当用户进一步抬高手部H时，手部H可位于视野FOV外。头戴式显示器系统可能不知晓图1B中的手部H的位置且不能继续跟踪手部H的运动。

技术实现思路

[0003]当人体部分位于视野外时，可能无法追踪人体部分的位置。因此，本公开涉及一种人体部分跟踪方法和人体部分跟踪系统，以预测照相机的视野中的人体部分的缺失部分的位置。
[0004]在示范性实施例中的一个中，人体部分跟踪方法包含(但不限于)以下步骤。从图像捕获装置获得第一图像，其中第一图像在第一时间点捕获人体部分第一段和第二段。从第一图像识别第一参考点和第二参考点。第一参考点指示第一段在第一时间点的位置，且第二参考点指示第二段在第一时间点的位置。根据第一参考点和第二参考点的三维坐标来确定第一段与第二段之间的定位关系。从图像捕获装置获得第二图像。第二图像在第二时间点捕获第一段但没有第二段。从第二图像识别第三参考点。识别来自第二图像的第三参考点，其中第三参考点指示人体部分的第一段在第二时间点的位置。通过使用第三参考点的三维坐标和定位关系来预测第四参考点的三维坐标。第四参考点指示人体部分的第二段在第二时间点的位置。
[0005]在示范性实施例中的一个中，人体部分跟踪系统包含(但不限于)图像捕获装置和处理器。处理器耦接到图像捕获装置且配置成用于：通过图像捕获装置获得第一图像，其中第一图像在第一时间点捕获人体部分的第一段和第二段，且人体部分的第一段连接到人体部分的第二段；从第一图像识别第一参考点和第二参考点，其中第一参考点指示人体部分的第一段在第一时间点的位置，且第二参考点指示人体部分的第二段在第一时间点的位置；根据第一参考点和第二参考点的三维坐标确定人体部分的第一段与第二段之间的定位关系；通过图像捕获装置获得第二图像，其中第二图像在第二时间点捕获人体部分的第一段但没有第二段；从第二图像识别第三参考点，其中第三参考点指示人体部分的第一段在
第二时间点的位置；以及通过使用第三参考点的三维坐标和定位关系来预测第四参考点的三维坐标，其中第四参考点指示人体部分的第二段在第二时间点的位置；以及根据第一图像确定第一段与第二段之间的定位关系。
[0006]基于上述，根据本专利技术实施例的人体部分跟踪方法和人体部分跟踪系统，人体部分的两段的参考点在第一时间点的图像中的位置可用以预测不位于第二时间点的另一图像中的某一段的参考点的位置。藉此，当人体部分受某事/物隐藏时，仍可跟踪隐藏部分的位置。
[0007]然而，应理解，这一
技术实现思路
可能不含有本公开的所有方面和实施例，不意图以任何方式具有限制性或局限性，且如本文中所公开的专利技术由且将由本领域普通技术人员理解为涵盖对其所作的明显改进和修改。
附图说明
[0008]包含附图以提供对本公开的进一步理解，并且将其并入本说明书中并构成本说明书的一部分。附图示出本公开的实施例，且与描述一起用于解释本公开的原理。
[0009]图1A和图1B是示出手部运动的实例的示意图；
[0010]图2是示出根据本公开的示范性实施例中的一个的人体部分跟踪系统的方块图；
[0011]图3是示出根据本公开的示范性实施例中的一个的人体部分跟踪方法的流程图；
[0012]图4是示出根据本公开的示范性实施例中的一个的人体部分在第一时间点的运动的示意图；
[0013]图5是示出根据本公开的示范性实施例中的一个的人体部分在第二时间点的运动的示意图；
[0014]图6是示出根据本公开的示范性实施例中的一个的人体部分在第二时间点的运动的示意图。
[0015]附图标号说明
[0016]100：人体部分跟踪系统；
[0017]110：图像捕获装置；
[0018]130：存储器；
[0019]150：处理器；
[0020]410：手部；
[0021]411：第二参考点；
[0022]413：第四参考点；
[0023]415：目标点；
[0024]430：前臂；
[0025]431：第一参考点；
[0026]435：基点；
[0027]433、453：第三参考点；
[0028]451：交点；
[0029]455：中点；
[0030]S310、S320、S330、S340、S350、S360：步骤；
[0031]BL：身体连接；
[0032]FOV：视野；
[0033]H：手部。
具体实施方式
[0034]现将详细参考本公开的当前优选实施例，其实例在附图中示出。只要可能，相同附图标号在附图和描述中用以指代相同或相似部分。
[0035]图2是示出根据本公开的示范性实施例中的一个的人体部分跟踪系统100的方块图。参考图2，人体部分跟踪系统100包含(但不限于)图像捕获装置110、存储器130以及处理器150。人体部分跟踪系统100适用于XR(例如，VR、AR、MR、或其它现实模拟相关技术)。
[0036]图像捕获装置110可以是照相机，例如单色照相机或彩色照相机、深度照相机、录像机或能够捕获图像的其它图像传感器。在一个实施例中，将图像捕获装置110安置在头戴式显示器(head mounted display；HMD)的主体上且朝向特定方向进行捕获。举例来说，当用户佩戴HMD时，图像捕获装置110捕获用户前方的场景。在一些实施例中，图像捕获装置110的方向及/或视野可基于实际需要进行调整。在又一些实施例中，图像捕获装置110可用于朝向用户的一个或多个人体部分进行捕获以生成包含用户的人体部分的图像。举例来说，一个或多个人体部分可包含用户的手部、手臂、脚踝、腿或其它人体部分。
[0037]存储器130可以是任何类型的固定或可移动随机存取存储器(random-access memory；RAM)、只读存储器(read-only memory；ROM)、闪存存储器、类似器件或以上器件的组合。存储器130记录程序代码、器件配置、缓冲数据或永久数据(例如图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体部分跟踪方法,包括：从图像捕获装置获得第一图像,其中所述第一图像在第一时间点捕获人体部分的第一段和第二段,且所述人体部分的所述第一段连接到所述人体部分的所述第二段；从所述第一图像识别第一参考点和第二参考点，其中所述第一参考点指示所述人体部分的所述第一段在所述第一时间点的位置，且所述第二参考点指示所述人体部分的所述第二段在所述第一时间点的位置；根据所述第一参考点和所述第二参考点的三维坐标来确定所述人体部分的所述第一段与所述第二段之间的定位关系；从所述图像捕获装置获得第二图像，其中所述第二图像在第二时间点捕获所述人体部分的所述第一段但没有所述第二段；从所述第二图像识别第三参考点，其中所述第三参考点指示所述人体部分的所述第一段在所述第二时间点的位置；以及通过使用所述第三参考点的三维坐标和所述定位关系来预测第四参考点的三维坐标，其中所述第四参考点指示所述人体部分的所述第二段在所述第二时间点的位置。2.根据权利要求1所述的人体部分跟踪方法，其中确定所述第一段与所述第二段之间的所述定位关系的步骤包括：连接所述第一图像中的所述第一段的所述第一参考点和所述第二段的所述第二参考点，以在第一参考点与所述第二参考点之间形成身体连接来作为所述定位关系。3.根据权利要求2所述的人体部分跟踪方法，其中预测所述第四参考点的所述三维坐标的所述步骤包括：通过将所述第二图像中的所述第三参考点和所述第四参考点与所述身体连接一起连接来确定所述第四参考点的所述三维坐标。4.根据权利要求3所述的人体部分跟踪方法，还包括：确定在所述第二时间点位于所述第一段的端部处的基点；以及基于反向动力学，根据位于所述第二图像中的所述第一段与所述第二段之间的中点和所述基点的所述位置来估计位于所述第二段处的目标点的位置，其中所述反向动力学是计算接合点的参数的数学程序，且将所述中点、所述基点以及所述目标点视为所述接合点；以及根据所述目标点的所述位置调整所述第四参考点的所述三维坐标。5.根据权利要求3所述的人体部分跟踪方法，还包括：根据所述第一图像和至少一个先前图像确定所述第二段的运动模型，其中在所述第一图像之前获得所述至少一个先前图像，且所述运动模型是模拟所述第二段的运动的数学模型；以及根据所述运动模型来调整所述第四参考点的所述三维坐标。6.根据权利要求5所述的人体部分跟踪方法，还包括：确定在所述第二时间点位于所述第一段的端部处的基点；以及基于反向动力学，根据位于所述第二图像中的所述第一段与所述第二段之间的中点和所述基点的所述位置来估计位于所述第二段处的目标点的位置，其中所述反向动力学是计算接合点的参数的数学程序，且将所述基点、所述中点以及所述目标点视为所述接合点；以
及根据所述目标点的所述位置基于所述运动模型来调整所述第四参考点的所述三维坐标。7.一种人体部分跟踪系统,包括：图像捕...

【专利技术属性】
技术研发人员：郭胜修，
申请(专利权)人：未来市股份有限公司，
类型：发明
国别省市：