具有改进的姿态跟踪的运动学交互系统技术方案

公开了技术，用于对使用2D相机的主体提供改进的姿态跟踪，并且生成再现主体的姿态的3D图像。使用例如神经网络从主体的2D骨架图估计3D骨架图。访问或生成模板3D骨架图，其具有骨段，这些骨段具有使用例如人体测量统计基于模板3D骨架图的给定高度来设置的长度。然后通过至少重定位估计的3D骨架图的多个骨段中的一个或多个骨段，以更紧密地匹配模板3D骨架图的相应模板骨段，来产生改进的3D骨架图。然后，改进的3D骨架图可以以各种方式(例如，使用各种皮肤或图形)被动画化，以跟踪主体的相应运动。以跟踪主体的相应运动。以跟踪主体的相应运动。

【技术实现步骤摘要】
【国外来华专利技术】具有改进的姿态跟踪的运动学交互系统

技术介绍

[0001]三维(3D)人类姿态估计技术被用于许多应用中，比如人机交互、运动中的生物力学分析、电影的3D角色动画、游戏、以及社会虚拟现实(virtual reality，VR)。该技术的一个目标是将在二维(2D)视频中捕捉的一个或多个人的人体关节定位在3D空间中。然而，这在实践中是很难实现的。从捕捉的2D图像预测身体关节的3D位置通常使用具有相应3D姿态注释的图像的数据集，但试图从这样的数据集进行预测经常会导致时间上不连贯的输出，在相邻的视频帧中出现明显的抖动和不现实的人类姿态。因此，在将人类运动从捕捉的2D视频或图像正确映射到再现的3D图像方面，存在许多非简单的挑战。
附图说明
[0002]要求保护的主题的实施例的特征和优点将随着以下详细描述进行并且在参考附图后变得清楚，附图中：
[0003]图1图示了根据本公开的实施例的对两个个体发生3D姿态跟踪的示例环境。
[0004]图2图示了根据本公开的实施例配置的示例运动学交互系统的框图。
[0005]图3是根据本公开的实施例的生成主体的3D姿态的方法。
[0006]图4A图示了根据本公开的实施例的从2D图像捕捉的主体的示例姿态。
[0007]图4B图示了根据本公开的实施例的叠加在主体上的2D骨架图。
[0008]图4C图示了根据本公开的实施例的从图4B的2D骨架图得出的3D骨架图。
[0009]图4D图示了根据本公开的实施例的考虑到更准确的骨段的改进的3D骨架图。
[0010]图5A图示了根据本公开的实施例的模板3D骨架图的示例。
[0011]图5B图示了根据本公开的实施例的被表示为一组关节角度的3D骨架图的示例。
[0012]图6是根据本公开的实施例的通过最小化目标函数来改进估计的3D骨架图的方法。
[0013]图7A
‑
图7C图示了根据本公开的一些实施例配置的运动学交互系统的示例应用。
[0014]虽然接下来的详述描述将在参考说明性实施例的情况下进行，但是其许多替代、修改和变化鉴于本公开将是清楚可见的。
具体实施方式
[0015]公开了技术，用于对使用二维(2D)相机的图像中捕捉的主体提供改进的姿态跟踪，并且生成再现主体的姿态的三维(3D)图像。根据一个实施例，这些技术可以例如被实现为运动学交互系统，该系统被配置为使用单个图像捕捉设备，例如RGB相机，来捕捉主体的图像或视频。运动学交互系统包括至少一个处理器，该处理器被编程或者以其他方式配置为将捕捉的主体的姿态或运动映射到显示的3D图像上。更详细来说，根据一个实施例，至少一个处理器被编程为产生与一个或多个图像中的主体相关联的2D骨架图，并且至少基于从2D骨架图得出的多个2D关节位置来产生与主体相关联的估计的3D骨架图。在一些这样的实施例中，使用经训练的神经网络，例如深度神经网络(deep neural network，DNN)或者卷积
神经网络(convolutional neural network，CNN)，来从2D骨架图估计出3D骨架图。估计的3D骨架图包括多个3D关节位置以及3D关节位置的相应对之间的多个骨段。正如本文将会明白的，估计的3D骨架图可能包括一些不自然或者不现实的方面，这些方面可以被完善。更详细来说，根据一个实施例，至少一个处理器访问模板3D骨架图，该模板3D骨架图具有多个模板3D关节位置和模板3D关节位置的相应对之间的多个模板骨段。模板3D骨架图可例如由处理器生成或者经由存储器访问，并且可包括骨段，这些骨段具有使用人体测量统计基于模板3D骨架图的给定高度而设定的长度。有了模板3D骨架图，处理器可以通过至少重定位估计的3D骨架图的多个骨段中的一个或多个骨段，以更紧密地匹配模板3D骨架图的相应模板骨段，从而产生改进的3D骨架图。然后，改进的3D骨架图可以以各种方式(例如，使用各种皮肤或图形)被动画化，以跟踪主体的相应运动。鉴于本公开，将明白许多应用、变化和替代性实施例。
[0016]总体概述
[0017]如前所述，在生成准确跟踪主体的运动的3D图像方面，仍然存在着一些非微不足道的问题。现有的3D人类姿态估计方法的最大问题之一是，用于估计3D姿态的训练集合往往不适用于现实生活场景。例如，深度学习方法具有训练数据集，其中有许多带有相应的3D姿态注释的图像，这些方法被用来在给定捕捉的主体的2D图像的情况下估计3D姿态。但这种训练数据集使用的模型通常是在室内或者一些其他控制良好的环境中捕捉的。由于数据训练集模型和在真实环境中捕捉的真实生活模型之间存在差距，所以经训练的模型经常不能产生鲁棒的3D跟踪结果。此外，由于缺乏支配身体结构和运动的解剖学约束，从深度学习模型直接预测3D姿态可能导致时间上不连贯的输出，带有明显的抖动，变化的骨段，以及相邻视频帧中不现实的人类姿态。
[0018]从而，本文提供了技术，根据一个实施例，这些技术通过在估计的3D骨架图上使用真实的解剖学约束，来产生映射到主体的改进的3D姿态。简而言之，使用具有解剖学上正确的骨段和位置的模板3D骨架图来调整估计的3D骨架图。根据一个实施例，调整后的3D骨架图的各种关节位置被转换为关节角度，并且通过最小化表示各种骨架图之间的关系的目标函数，来找到一组改进的关节角度。一旦生成了改进的3D骨架图，它就可以被动画化来跟踪主体的运动。各种皮肤可以被应用到改进的3D骨架图，以创建各种不同的化身动画。该动画可以使用任何标准的3D动画软件来执行，例如Maya、Blender、Unreal Engine或者Unity。虽然正如将会明白的，任意数目的应用都可以从这些技术中受益，但它们在游戏和虚拟现实应用的情境中特别有用。
[0019]正如将进一步明白的，虽然本文的描述侧重于人类主体的跟踪，但运动学交互系统可用于跟踪任何主体的运动，对于这种主体，存在一些存储的图像数据集(例如，用于训练DNN或CNN)。这些主体可以是有机的或者非有机的实体。因此，诸如“骨段”之类的术语的使用可以被更广泛地归结为任何主体的关节位置之间的节段，包括无机主体(例如，可作出姿态的人体模型或者假人，或者机器人，或者任何其他具有伪骨骼结构的物体)。此外，在一些实施例中，如果多于一个主体同时存在于捕捉的2D图像中，则它们可以同时被跟踪。如本文所使用的，2D图像的捕捉既涵盖了单个图像，也涵盖了按顺序捕捉的图像，以产生视频或者一系列时间上相关的图像。
[0020]根据一些特定的示例实施例，一种被设计为生成主体的3D姿态的系统包括图像捕
捉设备和至少一个处理器。图像捕捉设备被配置为捕捉主体的一个或多个图像。至少一个处理器被配置为：从图像捕捉设备接收一个或多个图像；产生与一个或多个图像中的主体相关联的二维(2D)骨架图，其中，2D骨架图包括多个2D关节位置；至少基于多个2D关节位置，来产生与一个或多个图像中的主体相关联的估计的三维(3D)骨架图，其中，估计的3D骨架图包括多个3D关节位置以及3D关节位置的相应对之间的多本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种被配置为生成主体的3D姿态的系统，所述系统包括：至少一个处理器，被配置为执行下列操作：从被配置为捕捉所述主体的一个或多个图像的图像捕捉设备接收所述一个或多个图像；产生与所述一个或多个图像中的所述主体相关联的二维(2D)骨架图，其中，所述2D骨架图包括多个2D关节位置；至少基于所述多个2D关节位置，来产生与所述一个或多个图像中的所述主体相关联的估计的三维(3D)骨架图，其中，所述估计的3D骨架图包括多个3D关节位置以及3D关节位置的相应对之间的多个骨段；通过至少重定位所述估计的3D骨架图的多个骨段中的一个或多个骨段的相应长度以更紧密地匹配模板3D骨架图的相应一个或多个模板骨段的相应长度，来产生改进的3D骨架图，所述模板3D骨架图具有多个模板3D关节位置以及模板3D关节位置的相应对之间的多个模板骨段；以及基于所述主体的相应运动，来对所述改进的3D骨架图进行动画化。2.如权利要求1所述的系统，还包括：所述图像捕捉设备，其中，所述图像捕捉设备包括单个RGB相机。3.如权利要求1所述的系统，其中，所述至少一个处理器被配置为通过将与所述2D骨架图相关联的数据输入到神经网络中来产生所述估计的3D骨架图，其中，所述神经网络被配置为至少输出所述多个3D关节位置。4.如权利要求1所述的系统，其中，所述至少一个处理器还被配置为生成所述模板3D骨架图，其中，生成所述模板3D骨架图包括：设置所述模板3D骨架图的高度并且使用人体测量统计来确定所述模板骨段的长度。5.如权利要求1
‑
4中的任一项所述的系统，其中，所述重定位生成重定位的3D骨架图，并且所述至少一个处理器还被配置为将所述重定位的3D骨架图的3D关节位置转换成相对于根关节位置的多个关节角度。6.如权利要求5所述的系统，其中，产生所述改进的3D骨架图包括：最小化联系所述重定位的3D骨架图、所述估计的3D骨架图和所述2D骨架图的目标函数的误差，以求解所述改进的3D骨架图的关节角度和根关节位置。7.如权利要求1
‑
4中的任一项所述的系统，其中，所述至少一个处理器还被配置为基于每个所述2D关节位置和2D根关节位置之间的距离，来正规化所述2D关节位置。8.如权利要求7所述的系统，其中，所述2D根关节位置表示所述主体的骨盆关节。9.如权利要求1
‑
4中的任一项所述的系统，其中，所述至少一个处理器还被配置为执行下列操作：产生与所述一个或多个图像中的第二主体相关联的第二2D骨架图，其中，所述第二2D骨架图包括第二多个2D关节位置；至少基于所述第二多个2D关节位置，来产生与所述一个或多个图像中的所述第二主体相关联的第二估计的三维(3D)骨架图，其中，所述第二估计的3D骨架图包括第二多个3D关节位置以及第二3D关节位置的相应对之间的第二多个骨段；通过至少重定位所述第二估计的3D骨架图的第二多个骨段中的一个或多个骨段的相
应长度以更紧密地匹配第二模板3D骨架图的一个或多个相应第二模板骨段的相应长度，来产生第二改进的3D骨架图，所述第二模板3D骨架图具有第二多个模板3D关节位置以及第二模板3D关节位置的相应对之间的第二多个模板骨段；以及基于所述第二主体的相应运动，来对所述第二改进的3D骨架图进行动画化。10.一种生成主体的3D姿态的由计算机实现的方法，所述方法包括：接收由图像捕捉设备捕捉的主体的一个或多个图像；产生与所述一个或多个图像中的所述主体相关联的二维(2D)骨架图，其中，所述2D骨架图包括多个2D关节位置；至少基于所述多个2D关节位置，来产生与所述一个或多个图像中的所述主体相关联的估计的三维(3D)骨架图，其中，所述估计的3D骨架图包括多个3D关节位置以及3D关节位置的相应对之间的多个骨段；通过至少重定位所述估计的3D骨架图的多个骨段中的一个或多个骨段的长度以更紧密地匹配模板3D骨架图的相应模板骨段的长度，来产生改进的3D骨架图，所述模板3D骨架图具有多个模板3D关节位置以及模板3D关节位置的相应对之间的多个模板骨段；以及基于所述主体的相应运动，来对所述改进的3D骨架图进行动画化。11.如权利要求10所述的由计算机实现的方法，其中，产生所述估计的3D骨架图包括：将与所述2D骨架图相关联的数据输入到神经网络中，其中，所述神经网络被配置为至少输出所述多个3D关节位置。12.如权利要求10所述的由计算机实现的方法，还包括：生成所述模板3D骨架图，其中，生成所述模板3D骨架图包括：设置所述模板3D骨架图的高度并且使用人体测量统计来确定所述模板骨段的长度。13.如权利要求10
‑
12中的任一项所述的由计算机实现的方法，其中，所述重定位生成重定位的3D骨架图，并且所述方法还包括：将所述重定位的3D骨架图的...

【专利技术属性】
技术研发人员：王山东，康杨雨轩，姚安邦，陆鸣，陈玉荣，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：