移动平台的基于深度信息的姿势确定以及相关系统和方法技术方案

本文公开了一种在邻近移动平台的环境中确定一个或多个对象的姿势或手势以及相关系统和方法。代表性方法包括：基于深度连通性准则从表示环境的深度数据中识别候选区域，将断开连接的区域相关联以用于识别对象的多个姿势分量，确定所识别的姿势分量之间的空间关系，以及基于空间关系生成控制命令。

【技术实现步骤摘要】
【国外来华专利技术】移动平台的基于深度信息的姿势确定以及相关系统和方法
本技术总体上涉及在邻近移动平台的三维(3D)环境中确定一个或多个对象(例如一个或多个人类用户)的姿势或手势。
技术介绍
通常可以使用一个或多个传感器来扫描或以其他方式检测移动平台周围的环境。例如，移动平台可以配备有立体视觉系统(例如，“立体相机”)，以感测其周围环境。立体相机通常是一种具有两个或多个镜头的一类相机，每个镜头具有单独的图像传感器或胶片帧。当同时利用两个或多个镜头从不同角度拍摄照片/视频时，对应的照片/视频之间的差异为计算深度信息(例如，从场景中的物体到立体相机的距离)提供了基础。作为另一示例，移动平台可以配备有一个或多个LiDAR传感器，这些传感器通常向外发送脉冲信号(例如激光信号)，检测脉冲信号反射并确定关于环境的深度信息，以便于物体检测和/或辨识。然而，不同的深度感测技术存在不准确性，这可能会影响各种较高级别的应用，例如姿势和/或手势确定。
技术实现思路
以下概述为了读者的方便而提供，并且指出所公开的技术的若干代表性实施例。在一些实施例中，一种用于确定环境内的对象的姿势的计算机实现方法包括：至少部分地基于至少一个深度连通性准则，从表示环境的基础深度数据中识别多个候选区域；从候选区域的子集中确定对应于对象的第一姿势分量的第一区域；以及至少部分地基于第一区域与一个或多个第二区域的相对位置来从候选区域的子集中选择所述一个或多个第二区域以与第一区域相关联。该方法还包括：从包括第一区域和一个或多个相关联的第二区域的集合区域中识别对象的第一姿势分量和至少一个第二姿势分量，确定所识别的第一姿势分量与所识别的至少一个第二姿势分量之间的空间关系，以及至少部分地基于所确定的空间关系，生成供移动平台执行的控制命令。在一些实施例中，至少部分地基于由至少一个立体相机捕捉的图像来生成基础深度数据。在一些实施例中，基础深度数据包括至少部分地基于至少一个立体相机的视差图和固有参数计算的深度图。在一些实施例中，方法还包括确定对象在基础深度数据中可能出现的深度范围。在一些实施例中，在深度范围内识别多个候选区域。在一些实施例中，基础深度数据包括未知的、无效的或不准确的深度信息中的至少一个。在一些实施例中，至少一个深度连通性准则包括深度阈值或深度变化阈值中的至少一个。在一些实施例中，候选区域中的两个或更多个候选区域至少部分地由于基础深度数据中的未知的、无效的或不准确的深度信息而彼此断开连接。在一些实施例中，方法还包括至少部分地基于关于对象的至少一个姿势分量的第一基线信息来选择候选区域的子集。在一些实施例中，第一基线信息指示至少一个姿势分量的估计大小。在一些实施例中，第一基线信息至少部分地基于先前深度数据。在一些实施例中，至少部分地基于关于对象的第一姿势分量的第二基线信息来确定第一区域。在一些实施例中，第二基线信息指示第一姿势分量的估计位置。在一些实施例中，第二基线信息至少部分地基于先前深度数据。在一些实施例中，从候选区域的子集中选择一个或多个第二区域以与第一区域相关联是至少部分地基于关于环境的非深度信息。在一些实施例中，非深度信息包括对应于基础深度数据的二维图像数据。在一些实施例中，选择一个或多个第二区域以与第一区域相关联包括：区分可能对应于对象的候选区域与可能对应于至少一个其他对象的候选区域。在一些实施例中，从候选区域的子集中选择一个或多个第二区域以与第一区域相关联至少部分地基于对象的多个关节的估计位置。在一些实施例中，从候选区域的子集中选择一个或多个第二区域以与第一区域相关联至少部分地减小基础深度数据中的未知的、无效的或不准确的深度信息的影响。在一些实施例中，对象是人类。在一些实施例中，第一姿势分量和至少一个第二姿势分量是对象的身体部位。在一些实施例中，第一姿势分量是对象的躯干，至少一个第二姿势分量是对象的手。在一些实施例中，识别对象的第一姿势分量和至少一个第二姿势分量包括至少部分地基于深度测量来检测集合区域的一部分。在一些实施例中，检测集合区域的一部分包括检测在深度上最接近移动平台的部分。在一些实施例中，至少部分地基于检测到的部分相对于网格系统的位置来识别至少一个第二姿势分量。在一些实施例中，识别至少一个第二姿势分量包括识别至少两个第二姿势分量。在一些实施例中，识别第一姿势分量包括从集合区域中去除所识别的至少一个第二姿势分量。在一些实施例中，识别第一姿势分量至少部分地基于宽度的阈值。在一些实施例中，确定所识别的第一姿势分量和所识别的至少一个第二姿势分量之间的空间关系包括确定第一姿势分量和/或第二姿势分量的一个或多个几何属性。在一些实施例中，一个或多个几何属性包括形心的位置。在一些实施例中，确定所识别的第一姿势分量和所识别的至少一个第二姿势分量之间的空间关系包括确定指向第一姿势分量的部分和至少一个第二姿势分量的部分之间的一个或多个矢量。在一些实施例中，移动平台包括以下各项中的至少一种：无人驾驶飞行器(UAV)、载人飞行器、自主载运工具、自平衡载运工具、机器人、智能可穿戴设备、虚拟现实(VR)头戴式显示器或增强现实(AR)头戴式显示器。在一些实施例中，方法还包括至少部分地基于控制命令来控制移动平台的移动功能。前述方法中的任何一种方法可以通过存储计算机可执行指令的非暂时性计算机可读介质来实现，当被执行时，该计算机可执行指令使与移动平台相关联的一个或多个处理器执行对应的动作；或者通过包括经编程控制器的载运工具来实现，该经编程控制器至少部分地控制载运工具的一个或多个运动，该经编程控制器包括被配置为执行对应的动作的一个或多个处理器。附图说明图1A是根据当前所公开的技术的一些实施例的移动平台前面的环境的说明性2D图像，图1B是与图1A的2D图像相对应的说明性深度图。图2A是根据当前所公开的技术的一些实施例的对象(例如，人类用户)的说明性2D图像，图2B是具有瑕疵的对应的深度图。图3是示出根据当前所公开的技术的一些实施例的用于确定对象的姿势或手势的方法的流程图。图4A示出了根据当前所公开的技术的一些实施例的多个对象(例如，两个人类舞者)的2D图像，图4B示出了根据该2D图像确定的对象特征(例如，关节)以及对象特征的分组和对象特征与各个对象的映射。图5A至图5D示出了根据当前所公开的技术的一些实施例的用于识别对象的辅助姿势分量(例如，手)的过程。图6A和图6B示出了根据当前所公开的技术的一些实施例的用于识别对象的主要姿势分量(例如，躯干)的过程。图7示出了根据当前所公开的技术的各种实施例配置的移动平台的示例。图8是示出可以用于实现所公开的技术的各个部分的计算机系统或其他控制设备的架构的示例的框图。具体实施方式1.概述姿势或手势是人类用户的自然交流方式，其为适用于各种移动平台的人机界面提供了一个有前途的方向。然而，基于二维(2D)图像信息来确定对象的姿势或手势在技术上是困难的且计算量巨大，并且任何所得的距离信息都可能是不准确本文档来自技高网...

【技术保护点】
1.一种用于至少部分地基于深度信息来确定三维环境内的用户的手势的计算机实现的方法，所述方法包括：/n至少部分地基于一个或多个先前深度图来确定所述用户可能出现在所述环境的当前深度图中的深度范围；/n至少部分地基于使用所述深度范围对所述当前深度图进行过滤来生成参考深度图；/n从所述参考深度图中识别多个候选区域，其中所述多个候选区域中的每个候选区域内的深度变化不超过阈值，并且其中所述多个候选区域彼此断开连接；/n从所述多个候选区域中选择子集，其中每个选择的候选区域具有在阈值范围内的大小，并且其中所述阈值范围基于所述用户的手相对于目标深度图的估计大小；/n至少部分地基于与所述用户的躯干相对应的位置和/或大小来从所述子集中确定主要区域；/n至少部分地基于所述主要区域与所述子集的可能与所述用户的身体部位相对应的一个或多个目标区域的相对位置来将所述主要区域与所述一个或多个目标区域相关联；/n从包括所述主要区域和所述一个或多个目标区域的集合区域中识别所述用户的手；/n在从所述集合区域中滤除所识别的手之后识别所述用户的躯干；/n确定表示所述用户的至少所识别的躯干和所识别的手之间的空间关系的一个或多个矢量；以及/n至少部分地基于所确定的一个或多个矢量来控制移动平台的移动。/n...

【技术特征摘要】
【国外来华专利技术】1.一种用于至少部分地基于深度信息来确定三维环境内的用户的手势的计算机实现的方法，所述方法包括：
至少部分地基于一个或多个先前深度图来确定所述用户可能出现在所述环境的当前深度图中的深度范围；
至少部分地基于使用所述深度范围对所述当前深度图进行过滤来生成参考深度图；
从所述参考深度图中识别多个候选区域，其中所述多个候选区域中的每个候选区域内的深度变化不超过阈值，并且其中所述多个候选区域彼此断开连接；
从所述多个候选区域中选择子集，其中每个选择的候选区域具有在阈值范围内的大小，并且其中所述阈值范围基于所述用户的手相对于目标深度图的估计大小；
至少部分地基于与所述用户的躯干相对应的位置和/或大小来从所述子集中确定主要区域；
至少部分地基于所述主要区域与所述子集的可能与所述用户的身体部位相对应的一个或多个目标区域的相对位置来将所述主要区域与所述一个或多个目标区域相关联；
从包括所述主要区域和所述一个或多个目标区域的集合区域中识别所述用户的手；
在从所述集合区域中滤除所识别的手之后识别所述用户的躯干；
确定表示所述用户的至少所识别的躯干和所识别的手之间的空间关系的一个或多个矢量；以及
至少部分地基于所确定的一个或多个矢量来控制移动平台的移动。


2.一种用于至少部分地基于深度信息来确定环境内的对象的姿势的计算机实现的方法，所述方法包括：
至少部分地基于至少一个深度连通性准则来从表示所述环境的基础深度数据中识别多个候选区域；
至少部分地基于关于所述对象的第一姿势分量的估计来从所述候选区域的子集中确定第一区域；
至少部分地基于所述第一区域和一个或多个第二区域的相对位置来从所述候选区域的子集中选择所述一个或多个第二区域，以与所述第一区域相关联；
从包括所述第一区域和一个或多个关联的第二区域的集合区域中识别所述对象的第一姿势分量和至少一个第二姿势分量；
确定所识别的第一姿势分量和所识别的至少一个第二姿势分量之间的空间关系；以及
至少部分地基于所确定的空间关系来引起生成由移动平台执行的控制命令。


3.根据权利要求2所述的方法，其中，所述基础深度数据是至少部分地基于由至少一个立体相机捕捉的图像来生成的。


4.根据权利要求3所述的方法，其中，所述基础深度数据包括至少部分地基于所述至少一个立体相机的视差图和固有参数计算的深度图。


5.根据权利要求2至4中任一项所述的方法，还包括确定所述对象在所述基础深度数据中可能出现的深度范围。


6.根据权利要求5所述的方法，其中，在所述深度范围内识别所述多个候选区域。


7.根据权利要求2至6中任一项所述的方法，其中，所述基础深度数据包括未知的、无效的或不准确的深度信息中的至少一种。


8.根据权利要求2所述的方法，其中，所述至少一个深度连通性准则包括深度阈值或深度变化阈值中的至少一个。


9.根据权利要求2或8中任一项所述的方法，其中，候选区域中的两个或更多个候选区域至少部分地由于所述基础深度数据中的未知的、无效的或不准确的深度信息而彼此断开连接。


10.根据权利要求2、8或9中任一项所述的方法，还包括：至少部分地基于关于所述对象的至少一个姿势分量的第一基线信息来选择所述候选区域的子集。


11.根据权利要求10所述的方法，其中，所述第一基线信息指示所述至少一个姿势分量的估计大小。


12.根据权利要求10所述的方法，其中，所述第一基线信息至少部分地基于先前深度数据。


13.根据权利要求2所述的方法，其中，至少部分地基于关于所述对象的所述第一姿势分量的第二基线信息来确定所述第一区域。


14.根据权利要求13所述的方法，其中，所述第二基线信息指示所述第一姿势分量的估计位置。


15.根据权利要求13所述的方法，其中，所述第二基线信息至少部分地基于先前深度数据。


16.根据权利要求2所述的方法，其中，从所述候选区域的子集中选择所述一个或多个第二区域以与所述第一区域相关联至少部分地基于关于所述环境的非深度信息。


17.根据权利要求16所述的方法，其中，所述非深度信息包括与所述基础深度数据相对应的二维图像数据。


18.根据权利要求2、16或17中任一项所述的方法，其中，选择所述一个或多个第二区域以与所述第一区域相关联包括：区分可能对应于所述对象的候选区域与可能对应于至少一个其他对象的候选区域。


19.根据权利要求2或16至18中任一项所述的方法，其中，从所述候选区域的子集中选择所述一个或多个第二区域以与所述第一区域相关联至少部分地基于所述对象的多个关节的估计位置。


20.根据权利要求2或16至19中任一项所述的方法，其中，从所述候选区域的子集中选择所述一个或多个第二区域以与所述第一区域相关联至少部分地减小所述基础深度数据中的未知的、无效的或不准确的深度信息的影响。


21.根据权利要求2所述的方法，其中，所述对象是人。


22.根据权利要求2或21中任一项所述的方法，其中，所述第一姿势分量和所述至少一个第二姿势分量是所述对象的身体部位。


23.根据权利要求2、21或22中任一项所述的方法，其中，所述第一姿势分量是所述对象的躯干，且所述至少一个第二姿势分量是所述对象的手。


24.根据权利要求2、21至23中任一项所述的方法，其中，识别所述对象的第一姿势分量和至少一个第二姿势分量包括至少部分地基于深度测量来检测所述集合区域的一部分。


25.根据权利要求24所述的方法，其中，检测所述集合区域的一部分包括检测在深度上最接近所述移动平台的部分。


26.根据权利要求24或25中任一项所述的方法，其中，至少部分地基于检测到的部分相对于网格系统的位置来识别所述至少一个第二姿势分量。


27.根据权利要求2、21至26中任一项所述的方法，其中，识别所述至少一个第二姿势分量包括识别两个第二姿势分量。


28.根据权利要求2、21至27中任一项所述的方法，其中，识别所述第一姿势分量包括从所述集合区域中去除所识别的至少一个第二姿势分量。


29.根据权利要求2或21至28中任一项所述的方法，其中，至少部分地基于关于宽度的阈值来识别所述第一姿势分量。


30.根据权利要求2所述的方法，其中，确定所识别的第一姿势分量和所识别的至少一个第二姿势分量之间的空间关系包括确定所述第一姿势分量和/或所述第二姿势分量的一个或多个几何属性。


31.根据权利要求30所述的方法，其中，所述一个或多个几何属性包括形心的位置。


32.根据权利要求2、30或31中任一项所述的方法，其中，确定所识别的第一姿势分量和所识别的至少一个第二姿势分量之间的空间关系包括确定指向所述第一姿势分量的部分和所述至少一个第二姿势分量的部分之间的一个或多个矢量。


33.根据权利要求2至32中任一项所述的方法，其中，所述移动平台包括以下项中的至少一个：无人驾驶飞行器、载人飞行器、自主载运工具、自平衡载运工具、机器人、智能可穿戴设备、虚拟现实头戴式显示器或增强现实头戴式显示器。


34.根据权利要求2至33中任一项所述的方法，还包括至少部分地基于所述控制命令来控制所述移动平台的移动功能。


35.一种存储计算机可执行指令的非暂时性计算机可读介质，当被执行时，所述计算机可执行指令使与移动平台相关联的一个或多个处理器执行动作，所述动作包括：
至少部分地基于至少一个深度连通性准则来从表示环境的基础深度数据中识别多个候选区域；
至少部分地基于关于对象的第一姿势分量的估计来从所述候选区域的子集中确定第一区域；
至少部分地基于所述第一区域和一个或多个第二区域的相对位置来从所述候选区域的子集中选择所述一个或多个第二区域，以与所述第一区域相关联；
从包括所述第一区域和一个或多个关联的第二区域的集合区域中识别所述对象的第一姿势分量和至少一个第二姿势分量；
确定所识别的第一姿势分量和所识别的至少一个第二姿势分量之间的空间关系；以及
至少部分地基于所确定的空间关系来引起生成由所述移动平台执行的控制命令。


36.根据权利要求35所述的计算机可读介质，其中，所述基础深度数据是至少部分地基于由至少一个立体相机捕捉的图像来生成的。


37.根据权利要求36所述的计算机可读介质，其中，所述基础深度数据包括至少部分地基于所述至少一个立体相机的视差图和固有参数计算的深度图。


38.根据权利要求35至37中任一项所述的计算机可读介质，其中所述动作还包括确定所述对象在所述基础深度数据中可能出现的深度范围。


39.根据权利要求38所述的计算机可读介质，其中，在所述深度范围内识别所述多个候选区域。


40.根据权利要求35至39中任一项所述的计算机可读介质，其中，所述基础深度数据包括未知的、无效的或不准确的深度信息中的至少一种。


41.根据权利要求35所述的计算机可读介质，其中，所述至少一个深度连通性准则包括深度阈值或深度变化阈值中的至少一个。


42.根据权利要求35或41中任一项所述的计算机可读介质，其中，候选区域中的两个或更多个候选区域至少部分地由于所述基础深度数据中的未知的、无效的或不准确的深度信息而彼此断开连接。


43.根据权利要求35、41或42中任一项所述的计算机可读介质，其中所述动作还包括：至少部分地基于关于所述对象的至少一个姿势分量的第一基线信息来选择所述候选区域的子集。


44.根据权利要求43所述的计算机可读介质，其中，所述第一基线信息指示所述至少一个姿势分量的估计大小。


45.根据权利要求43所述的计算机可读介质，其中，所述第一基线信息至少部分地基于先前深度数据。


46.根据权利要求35所述的计算机可读介质，其中，至少部分地基于关于所述对象的所述第一姿势分量的第二基线信息来确定所述第一区域。


47.根据权利要求46所述的计算机可读介质，其中，所述第二基线信息指示所述第一姿势分量的估计位置。


48.根据权利要求46所述的计算机可读介质，其中，所述第二基线...

【专利技术属性】
技术研发人员：周游，刘洁，朱振宇，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44