姿态估计的方法、装置、设备和存储介质制造方法及图纸

根据本公开的实施例，提供了姿态估计的方法、装置、设备和存储介质。该方法包括响应于确定对象在图像中的呈现范围，生成针对所述呈现范围内的第一图像区域的第一局部特征，所述第一图像区域与所述对象的第一组成部分相关联；通过利用所述第一局部特征而对针对所述第一组成部分的第一初始量化表示进行至少一次更新，来确定所述第一组成部分的关键点在所述图像中的第一位置；以及至少基于所述第一位置确定所述对象的姿态。以此方式，能够在提高姿态估计精度的同时降低复杂性。估计精度的同时降低复杂性。估计精度的同时降低复杂性。

【技术实现步骤摘要】
姿态估计的方法、装置、设备和存储介质


[0001]本公开的示例实施例总体涉及计算机领域，特别地涉及用于姿态估计的方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]多人姿态估计(MPPE)的目标是从输入图像中定位所有人的关键点，这是计算机视觉中的一项基本而又具有挑战性的任务。随着深度学习技术的普及，MPPE已经取得了显著的进步，并在许多其他视觉任务中发挥了重要作用，例如活动识别和姿势跟踪。

技术实现思路

[0003]在本公开的第一方面，提供了一种姿态估计的方法。该方法包括响应于确定对象在图像中的目标呈现范围，生成针对所述目标呈现范围内的第一图像区域的第一局部特征，所述第一图像区域与所述对象的第一组成部分相关联。该方法还包括通过利用所述第一局部特征而对针对所述第一组成部分的第一初始量化表示进行至少一次更新，来确定所述第一组成部分的关键点在所述图像中的第一位置以及至少基于所述第一位置确定所述对象的姿态。
[0004]在本公开的第二方面，提供了一种用于姿态估计的装置。该装置包括生成模块，被配置为响应于确定对象在图像中的目标呈现范围，生成针对所述目标呈现范围内的第一图像区域的第一局部特征，所述第一图像区域与所述对象的第一组成部分相关联。该装置还包括第一位置确定模块，被配置为通过利用所述第一局部特征而对针对所述第一组成部分的第一初始量化表示进行至少一次更新，来确定所述第一组成部分的关键点在所述图像中的第一位置以及姿态确定模块，被配置为至少基于所述第一位置确定所述对象的姿态。
[0005]在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。
[0006]在本公开的第四方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，程序被处理器执行时实现第一方面的方法。
[0007]应当理解，本
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
[0008]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0009]图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
[0010]图2示出了根据本公开的一些实施例的姿态估计的示例实现过程的框图；
[0011]图3A至3C示出了根据本公开的一些实施例的姿态估计的过程的示意图；
[0012]图4示出了根据本公开的一些实施例的姿态估计的过程的流程图；
[0013]图5示出了根据本公开的一些实施例的用于姿态估计的装置的框图；以及
[0014]图6示出了能够实施本公开的多个实施例的设备的框图。
具体实施方式
[0015]下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0016]在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。
[0017]如上文所述，多人姿态估计(MPPE)的目标是从输入图像中定位所有对象的关键点，这是计算机视觉中的一项基本而又具有挑战性的任务。随着深度学习技术的普及，MPPE已经取得了显著的进步，并在许多其他视觉任务中发挥了重要作用，例如活动识别和姿势跟踪。
[0018]已经提出一些多人姿势估计解决方案。例如，在一种方案中，使用人体检测器预测图像中的各个对象的呈现范围(例如对象边界框)，然后利用单人姿势估计模型定位每个经剪裁的对象图像上的关键点。然而，对图像中的各个对象的呈现范围的预测和对每个对象的单人姿势估计需要采用两个独立的模型，这导致了不能通过端到端管道来实现多人姿势估计方案。也就是说，实现本方案需要至少两级管道。此外，人体探测器需要额外的内存和计算成本。
[0019]在第二种方案中，首先使用关键点热图(heatmap)定位所有对象的关键点，然后通过分组来将这些关键点分配给每个对象。例如，一些研究试图利用密集的逐像素回归，其可以并行预测中心热图和逐像素关键点偏移。该方案可以实现端到端优化，因此比两级管道更有效。然而，图像的密集表示(例如，关键点或中心热图)需要通过手工构建的后期处理来抑制重复预测或在推断期间执行关键点分组。由此会显著增加该方案的人工成本。
[0020]根据本公开的各个实施例，提出一种姿态估计的方案。例如，如果检测到图像中对象的呈现范围，将生成针对呈现范围内的、与对象的一个组成部分相关联的图像区域的局部特征。获取对应于该组成部分的初始量化表示并利用所生成的局部特征对该初始量化表示进行至少一次更新。基于经更新的初始量化表示确定该组成部分的关键点位置并至少基于该位置确定对象的姿态。
[0021]根据本公开的实现，通过引入空间局部嵌入生成模块和选择性迭代模块，能够更好地捕获图像中的对象的特征，提高了姿势估计的精确度。与此同时，本公开的多人姿态估计方案可以以端到端的方式实现，从而有效提高了系统效率。此外，通过采用本公开提出的方案，能够免去人工操作的处理过程，从而简化了多人姿态估计的过程。
[0022]应当理解，本公开的实施例可以应用于各类仿真、模拟、虚拟现实、增强现实等领
域。此外，本公开的实施例还可以应用于医疗健康领域，例如对象运动行为预测和对象行为监测等。
[0023]示例环境
[0024]首先参见图1，其示意性示出了其中可以实施根据本公开的示例性实现方式的示例环境100的示意图。如图1所示，示例环境100可以包括电子设备120。
[0025]电子设备120可以用于获取一个或多个图像。在图像中可以至少呈现一个或多个对象。示例性地，对象可以包括人。备选地，对象也可以包括除人之外的其他生物。备选地，对象也可以包括其他具有能够模拟生物运动行为的物体。
[0026]如图1所示，图像110中呈现有对象101和102。图像110可以呈现出拍摄图像110的时刻的对象101和102的姿态。应当理解，除对象之外，图像110还能够呈现对象当前所处的环境(也即背景)。
[0027]电子设备120可以实现针对图像的相关处理。举例而言，电子设备120可以实施对图像的截取、裁剪、缩放等操作，以确定对象在图像中的呈现范围并进而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种姿态估计方法，包括：响应于确定对象在图像中的目标呈现范围，生成针对所述目标呈现范围内的第一图像区域的第一局部特征，所述第一图像区域与所述对象的第一组成部分相关联；通过利用所述第一局部特征而对针对所述第一组成部分的第一初始量化表示进行至少一次更新，来确定所述第一组成部分的关键点在所述图像中的第一位置；以及至少基于所述第一位置确定所述对象的姿态。2.根据权利要求1所述的方法，其中生成所述第一局部特征包括：获取所述第一图像区域的原始特征信息；生成针对第一图像区域内的所述对象的所述第一组成部分的注意力表示；以及通过基于所述原始特征信息和针对第一组成部分的预定注意力权重调整所述注意力表示，来生成针对所述第一图像区域的第一局部特征。3.根据权利要求1所述的方法，其中确定所述第一位置包括：确定对应于所述第一局部特征的特征量化表示；利用所述特征量化表示对所述第一初始量化表示进行编码；以及基于经编码的初始量化表示确定所述第一位置。4.根据权利要求1所述的方法，还包括：生成针对所述目标呈现范围内的第二图像区域的第二局部特征，所述第二图像区域与所述对象的第二组成部分相关联，所述第二组成部分不同于所述第一组成部分；以及通过利用所述第二局部特征而对针对所述第二组成部分的第二初始量化表示进行至少一次更新，来确定所述第二组成部分的关键点在所述图像中的第二位置。5.根据权利要求4所述的方法，其中确定所述对象的所述姿态包括：基于经更新的所述第一局部特征和经更新的所述第二局部特征确定所述第一组成部分和所述第二组成部分的空间位置关系；以及基于所述第一位置、所述第二位置和所述空间位置关系确定所述对象的所述姿态。6.根据权利要求1所述的方法，还包括：确定针对所述对象的所述呈现范围的初始预测和在所述初始预测的呈现范围内的所述对象的对象特征；获取针对所述对象的初始量化表示；通过利用所述对象特征对所述对象的所述初始量化表示进行至少一次更新，调整所述初始呈现范围的所述初始预测；以及基于经调整的所述初始预测的呈现范围确定所述目标呈现范围。7.一种用于姿态估计的装置，包括：生成模块，被配置为响应于确定对象在图像中的目标呈现范围，生成针对所述目标呈现范围内的第一图像区域的第一局部特征，所述第一图像区域与所述对象的第一组成部分相关联；第一位置确定模块，被配置为通过利用所述第一局部特征...

【专利技术属性】
技术研发人员：苏凯，肖亚博，袁泽寰，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：