人体姿态估计方法技术

一种人体姿态估计方法，包括：接收图像帧，至少在第一阶段中基于图像帧提取第一阶段图像特征，至少在第二阶段中基于第一阶段图像特征提取第二阶段图像特征，至少在后续阶段中基于第二阶段图像特征提取后续阶段图像特征，对后续阶段图像特征进行上采样，对第二阶段图像特征进行上采样，联合第一阶段图像特征、上采样后的第二阶段图像特征和上采样后的后续阶段图像特征，以及基于联合的输出输出特征图。以及基于联合的输出输出特征图。以及基于联合的输出输出特征图。

【技术实现步骤摘要】
人体姿态估计方法


[0001]本公开内容涉及姿态估计，更具体地涉及人体姿态估计。

技术介绍

[0002]人体姿态估计检测一组表示图像和视频中关节或身体部位的关键点。关节或身体部位以预定义的格式联合以描述人的姿态。姿态估计在运动检测和识别、行人跟踪、增强现实和动画等方面具有各种应用。它为理解人的朝向、动作、行为和活动等提供信息。由于人体视觉外观、尺度、身体移动和部分遮挡的巨大变化，对准确的姿态估计提出挑战。多人姿态估计需要同时检测图像中的多个人，从而进一步使估计复杂化。目前，人体姿态估计在资源有限的设备上无法实现多人姿态估计。

技术实现思路

[0003]一种人体姿态估计的示例方法，包括：接收图像帧，至少在第一阶段中基于图像帧提取第一阶段图像特征，至少在第二阶段中基于第一阶段图像特征提取第二阶段图像特征，至少在后续阶段中基于第二阶段图像特征提取后续阶段图像特征，对后续阶段图像特征进行上采样，对第二阶段图像特征进行上采样，联合第一阶段图像特征、上采样后的第二阶段图像特征和上采样后的后续阶段图像特征，以及基于联合的输出输出特征图。
[0004]另一种人体姿态估计的示例方法，包括：通过初始阶段接收特征图，基于初始阶段的初始部位关联图分支对特征图进行卷积，基于初始部位关联图分支的输出确定初始部位关联图，基于初始阶段的初始热图分支对特征图进行卷积，基于初始热图分支的输出确定初始热图，联合初始部位关联图分支、初始热图分支和特征图以输出初始阶段联合，通过细化阶段接收初始阶段联合，通过细化阶段的细化部位关联图分支对初始阶段联合进行卷积，基于细化部位关联图分支的输出确定细化部位关联图，通过细化阶段的细化热图分支对初始阶段联合进行卷积，以及基于细化热图分支的输出确定细化热图。
[0005]又一种人体姿态估计的示例方法，包括：通过初始阶段接收特征图，基于初始阶段的第一部位关联图分支对特征图进行卷积，基于第一部位关联图分支的输出确定第一阶段部位关联图，联合第一阶段部位关联图分支和特征图以输出第一阶段部位关联图联合，对第一阶段部位关联图联合进行卷积以输出第二阶段部位关联图卷积，基于第二阶段部位关联图卷积的输出确定第二阶段部位关联图，联合第二阶段部位关联图分支和特征图以输出第二阶段部位关联图联合，通过细化阶段接收第二阶段部位关联图联合，对第二阶段部位关联图联合进行卷积以输出第三阶段部位关联图卷积，基于第三阶段部位关联图卷积的输出确定第三阶段部位关联图，联合第三阶段部位关联图和特征图以输出联合后的第三阶段部位关联图，对联合后的第三阶段部位关联图进行卷积以输出细化热图预测，以及基于细化热图预测阶段的输出确定细化热图。
附图说明
[0006]图1是根据本公开一个实施方式的第一示例性系统图；
[0007]图2是根据本公开一个实施方式的第二示例性系统图；
[0008]图3是根据本公开一个实施方式的示例性结构；
[0009]图4是根据本公开一个实施方式的示例性头网架构；
[0010]图5是根据本公开一个实施方式的另一示例性头网架构；
[0011]图6是根据本公开一个实施方式的示例性细化阶段替换单元；
[0012]图7是根据本公开一个实施方式的示例性模型结果；
[0013]图8是根据本公开一个实施方式的人体姿态估计主干的第一示例性方法；
[0014]图9是根据本公开一个实施方式的人体姿态估计的第二示例性方法；以及
[0015]图10是根据本公开一个实施方式的人体姿态估计的第三示例性方法。
具体实施方式
[0016]下面列出的实施方式仅用于示出本装置和方法的应用，并不限制范围。关于该装置和方法的等效形式的修改应归类为在权利要求的范围内。
[0017]在以下说明书和权利要求书中使用某些术语来指代特定的系统部件。如本领域技术人员将理解的，不同的公司可以通过不同的名称来指代部件和/或方法。本申请不旨在区分名称不同但功能相同的部件和/或方法。
[0018]在以下讨论中和在权利要求中，术语“包含(including)”和“包括(comprising)”以开放式方式使用，并且因此可以被解释为意味着“包括，但不限于
……”
。此外，术语“耦接(couple或couples)”旨在意味着间接连接或者直接连接。因此，如果第一设备耦接至第二设备，则该连接可以是通过直接连接或者是通过经由其他设备和连接的间接连接。
[0019]图1示例性描绘了一种混合计算系统100，其可以用于实现与过程的一个或更多个部分或步骤的操作相关联的神经网络。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(FPGA)122、图形处理器单元(GPU)120和中央处理单元(CPU)118。
[0020]CPU 118、GPU 120和FPGA 122具有提供神经网络的能力。CPU是一种可以执行许多不同功能的通用处理器，它的通用性导致其具有执行多个不同任务的能力，但是它对多个数据流的处理是有限的，并且它相对于神经网络的功能是有限的。GPU是一种具有许多能够按顺序处理并行任务的小型处理内核的图形处理器。FPGA是一种现场可编程装置，它具有重新配置并以硬连线电路的方式执行任何可以编程到CPU或GPU中的功能的能力。由于FPGA的编程是电路形式的，因此它的速度比CPU快许多倍，也比GPU快得多。
[0021]系统可以包括其他类型的处理器，例如：加速处理单元(APU)，其包括具有片上GPU元件的CPU；以及数字信号处理器(DSP)，其被设计用于执行高速数值数据处理。专用集成电路(ASIC)也可以执行FPGA的硬连线功能；然而，设计和生产ASIC的交付周期大约是一年的几个季度，而不是对FPGA进行编程时所能达到的快速周转实现。
[0022]图形处理器单元120、中央处理单元118和现场可编程门阵列122被连接并连接至存储器接口和控制器112。FPGA通过可编程逻辑电路到存储器互连180连接至存储器接口。使用这个附加装置是因为FPGA以非常大的带宽运行，以及为了最大限度地减少FPGA用于执行存储器任务的电路。存储器接口和控制器112附加地连接至永久存储器盘110、系统存储
器114和只读存储器(ROM)116。
[0023]图1的系统可以用于对FPGA进行编程和训练。GPU可以很好的处理非结构化数据并且可以被用于进行训练。一旦数据已被训练，就可以得到确定性推理模型，并且CPU可以使用由GPU确定的模型数据对FPGA进行编程。
[0024]存储器接口和控制器连接至中央互连124，该中央互连附加地连接至GPU 120、CPU 118和FPGA 122。该中央互连124附加地连接至输入和输出接口128和网络接口126。
[0025]图2示例性的描绘了可以用于实现与过程1000的一个或多个部分或步骤的操作相关联的神经网络的第二混合计算系统200。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(FPGA)210和中央处理单元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体姿态估计方法，其特征在于，包括：接收图像帧；至少在第一阶段中基于所述图像帧提取第一阶段图像特征；至少在第二阶段中基于所述第一阶段图像特征提取第二阶段图像特征；至少在后续阶段中基于所述第二阶段图像特征提取后续阶段图像特征；对所述后续阶段图像特征进行上采样；对所述第二阶段图像特征进行上采样；联合所述第一阶段图像特征、上采样后的第二阶段图像特征和上采样后的后续阶段图像特征；以及基于所述联合的输出输出特征图。2.根据权利要求1所述的人体姿态估计方法，其特征在于，所述特征图是基于自底向上的确定。3.根据权利要求1所述的人体姿态估计方法，其特征在于，所述图像帧为红
‑
蓝
‑
绿和红外中的至少一种。4.根据权利要求1所述的人体姿态估计方法，其特征在于，至少在所述第一阶段的提取使用resnet
‑
v1
‑
50。5.根据权利要求1所述的人体姿态估计方法，其特征在于，对所述后续阶段图像特征的上采样为4倍上采样。6.根据权利要求1所述的人体姿态估计方法，其特征在于，对所述第二阶段图像特征的上采样为2倍上采样。7.根据权利要求1所述的人体姿态估计方法，其特征在于，还包括第三阶段以提取第三阶段图像特征。8.一种人体姿态估计方法，其特征在于，包括：通过初始阶段接收特征图；基于所述初始阶段的初始部位关联图分支对所述特征图进行卷积；基于所述初始部位关联图分支的输出确定初始部位关联图；基于所述初始阶段的初始热图分支对所述特征图进行卷积；基于所述初始热图分支的输出确定初始热图；联合所述初始部位关联图分支、所述初始热图分支和所述特征图以输出初始阶段联合；通过细化阶段接收所述初始阶段联合；经由所述细化阶段的细化部位关联图分支对所述初始阶段联合进行卷积；基于所述细化部位关联图分支的输出确定细化部位关联图；经由所述细化阶段的细化热图分支对所述初始阶段联合进行卷积；以及基于所述细化热图分支的输出确定细化热图。9.根据权利要求8所述的人体姿态估计方法，其特征在于，所述特征图是基于自底向上的确定。10.根据权利要求8所述的人体姿态估计方法，其特征在于，所述热图预测身体部位的位置，以及所述部位关联图预测所述身体部位的关联。
11.根据权利要求8所述的人体姿态估计方法，其...

【专利技术属性】
技术研发人员：刘晓旻，顾群，张磊，
申请(专利权)人：黑芝麻智能科技上海有限公司，
类型：发明
国别省市：