一种多人姿态估计方法、系统及设备技术方案

本发明专利技术公开了一种多人姿态估计方法、系统及设备，包括：将输入特征图F

【技术实现步骤摘要】
一种多人姿态估计方法、系统及设备


[0001]本专利技术属于计算机视觉
，特别涉及一种多人姿态估计方法、系统及设备。

技术介绍

[0002]在计算机视觉分析中，人体姿态作为计算机分析人物行为的重要参考；人体姿态结构包含关节拓扑结构信息，是一种简洁而丰富的人体行为表示方法；因此，人体姿态估计作为基础任务被广泛研究并应用于行为识别、自动驾驶、虚拟现实及增强现实等领域。
[0003]多人姿态估计是获取视频图像中的所有人物并对每个人物定位出关键点的技术；现有技术中基于top
‑
down的多人姿态估计方法，其先用目标检测方法检测人体边界框并对原图进行裁剪得到人体图像，然后对其依次采用单人姿态估计的方法，最后汇总多个单人姿态得到多人姿态结果；其相比于基于bottom
‑
up的姿态估计方法往往表现出更高的估计性能。
[0004]而在基于top
‑
down的多人姿态估计方法中，存在有单个边界框中仅有单个人的前提假设，该前提假设在大多数简单的理想场景中表现出优异的估计性能；但对于现实中的普遍存在的拥挤或遮挡情况的复杂场景来说，单个人体边界框中往往会出现多个人物，此时上述前提假设不成立；在面对拥挤或遮挡的复杂场景，现有的基于top
‑
down的多人姿态估计方法，仅能够对上述复杂场景下的单人姿态进行估计识别，导致部分关键点漏检或误检的问题，大大降低了姿态估计结果的精度。

技术实现思路

[0005]针对现有技术中存在的技术问题，本专利技术提供了一种多人姿态估计方法、系统及设备，以解决在面对拥挤或遮挡等复杂场景时，现有的基于top
‑
down的多人姿态估计方法存在部分关键点漏检或误检的问题，大大降低了姿态估计结果的精度。
[0006]为达到上述目的，本专利技术采用的技术方案为：
[0007]本专利技术提供了一种多人姿态估计方法，包括以下步骤：
[0008]对待估计图像进行特征提取，得到输入特征图F
in
；
[0009]将所述输入特征图F
in
，作为预构建的遮挡者分支ORB的输入，获取待估计图像中的遮挡者特征图F
out1
；并利用预设的第一姿态预测头对所述待估计图像中的遮挡者特征图F
out1
进行关键点的定位，得到遮挡者的关键点热图H
occluder
；
[0010]将所述输入特征图F
in
与所述遮挡者特征图F
out1
进行特征融合，得到输入特征图F
in_occludee
；
[0011]将所述输入特征图F
in_occludee
，作为预构建的被遮挡者分支OEB的输入，获取待估计图像中的被遮挡者特征图F
out2
；并利用预设的第二姿态预测头对所述待估计图像中的被遮挡者特征图F
out2
进行关键点定位，得到被遮挡者的关键点热图H
occludee
；
[0012]将所述遮挡者的关键点热图H
occluder
和所述被遮挡者的关键点热图H
occludee
作为输出，得到所述待估计图像的多人姿态估计结果。
[0013]进一步的，对待估计图像进行特征提取，得到特征图F
in
的过程，具体如下：
[0014]利用预选取的主干网络，对待估计图像进行特征提取，得到所述特征图F
in
；其中，所述预选取的主干网络为HRNet特征提取器、ResNet特征提取器或SimpleBaseline特征提取器。
[0015]进一步的，所述预构建的遮挡者分支ORB包括依次相连的第一注意力模块、第一卷积模块、第二注意力模块及第二卷积模块；
[0016]所述第一注意力模块，用于对所述输入特征图F
in
进行注意力机制运算，得到遮挡者特征图F
attention1
；
[0017]所述第一卷积模块，用于对所述遮挡者特征图F
attention1
进行两次卷积操作，得到遮挡者特征图F
′
in1
；
[0018]所述第二注意力模块，用于对所述遮挡者特征图F
′
in1
进行注意力机制运算，得到遮挡者特征图F
′
attention1
；
[0019]所述第二卷积模块，用于对所述遮挡者特征图F
′
attention1
进行两次卷积操作，得到待估计图像中的遮挡者特征图F
out1
。
[0020]进一步的，所述第一注意力模块和所述第二注意力模块的结构相同，均包括通道注意力模块及空间注意力模块；
[0021]其中，所述通道注意力模块，用于增加预设通道的权重；所述空间注意力模块，用于增加关注空间需要的权重。
[0022]进一步的，所述遮挡者的关键点热图为H
occluder
：
[0023]H
occluder
＝Conv
pred
(F
out1
)。
[0024]进一步的，所述预构建的被遮挡者分支OEB包括依次相连的第三注意力模块、第三卷积模块、第四注意力模块及第四卷积模块；
[0025]所述第三注意力模块，用于对所述输入特征图F
in_occludee
进行注意力机制运算，得到被遮挡者特征图F
attention2
；
[0026]所述第三卷积模块，用于对所述遮挡者特征图F
attention2
进行两次卷积操作，得到被遮挡者特征图F
′
in2
；
[0027]所述第四注意力模块，用于对所述遮挡者特征图F
′
in2
进行注意力机制运算，得到被遮挡者特征图F
′
attention2
；
[0028]所述第二卷积模块，用于对所述遮挡者特征图F
′
attention2
进行两次卷积操作，得到待估计图像中的被遮挡者特征图F
out2
。
[0029]进一步的，所述第三注意力模块和所述第四注意力模块的结构相同，均包括通道注意力模块及空间注意力模块；
[0030]其中，所述通道注意力模块，用于增加预设通道的权重；所述空间注意力模块，用于增加关注空间需要的权重。
[0031]进一步的，被遮挡者的关键点热图H
occludee
为：
[0032]H
occludee
＝Conv
pred
(F
out2
)。
[0033]本专利技术还提供了一种多人姿态估计系统，包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多人姿态估计方法，其特征在于，包括以下步骤：对待估计图像进行特征提取，得到输入特征图F
in
；将所述输入特征图F
in
，作为预构建的遮挡者分支ORB的输入，获取待估计图像中的遮挡者特征图F
out1
；并利用预设的第一姿态预测头对所述待估计图像中的遮挡者特征图F
out1
进行关键点的定位，得到遮挡者的关键点热图H
occluder
；将所述输入特征图F
in
与所述遮挡者特征图F
out1
进行特征融合，得到输入特征图F
in_occludee
；将所述输入特征图F
in_occludee
，作为预构建的被遮挡者分支OEB的输入，获取待估计图像中的被遮挡者特征图F
out2
；并利用预设的第二姿态预测头对所述待估计图像中的被遮挡者特征图F
out2
进行关键点定位，得到被遮挡者的关键点热图H
occludee
；将所述遮挡者的关键点热图H
occluder
和所述被遮挡者的关键点热图H
occludee
作为输出，得到所述待估计图像的多人姿态估计结果。2.根据权利要求1所述的一种多人姿态估计方法，其特征在于，对待估计图像进行特征提取，得到特征图F
in
的过程，具体如下：利用预选取的主干网络，对待估计图像进行特征提取，得到所述特征图F
in
；其中，所述预选取的主干网络为HRNet特征提取器、ResNet特征提取器或SimpleBaseline特征提取器。3.根据权利要求1所述的一种多人姿态估计方法，其特征在于，所述预构建的遮挡者分支ORB包括依次相连的第一注意力模块、第一卷积模块、第二注意力模块及第二卷积模块；所述第一注意力模块，用于对所述输入特征图F
in
进行注意力机制运算，得到遮挡者特征图F
attention1
；所述第一卷积模块，用于对所述遮挡者特征图F
attention1
进行两次卷积操作，得到遮挡者特征图F
′
in1
；所述第二注意力模块，用于对所述遮挡者特征图F
′
in1
进行注意力机制运算，得到遮挡者特征图F
′
attention1
；所述第二卷积模块，用于对所述遮挡者特征图F
′
attention1
进行两次卷积操作，得到待估计图像中的遮挡者特征图F
out1
。4.根据权利要求3所述对一种多人姿态估计方法，其特征在于，所述第一注意力模块和所述第二注意力模块的结构相同，均包括通道注意力模块及空间注意力模块；其中，所述通道注意力模块，用于增加预设通道的权重；所述空间注意力模块，用于增加关注空间需要的权重。5.根据权利要求1所述的一种多人姿态估计方法，其特征在于，所述遮挡者的关键点热图为H
occluder
：H
occluder
＝Conv
pred
(F
out1

【专利技术属性】
技术研发人员：白秀秀，魏星，王增莹，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：