一种用于强交互人体运动的2D人体位姿生成方法及装置制造方法及图纸

本发明专利技术公开了一种用于强交互人体运动的2D人体位姿生成方法，该方法主要步骤包括：通过搭建的多视角相机阵列，采集并建立强交互人体运动数据集；基于建立的数据集对2D人体位姿估计网络HRNet的预训练模型进行微调，以提升其对强交互运动的检测能力；将微调获得的模型用于检测不同视角的图像，获得其初始特征；利用对极几何原理对每个视角的初始特征计算在其他视角中的对应极线位置；在对应的极线上分别采样K个特征，与源视角进行特征相似度计算和特征融合，以弥补源视角初始特征的不足；采用贪心匹配算法并以骨骼长度为阈值约束关节点的连接，最终生成2D人体骨架。本发明专利技术可以有效提高对强交互人体运动下的2D人体位姿的检测准确率。测准确率。测准确率。

【技术实现步骤摘要】
一种用于强交互人体运动的2D人体位姿生成方法及装置


[0001]本专利技术属于人体位姿检测
，具体为一种用于强交互人体运动的2D人体位姿生成方法。

技术介绍

[0002]2D人体位姿生成作为计算机视觉和图形学领域中的一个基本问题，主要是利用普通相机或者深度相机获取图像信息对人体骨架各关节点的位置进行预测，并连接生成2D人体骨架，是实现人体动作识别、虚拟试衣和人机交互等技术的基础，同时也在医疗、比赛、动画和智慧城市等领域有着许多的应用价值。
[0003]目前2D人体位姿生成方法按对象数量可分为单人2D人体位姿估计和多人2D人体位姿估计。单人2D位姿估计由于检测场景简单，随着近几年研究深入，已经有了许多鲁棒高效的神经网络能够对此任务达到很高的预测准确率。而对于多人2D人体位姿估计的问题，由于人数的增多会给单个相机所拍摄图像中的内容带来许多的遮挡问题，尤其当图像内人物进行一些强交互运动时。同时人数的增多也会使得计算量发生增长，会严重影响对人体关节点预测估计的速度和准确率，目前对于多人强交互人体运动的2D人体位姿估计仍是研究难点。
[0004]同时2D人体位姿生成方法按检测方法还可分为自顶向下的方法和自底向上的方法。自顶向下的方法是首先检测出图片中的所有人，再利用单人的2D位姿估计算法对所有人进行关节点检测。但当人数增加时会严重影响检测速度，而且很难准确检测出图像中的所有人。自底向上的方法是首先检测出图片中所有的关节点位置，再连接生成人体骨架，这种方法的检测速度和准确度不会受到人数增加太多的影响。/>[0005]另外，目前商业人体位姿估计系统一般需要身穿带有标记的特殊衣服来对人体进行跟踪，尽管这样的商业系统可以得到非常准确的2D人体位姿估计结果，连人体细小的细节及面部表情都可以捕捉到。但是，这种商业系统必须在特定的环境下才能够进行工作，适用范围严格受限。此外2D人体位姿估计研究中还有着一套无标记系统的方法，其中有使用单摄像机进行采集视频，但这样采集到的图像所包含信息较少，尤其当其中人物进行强交互运动存在严重遮挡时，对检测结果的准确率有着严重的影响。

技术实现思路

[0006]本专利技术的目的在于克服现有技术中的不足，提供一种用于强交互人体运动的2D人体姿态生成方法及装置，可有效的提高2D人体位姿检测的准确度。
[0007]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0008]第一方面，本专利技术提供了一种用于强交互人体运动的2D人体姿态生成方法，包括以下步骤：
[0009]获取待检测的多视角图像集；所述多视角图像集包括同一时刻下的多视角图像；
[0010]将待检测的同一时刻下的各视角图像输入2D人体位姿估计网络分别进行特征融
合，并基于融合后的特征进行关节点位置估计，得到关节点的位置估计结果；
[0011]对于关节点的位置估计结果，采用贪心匹配算法计算各个关节点之间的匹配关系，并以骨骼长度为阈值约束关节点的连接，生成2D人体骨架。
[0012]进一步地，所述2D人体位姿估计网络的构造方法包括以下步骤：
[0013]建立多视角的强交互人体运动数据集；
[0014]选用HRNet网络模型作为骨干网络，并利用建立的强交互人体运动数据集对HRNet网络模型进行预训练和微调，获得微调后的HRNet网络模型；
[0015]基于微调后的HRNet网络模型建立网络结构构成2D人体位姿估计网络。
[0016]进一步地，建立多视角的强交互人体运动数据集的方法包括：
[0017]搭建多视角相机阵列；
[0018]基于所述多视角相机阵列采集强交互人体运动的图像数据；
[0019]将所述强交互人体运动图片数据按照预设的关节点为各个视角各个图像中的每一个人物进行标注，与公共数据集混合，作为对强交互运动的数据补充，建立多视角的强交互人体运动的数据集。
[0020]进一步地，利用建立的强交互人体运动数据集对2D人体位姿估计网络HRNet的预训练模型进行微调，获得微调后的HRNet网络模型的方法包括：
[0021]利用建立的强交互运动数据集对网络重新进行训练，提升网络对这种强交互运动的检测能力。
[0022]进一步地，将待检测的同一时刻下的各视角图像输入2D人体位姿估计网络分别进行特征融合，并基于融合后的特征进行关节点位置估计，得到关节点的位置估计结果的方法包括以下主要步骤：
[0023]对各视角图像进行初始特征生成；
[0024]对各视角图像进行特征融合，并以此进行关节点位置估计。
[0025]进一步地，对各视角图像进行初始特征生成，包括：
[0026]将各个视角的待检测图像数据作为输入，利用2D人体位姿估计网络进行人体位姿检测，得到人体关节位置初始的热图和特征图；
[0027]所述热图代表关节可能出现的位置置信度，作为各视角图像的初始特征。
[0028]进一步地，对各视角图像进行特征融合，包括：
[0029]对每个视角下获得的初始特征利用对极几何原理计算在其他视角中的对应极线位置，在其他视角中对应的极线上分别采样多个特征，与源视角进行特征之间的相似度计算；
[0030]将采样得到的采样特征与源视角中的特征根据相似度进行匹配，分别得到的概率值作为各个采样特征的权重，根据该权重进行加权融合，获得加权采样特征作为近似关节点特征；
[0031]将近似关节点特征通过网络学习获得的权重与源视角进行特征融合，得到融合后的关节位置热图和特征图，即为：
[0032]H
fused
(p
′
)＝H(p)+ωH(p
′
)
[0033]其中p为已知2D关节点，p
′
为p对应的2D关节点，H()代表关节位置热图，H
fused
()代表融合后的结果，ω代表权重参数，由在网络训练中进行学习得到；
[0034]根据融合后的关节位置热图和特征图得到关节点的位置估计结果。
[0035]进一步地，对于关节点的位置估计结果，采用贪心匹配算法计算各个关节点之间的匹配关系，并以骨骼长度为阈值约束关节点的连接，生成2D人体骨架包括：
[0036]经过特征融合检测得到的关节点送入人体骨架装配模块，将人体骨架生成问题转化为各个关节点之间的一个最优匹配问题；
[0037]采用贪心匹配算法解析计算各个关节点之间的匹配关系，并以图像长度的一半来作为骨骼长度阈值，从而生成2D人体骨架。
[0038]第二方面，本专利技术提供了一种用于强交互人体运动的2D人体位姿生成装置，包括：
[0039]数据集模块：用于获取待检测的多视角图像集；所述多视角图像集包括同一时刻下的多视角图像；
[0040]预估模块：用于将待检测的同一时刻下的各视角图像输入2D人体位姿估计网络分别进行特征融合，并基于融合后的特征进行关节点位置估计，得到关节点的位置估计结果；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于强交互人体运动的2D人体姿态生成方法，其特征在于，包括以下步骤：获取待检测的多视角图像集；所述多视角图像集包括同一时刻下的多视角图像；将待检测的同一时刻下的各视角图像输入2D人体位姿估计网络分别进行特征融合，并基于融合后的特征进行关节点位置估计，得到关节点的位置估计结果；对于关节点的位置估计结果，采用贪心匹配算法计算各个关节点之间的匹配关系，并以骨骼长度为阈值约束关节点的连接，生成2D人体骨架。2.根据权利要求1所述的2D人体姿态生成方法，其特征在于，所述2D人体位姿估计网络的构造方法包括以下步骤：建立多视角的强交互人体运动数据集；选用HRNet网络模型作为骨干网络，并利用建立的强交互人体运动数据集对HRNet网络模型进行预训练和微调，获得微调后的HRNet网络模型；基于微调后的HRNet网络模型建立网络结构构成2D人体位姿估计网络。3.根据权利要求2所述的2D人体姿态生成方法，其特征在于，建立多视角的强交互人体运动数据集的方法包括：搭建多视角相机阵列；基于所述多视角相机阵列采集强交互人体运动的图像数据；将所述强交互人体运动图片数据按照预设的关节点为各个视角各个图像中的每一个人物进行标注，与公共数据集混合，作为对强交互运动的数据补充，建立多视角的强交互人体运动的数据集。4.根据权利要求2所述的2D人体姿态生成方法，其特征在于，利用建立的强交互人体运动数据集对2D人体位姿估计网络HRNet的预训练模型进行微调，获得微调后的HRNet网络模型的方法包括：利用建立的强交互运动数据集对网络重新进行训练，提升网络对这种强交互运动的检测能力。5.根据权利要求1所述的2D人体姿态生成方法，其特征在于，将待检测的同一时刻下的各视角图像输入2D人体位姿估计网络分别进行特征融合，并基于融合后的特征进行关节点位置估计，得到关节点的位置估计结果的方法包括以下步骤：对各视角图像进行初始特征生成；对各视角图像进行特征融合，并以此进行关节点位置估计。6.根据权利要求5所述的2D人体姿态生成方法，其特征在于，对各视角图像进行初始特征生成，包括：将各个视角的待检测图像数据作为输入，利用2D人体位姿估计网络进行人体位姿检测，得到人体关节位置初始的热图和特征图；所述热图代表关节可能出现的位置置信度，作为各视角图像的初始特征。7.根据权利要求6所述的2D人体姿态生成方法，其特征在于，对各视角图像进行特征融合，包括：对每...

【专利技术属性】
技术研发人员：高浩，葛昌武，徐飞易，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：