基于深度残差神经网络的二维多人体姿态估计方法技术

本发明专利技术公开了一种基于深度残差神经网络的二维多人体姿态估计方法，包括步骤：1)获取基础人体姿态估计训练数据集2)将获取的图片送入预训练的深度残差神经网络，生成对应的特征向量；3)将特征向量通过两个方向的多次卷积操作生成两个分支的特征映射，生成关节点置信场和部位亲和场；4)计算真实图片的关节点置信场和部位亲和力场，组合成为真实图片的特征映射，将步骤3)中的特征映射与真实图片的特征映射之间均方误差，做网络的训练；重复步骤1)‑步骤3)，生成训练后图片的关节点置信场和部位亲和力场；5)使用步骤4)中生成的关节点置信场和部位亲和场进行关节点的计算和关节点连接。本发明专利技术可以很好地应付复杂的姿态变换并且推广到多人姿态估计。

Two dimensional multi body attitude estimation method based on depth residual neural network

【技术实现步骤摘要】
基于深度残差神经网络的二维多人体姿态估计方法
本专利技术涉及计算机视觉的
，尤其是指一种基于深度残差神经网络的二维多人体姿态估计方法。
技术介绍
人体姿态估计长久以来一直是计算机视觉领域的一个热点问题。其主要内容，是让计算机从图像或视频中定位出人物的关键点(也称为关节点，如肘、手腕等)。人体姿识别计按维度可分为二维和三维两种：二维人体姿态识别通常使用线段或者矩形来描述人体各关节在图像上的投影位置，线段的长度和角度表示了人体的二维姿态；三维人体姿态估计通常使用树模型来描述估计的姿态，各关节点的位置使用三维坐标确定。在实际应用中，目前获取的大多数图像仍是二维图像，同时三维姿态估计可以使用二维预测进行推理，所以二维姿态估计有着重要的研究价值。自人体姿态估计的概念提出以来，国内外的学者对此做出了不懈的努力。传统的姿态估计算法主要是基于图结构(PictorialStructures)模型。该模型将人或物体表示为多个部件的集合，这些部件之间含有空间约束，通过人工指定的特征检测组件实现关节点检测。传统方法过于依赖手工设计的模板，难以应付复杂的姿本文档来自技高网...

【技术保护点】
1.基于深度残差神经网络的二维多人体姿态估计方法，其特征在于，包括以下步骤：/n1)获取基础人体姿态估计训练数据集，包括多张图片，每张图片包含多个人体和标注好的每个人体各关键点的位置；/n2)将步骤1)中获取的图片处理成网络输入所需的形式，然后送入预训练的深度残差神经网络中进行前向传播，生成对应的特征向量作为图片的特征；/n3)将步骤2)中生成的特征向量通过两个方向的多次卷积操作生成两个分支的特征映射，特征映射对应到两个分支的预测，一个称为部位亲和力场，用于预测各关节点位置，另一个称为关节点置信场，用于预测关节点直接的连接；/n4)计算真实图片的关节点置信场和部位亲和力场，组合成为真实图片的特...

【技术特征摘要】
1.基于深度残差神经网络的二维多人体姿态估计方法，其特征在于，包括以下步骤：
1)获取基础人体姿态估计训练数据集，包括多张图片，每张图片包含多个人体和标注好的每个人体各关键点的位置；
2)将步骤1)中获取的图片处理成网络输入所需的形式，然后送入预训练的深度残差神经网络中进行前向传播，生成对应的特征向量作为图片的特征；
3)将步骤2)中生成的特征向量通过两个方向的多次卷积操作生成两个分支的特征映射，特征映射对应到两个分支的预测，一个称为部位亲和力场，用于预测各关节点位置，另一个称为关节点置信场，用于预测关节点直接的连接；
4)计算真实图片的关节点置信场和部位亲和力场，组合成为真实图片的特征映射，将步骤3)中输出的特征映射与真实图片的特征映射之间均方误差，并将误差反向传播，更新每个权值，做网络的训练，最终保存训练结果的网络参数；重复步骤1)-步骤3)，生成训练后图片的关节点置信场和部位亲和力场；
5)使用步骤4)中生成的关节点置信场进行关节点的计算，并将相邻关节点连接，使用部位亲和力场进行计算，排除相邻关节点的错误连接，保证同一个人体相邻的关节点能进行正确的连接、非同人体的关节点不进行连接，最终得到图片中人体的所有关节点以及正确的关节点连接，即得到完整的二维多人体姿态结果。


2.根据权利要求1所述的基于深度残差神经网络的二维多人体姿态估计方法，其特征在于：在步骤1)中，获取开源数据集做网络的训练，这个数据集叫MPII，包含多张图像，每张图片包含多个人体以及每个人体对应的各个关节点的位置，将获取的数据存入数据库中，用于后续网络的训练。


3.根据权利要求1所述的基于深度残差神经网络的二维多人体姿态估计方法，其特征在于：在步骤2)中，修改所有图片尺寸为224*224以适应网络的输入，图片尺寸224*224为深度残差神经网络的图片输入尺寸要求，构建预训练的深度残差神经网络，将图片以及对应的标签输入到网络中，经过网络的前向运算，输出表示图片特征的特征向量F。


4.根据权利要求1所述的基于深度残差神经网络的二维多人体姿态估计方法，其特征在于：在步骤3)中，将步骤2)中生成的特征映射F输入到一组自定义的由上下两个分支的卷积神经网络构成的结构网络中，一个结构网络的前向运算称之为一个阶段，该阶段随后会连续计算6次，次数为超参数，能够随意修改；通过网络的第一次前向运算，上下两个分支分别产成一组关节点置信场ρ1(F)和一组部位亲和力场其中ρ1和表示第一阶段的两部分卷积神经网络；在随后的每个阶段中，将前一阶段中来自两个分支的预测与原始图像特征连接起来，并用于生成精确的预测：






其中，t表示6次前向运算中第t个阶段，ρt和表示第t阶段的两部分卷积神经网络，F表示图片经过预训练的深度残差神经网络的特征向量，St和Lt表示t阶段网络输出的特征映射，最终，经过多个卷积操作，模型输出了关节点置信场的特征映射St和部位亲和力场的特征映射Lt，用于人体的关节点预测和关节点连接。


5.根据权利要求1所述的基于深度残差神经网络的二维多人体姿态估计方法，...

【专利技术属性】
技术研发人员：毛宜军，曾志超，梁早清，古万荣，徐振林，朱凯，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：广东;44