一种人体姿态检测方法、系统、存储介质、设备及终端技术方案

本发明专利技术属于人体姿态检测技术领域，公开了一种人体姿态检测方法、系统、存储介质、设备及终端，所述人体姿态检测方法包括：构建基于深度图像的人体骨骼化模型的数据集以及人体姿态分类的数据集；在openpose神经网络模型上进行迁移学习，深度图像作为网络输入，获取到的heatmap(关节点坐标)和paf(关节点向量场)作为标签进行训练，得到深度图像的人体骨骼化模型；通过姿态分析模块将打好标签的数据进行姿态特征夹角的计算，将夹角和标签输入到随机森林中进行训练，得到姿态识别模型。本发明专利技术在openpose的基础上将深度图像骨架化，并且可以转换成3d骨架给医务人员观察，有较高的准确率。

【技术实现步骤摘要】
一种人体姿态检测方法、系统、存储介质、设备及终端
本专利技术属于人体姿态检测
，尤其涉及一种人体姿态检测方法、系统、存储介质、设备及终端。
技术介绍
目前，伴随着我国现代经济社会的高速进步发展，科学生产技术的进步，我国人民的生活质量相比过去正变得越来越好，卫生水平、医疗条件都得到了很大程度的改善和提高，我国老年人口的平均寿命明显地延长，人口的年龄结构逐渐地呈现出人口老龄化的发展特征。由于我国在1999年正式地进入老龄社会，老年群体增长速度快、数量多，使得我国尚未实现社会现代化便进入老龄化社会，《2018年民政事业统计公报》指出，截至2018年底，我国年满60周岁以及超过60周岁的老人为24949万人，占总人口数的比重为17.9％，数量庞大的老年群体和老年人口较快的增长速度是现阶段我国人口老龄化十分重要的特征。同时，伴随着中国的人口老龄化，和老年人口问题逐渐凸显，居家养老也逐渐成为使用频率越来越高的一个专有名词。居家养老服务是指社会为居住在家的老年人提供以解决日常生活困难为主要内容的一种服务形式。随着人的年龄增长，人体的身体本文档来自技高网...

【技术保护点】
1.一种人体姿态检测方法，其特征在于，所述人体姿态检测方法包括以下步骤：/n通过数据采集模块利用深度摄像头和树莓派采集深度图像与对应的rgb图像，构建基于深度图像的人体骨骼化模型的数据集以及人体姿态分类的数据集；/n通过人体骨骼化模块将rgb图像通过openpose的pytorch模型跑出的heatmap跟paf保存作为后续训练模型的标签；/n在openpose的网络上进行迁移学习，深度图像作为网络输入，获取到的heatmap跟paf作为标签进行训练，得到深度图像的人体骨骼化模型；/n通过人工标定姿态将图像分组；通过heatmap与paf生成骨架图，对骨架图进行旋转，同时通过骨架图计算各个关节...

【技术特征摘要】
1.一种人体姿态检测方法，其特征在于，所述人体姿态检测方法包括以下步骤：
通过数据采集模块利用深度摄像头和树莓派采集深度图像与对应的rgb图像，构建基于深度图像的人体骨骼化模型的数据集以及人体姿态分类的数据集；
通过人体骨骼化模块将rgb图像通过openpose的pytorch模型跑出的heatmap跟paf保存作为后续训练模型的标签；
在openpose的网络上进行迁移学习，深度图像作为网络输入，获取到的heatmap跟paf作为标签进行训练，得到深度图像的人体骨骼化模型；
通过人工标定姿态将图像分组；通过heatmap与paf生成骨架图，对骨架图进行旋转，同时通过骨架图计算各个关节角作为训练集；
通过姿态分析模块将打好标签的数据进行夹角的计算，将夹角和标签输入到随机森林中进行训练，得到姿态识别模型；
通过对骨架图进行旋转，得到人的3d骨架正视图，并通过结果展示模块利用python可视化在前端进行展示。


2.如权利要求1所述的人体姿态检测方法，其特征在于，训练模型采用的是openpose的网络参数，openpose网络一个不断迭代的网络连接；第1阶段和后续阶段的网络在形态上有所区别，每个阶段的两个网络分支分别用于计算部位置信图和部位亲和域；
在训练的时候该网络一共分为六个阶段，每个阶段两个分支，除了第一阶段结构不太一样2到6阶段网络结构是一样的；网络的第1个阶段接收的输入是特征F，该特征是本发明将深度图像经过vgg-19的前10层提取的；经过网络的处理后分别得到S1和L1；从第2阶段开始，网络的输入包括三部分：St-1，Lt-1，F；每个阶段网络的输入为：








3.如权利要求1所述的人体姿态检测方法，其特征在于，所述训练过程包括：首先网络通过VGG-19前10层进行初始化并微调，在经过pretrain-model进行骨架后，会有两个branch，分别进行回归L(p)以及S(p)；在每一个stage都算一次loss之后，将L以及S以及原始的输入F进行concatenate，送入下一个stage再进行训练；其中训练的loss采用的是l2范数；S和L的gt都是采用标注的关键点，如果某个关键点在标注中不存在，就不标注这个点；经过途中所示的网络，网络氛围上下两个分支，每个分支都是t个阶段进行不断的微调，且每个阶段都会将featuremaps进行融合，其中表示的是网络的两个分支；L2损失如下：









六个阶段结束后通过反向传播确定本发明的梯度向量，然后通过梯度向量来调整权值，在下一次取一个batch_size图像之前，更新学习率在重复上述过程，直到达到迭代次数保存模型。


4.如权利要求1所述的人体姿态检测方法，其特征在于，所述通过heatmap与paf生成骨架图的方法，包括：
(1)计算
在给出标注数据计算的时候，每个confidencemap都是一个2D的表示，理想情况下，当图像中值包含一个人时，如果一个关键点是可见的话，对应的confidencemap中只会出现一个峰值，而当图像中有多个人时，对于每一个人k的每一个可见关键点j在对应的confidencemap都会有一个峰值；首先给出每一个人k的单个confidencemaps，xj，k∈R2表示图像中人k对应的位置j对应position：



其中，σ用来控制峰值在confidencemap中的传播范围；这里用最大值能够更加准确的将同一个featuremaps中confidencemap的峰值进行保存起来；网络在位置P的预测值对应的GT位置，取最大值在预测阶段网络通过NMS来获得最终的置信度；
(2)计算
Xj1，k以及Xj2，k分别表示第k个人的肢体c的两个身体部件j1以及j2的GT位置，如果点p落在了肢体c上，那么的值为j1指向j2的单位向量，不在这个肢体上的点p为0；为了在训练过程中评估fL，定义PAF在点p的GT值为其中表示的是肢体的单位向量；在0≤v·(p-xj1，k)≤lc，kand|v⊥·(p-xj1，k)|≤σl范围内的点p被定义为在肢体c上，其中σl代表肢体的宽度，lc，k＝||xj2，k-xj1，k||2代表肢体的长度；点p在部件亲和场GT值为所有人在此点上PAF的平均值其中nc(p)表示非零向量的个数；
(3)判断两点间相连的可能性
PartAffinityFields的关键作用是用于判断两个部位是否相连；通过下面公式实现：



对于两个候选点dj1和dj2，计算他们连线上的线性积分，如果p(u)是两点连线上的任意一点，那么的方向就会与的方向一致，那么E的值就会很大，说明该位置是一个躯干的可能性就非常大；
(4)关节拼接成骨架图
拼接过程如下：
第一步：先找到图中所有小腿：









用来表示把膝盖(j1)置信图中点m和脚(j2)置信图点n连接起来的一个可能肢体搭配...

【专利技术属性】
技术研发人员：胡鑫，涂志莹，李春山，李政佐，逄博，初佃辉，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：山东;37