一种基于关节点提取的人体运动轨迹分析方法技术

本发明专利技术公开了一种基于关节点提取的人体运动轨迹分析方法，所述方法包括如下步骤：将待测人体视频中放入人体骨架识别模型中得到关节点位置序列；根据关节点和人体先验对所述关节点位置序列进行分割得到大尺度关节图像；将所述大尺度关节图像放入关节中心预测网络中得到精细关节点位置；将所述精细关节点位置带回到待测人体视频中得到精细关节点在待测人体视频中的位置；根据精细关节点在待测人体视频中的位置分析得到关节点在视频中的运动轨迹。本发明专利技术步骤简单，进一步提高了关节点运动轨迹的预测精度。

An analysis method of human motion track based on joint point extraction

The invention discloses a method for analyzing human motion track based on joint point extraction, the method comprises the following steps: putting the human body video to be tested into the human skeleton recognition model to obtain the joint point position sequence; segmenting the joint point position sequence according to the joint point and human body prior to obtain the large-scale joint image; putting the large-scale joint image into the joint In the heart prediction network, the position of the fine joint point is obtained; the position of the fine joint point is brought back to the human body video to be tested to obtain the position of the fine joint point in the human body video to be tested; the motion track of the joint point in the video is obtained according to the position analysis of the fine joint point in the human body video to be tested. The method has simple steps and further improves the prediction accuracy of the motion track of the joint point.

【技术实现步骤摘要】
一种基于关节点提取的人体运动轨迹分析方法
本专利技术属于人工智能领域，具体涉及一种基于关节点提取的人体运动轨迹分析方法。
技术介绍
Openpose人体姿态识别项目是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性，是世界上首个基于深度学习的实时多人二维姿态估计应用，基于它的实例如雨后春笋般涌现。openpose的前身就是CPM算法，相比较与CPM算法识别单人，openpose可以识别多人，因为CPM算法也是可以通过heatmap识别出多人的，但openpose提出了PAFs，更好地解决了多人的问题。LSTM算法全称为Longshort-termmemory，最早由SeppHochreiter和JurgenSchmidhuber于1997年提出，是一种特定形式的RNN（Recurrentneuralnetwork，循环神经网络），而RNN是一系列能够处理序列数据的神经网络的总称。一般地，RNN包含如下三个特性：a.循环神经网络能够在每个时间节点产生一个输出，且隐单元间的连接是循环的；b.循环神经网络能够在每个时间节点产生一个输出，且该时间节点上的输出仅与下一时间节点的隐单元有循环连接；c.循环神经网络包含带有循环连接的隐单元，且能够处理序列数据并输出单一的预测。RNN还有许多变形，例如双向RNN（BidirectionalRNN）等。然而，RNN在处理长期依赖（时间序列上距离较远的节点）时会遇到巨大的困难，因为计算距离较远的节点之间的联系时会涉及雅可比矩阵的多次相乘，这会带来梯度消失（经常发生）或者梯度膨胀（较少发生）的问题，这样的现象被许多学者观察到并独立研究。为了解决该问题，研究人员提出了许多解决办法，例如ESN（EchoStateNetwork），增加有漏单元（LeakyUnits）等等。其中最成功应用最广泛的就是门限RNN（GatedRNN），而LSTM就是门限RNN中最著名的一种。有漏单元通过设计连接间的权重系数，从而允许RNN累积距离较远节点间的长期联系；而门限RNN则泛化了这样的思想，允许在不同时刻改变该系数，且允许网络忘记当前已经累积的信息。LSTM的巧妙之处在于通过增加输入门限、遗忘门限和输出门限，使得自循环的权重是变化的，这样一来在模型参数固定的情况下，不同时刻的积分尺度可以动态改变，从而避免了梯度消失或者梯度膨胀的问题。CNN-LSTM结构涉及在输入数据中使用卷积神经网络（CNN）层做特征提取并结合LSTM来支持序列预测。CNN-LSTM开发用来可视化序列预测问题和从图像序列生成文本描述的应用（例如：视频）。CNN-LSTM是这样一类模型，它在空间和时间上都很深，并具有适用于各种输入任务和输出的视觉任务的灵活性。这种架构最初被称为长期卷积神经网络（Long-termRecurrentConvolutionalNetwork）或者LRCN模型。尽管我们将使用更通用的名为CNN-LSTM来指代本课题中使用的CNN作为前段的LSTM模型,该体系结构用于生成图像的文本描述的任务。关键是使用CNN，它在具有挑战性的图像分类问题上被预训练，该任务被重新用作字幕生成问题的特征提取器。目前的人体姿态检测算法大部分使用了置信度图的方法预测关节点触电的概率，该类方法的精度很大程度上依赖于置信度图与图中人体的相对尺寸，而显存的大小限制了两者的比值，也限制了预测精度。
技术实现思路
针对现有技术的不足，本专利技术的目的在于提供一种基于关节点提取的人体运动轨迹分析方法，以解决现有技术中存在的检测精度不高的问题。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于关节点提取的人体运动轨迹分析方法，所述方法包括如下步骤：将待测人体视频放入人体骨架识别模型中得到关节点位置序列；根据关节点和人体先验对所述关节点位置序列进行分割得到大尺度关节图像；将所述大尺度关节图像放入关节中心预测网络中得到精细关节点位置；将所述精细关节点位置带回到待测人体视频中得到关节点在待测人体视频中的精细位置；根据所述精细位置分析得到关节点在视频中的运动轨迹；通过计算所述运动轨迹的运动学数据辅助分析人体运动状态。进一步的，所述人体骨架识别模型依次通过人体关节点数据集、待测人体的历史关节点数据集训练获取。进一步的，所述关节中心预测网络依次通过人体关节点数据集、待测人体的历史关节点数据集训练获取，用来预测人体关节点的位置。进一步的，所述人体先验包括人体关节点的分布信息、互相之间的连接信息和距离信息。进一步的，所述人体骨架识别模型的建立方法包括：a、将第一帧图像经VGG网络生成第一阶段特征图；b、所述第一阶段特征图通过卷积层得到第一阶段热度图和第一阶段向量图；c、将所述第一阶段热度图、第一阶段向量图和第一阶段特征图输入至网络结构，经过卷积层得到第二阶段热度图和第二阶段向量图；重复步骤c至设定的次数得到最终的热度图和向量图；根据所述最终的热度图和向量图得到人体骨架识别模型。进一步的，所述人体骨架识别模型的网络结构包括openpose+lstm网络结构。进一步的，所述精细关节点位置的具体获取方法包括：a、将输入图像经过第一阶段网络处理得到第一阶段特征图；b、将所述第一阶段特征图经过第一阶段卷积层网络处理得到第一阶段置信图；c、将所述第一阶段特征图、第一阶段置信图输入至第二阶段卷积层网络获取第二阶段置信图；d、将所述第一阶段特征图、第二阶段置信图输入至第三阶段卷积层网络获取第三阶段置信图；重复步骤d至设定的次数得到最终的置信图；根据所述最终的置信图得到精细关节点位置。进一步的，所述运动学数据包括频率、速度和加速度由于人体骨架识别模型关节点在特征图中尺度较小，造成预测关节点的精度不高，因此设计了关节中心预测网络，用来提高预测关节点的精度，这里使用卷积位姿机器即cpm模型作为关节中心预测网络的基本结构。与现有技术相比，本专利技术所达到的有益效果是：本专利技术通过将openpose和lstm相结合建立人体骨架识别模型，该模型能够处理时序信息，使模型能够恢复人体的运动轨迹；通过使用大尺度人体图像来预测关节点位置，进一步提高了关节点的预测精度。附图说明图1是本专利技术基于关节点提取的人体运动轨迹分析方法的流程图；图2是本专利技术中openpose+lstm网络结构图；图3是本专利技术中cpm网络结构图。具体实施方式下面结合说明书附图和具体实施对本专利技术工作原理和技术方案作进一步详细的描述。如图1所示，一种基于关节点提取的人体运动轨迹分析方法步骤如下：首先使用coco人体关节点数据集对人体骨架识别模型进行预训练：人体骨架识别模型是一种基于open本文档来自技高网...

【技术保护点】
1.一种基于关节点提取的人体运动轨迹分析方法，其特征在于，所述方法包括如下步骤：/n将待测人体视频放入人体骨架识别模型中得到关节点位置序列；/n根据关节点和人体先验对所述关节点位置序列进行分割得到大尺度关节图像；/n将所述大尺度关节图像放入关节中心预测网络中得到精细关节点位置；/n将所述精细关节点位置带回到待测人体视频中得到关节点在待测人体视频中的精细位置；/n根据所述精细位置分析得到关节点在视频中的运动轨迹；/n通过计算所述运动轨迹的运动学数据辅助分析人体运动状态。/n

【技术特征摘要】
1.一种基于关节点提取的人体运动轨迹分析方法，其特征在于，所述方法包括如下步骤：
将待测人体视频放入人体骨架识别模型中得到关节点位置序列；
根据关节点和人体先验对所述关节点位置序列进行分割得到大尺度关节图像；
将所述大尺度关节图像放入关节中心预测网络中得到精细关节点位置；
将所述精细关节点位置带回到待测人体视频中得到关节点在待测人体视频中的精细位置；
根据所述精细位置分析得到关节点在视频中的运动轨迹；
通过计算所述运动轨迹的运动学数据辅助分析人体运动状态。


2.根据权利要求1所述的一种基于关节点提取的人体运动轨迹分析方法，其特征在于，所述人体骨架识别模型依次通过人体关节点数据集、待测人体的历史关节点数据集训练获取。


3.根据权利要求1所述的一种基于关节点提取的人体运动轨迹分析方法，其特征在于，所述关节中心预测网络依次通过人体关节点数据集、待测人体的历史关节点数据集训练获取。


4.根据权利要求1所述的一种关节点运动轨迹的检测方法，其特征在于，所述人体先验包括人体关节点的分布信息、互相之间的连接信息和距离信息。


5.根据权利要求1所述的一种关节点运动轨迹的检测方法，其特征在于，所述人体骨架识别模型的建立方法包括：
a、将第一帧图像经VGG网络生成第一阶段...

【专利技术属性】
技术研发人员：高浩，杨泽宇，徐枫，宗睿，余新光，潘隆盛，凌至培，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32