一种基于全卷积的太极拳全身姿态估计方法、设备和介质技术

本发明专利技术公开了一种基于全卷积的太极拳全身姿态估计方法、设备和介质，获取视频数据，对视频进行预处理，提取单帧图像特征；基于提取的特征进行全身姿态估计，得到包含手部和头部的人体骨架关键点热图，确定人体姿态骨架图；构建多帧时间特征提取和人体姿态估计模型，根据人体姿态骨架图进行多特征姿态估计，对多特征估计结果进行融合，得到人体姿态估计结果。通过融合手部和头部的人体姿态细节以得到更准确的全身姿态估计结果，通过对人体关键点多特征进行提取和融合，结合时间特征进行姿态预测，增强了算法的精度和稳定性，兼顾了视频信号的多尺度特征提取和信号自身的时域特征，考虑了信号的时间与空间特征，使得太极拳动作姿态估计更加准确。态估计更加准确。态估计更加准确。

【技术实现步骤摘要】
一种基于全卷积的太极拳全身姿态估计方法、设备和介质


[0001]本专利技术涉及图像识别
，具体涉及一种基于全卷积的太极拳全身姿态估计方法、设备和介质。

技术介绍

[0002]太极拳是我国的一种传统拳法，可强身健体、修身养性。在通过太极拳进行康复治疗的过程中，有可能存在动作错误、动作协调性差等问题，需要加以一定的分析和指导。随着深度学习和机器学习的应用，已有研究基于图像或视频进行人体关键点预测并进行姿态估计的方法。
[0003]Chen等人利用卷积残差网络从人体运动视频提取特征，将当前帧图像特征与相邻帧前序特征图融合，根据多帧特征融合特征确定目标人体姿态；
[0004]Jian等人在原有的卷积特征提取模块中增加了金字塔池化模块，为姿态估计提取多尺度特征，从而提高了姿态估计的精度。
[0005]Xiao等人提取每个样本图像中的目标并通过线性插值得到样本子图，在子图中设置锚点，利用神经网络预测器得到每个锚点相对于目标关键点的特征并实现姿态估计；
[0006]Yang等人利用HRnet骨干网络提取多帧图像中的人体姿态动态变化特征，与当前帧预测结果进行融合匹配以得到多帧姿态估计结果。
[0007]现有技术的缺陷：
[0008]1.已有的仅通过循环网络或机器学习方法进行人体姿态估计的方法往往忽视了人体关键点的速度和加速度等动态信息，而这些特征对于识别太极拳之类的复杂动作是很有必要的；
[0009]2.已有的通过卷积结合循环网络进行特征提取的方法弱化或忽视了对人体的手部和头部等细节部位的高精度特征提取。
[0010]太极拳练习动作中包含头部转动和手势变化等复杂动作，而现有姿态估计方法通常只考虑肢体关键点，忽略了细节部分的特征信息。

技术实现思路

[0011]本专利技术所要解决的技术问题是现有姿态估计方法通常只考虑肢体关键点，忽略了对人体的手部和头部等细节部位的高精度特征提取，目的在于提供一种基于全卷积的太极拳全身姿态估计方法、设备和介质，通过对单帧图像进行全身姿态估计，通过多尺度特征提取方法，融合手部和头部的人体姿态细节以得到更准确的全身姿态估计结果，通过构建多帧时间特征提取和人体姿态估计网络对人体关键点多特征进行提取和融合，结合时间特征进行姿态预测，增强了算法的精度和稳定性。
[0012]兼顾动态特征和身体部位的高精度特征提取，提高姿态估计的准确度。
[0013]本专利技术通过下述技术方案实现：
[0014]本专利技术第一方面提供一种基于全卷积的太极拳全身姿态估计方法，包括以下具体
步骤：
[0015]获取视频数据，对视频进行预处理，提取单帧图像特征；
[0016]基于提取的特征进行全身姿态估计，得到包含手部和头部的人体骨架关键点热图，确定人体姿态骨架图；
[0017]构建多帧时间特征提取和人体姿态估计模型，根据人体姿态骨架图进行多特征姿态估计，对多特征估计结果进行融合，得到人体姿态估计结果。
[0018]本专利技术通过对单帧图像进行全身姿态估计，通过多尺度特征提取方法，融合手部和头部的人体姿态细节以得到更准确的全身姿态估计结果，通过构建多帧时间特征提取和人体姿态估计网络对人体关键点多特征进行提取和融合，结合时间特征进行姿态预测，增强了算法的精度和稳定性，兼顾了视频信号的多尺度特征提取和信号自身的时域特征，也即提取和考虑了信号的时间与空间特征，使得太极拳动作姿态估计更加准确。
[0019]进一步的，所述对视频进行预处理具体包括：
[0020]获取视频第t帧的人体图像I
t
，构建ResNet
‑
50图像特征提取模型，对I
t
进行图像基本特征提取，得到的特征图其中，w表示该特征图集宽度，h表示高度，n表示通道数。
[0021]进一步的，所述得到包含手部和头部的人体骨架关键点热图具体包括：
[0022]构建HRNet模型，对全身单帧图像特征集进行身体姿态估计，输出人体骨架关键点热图；
[0023]根据关键点热图获取头部和手部边界框划分结果；
[0024]根据头部和手部的边界框划分结果，结合获取头部和手部的原始图像特征，采用HRNet模型对头部和手部的原始图像特征进行头部和手部姿态估计，得到手部和头部的人体骨架关键点热图。
[0025]进一步的，所述确定人体姿态骨架图具体包括：
[0026]将包含手部和头部关键点的热图填入全身关键点热图的手部和头部边界框，输出包含全身关键点的关键点热图；
[0027]根据热图中关键点在每个像素点的概率选择概率最高的像素点为输出的关键点，得到人体姿态骨架图其中，L是视频帧数，N是全身估计关键点的总体数量，D表示每个关键点的维度。
[0028]进一步的，所述构建多帧时间特征提取和人体姿态估计模型具体包括：
[0029]构建基线分支，用于处理关键点的位置特征信息；
[0030]构建速度分支，用于处理关键点的速度特征信息；
[0031]构建加速度分支，用于处理关键点的加速度特征信息。
[0032]进一步的，所述得到人体姿态估计结果具体包括：
[0033]将人体姿态骨架图输入到多帧时间特征提取和人体姿态估计模型中进行卷积操作；
[0034]对卷积后的数据采用滑动窗口法进行时间特征提取，直至视频帧数全部输入，获得人体姿态的位置预测结果、人体姿态的速度预测结果和人体姿态的加速度预测结果；
[0035]对人体姿态的位置预测结果、人体姿态的速度预测结果和人体姿态的加速度预测结果进行融合，得到人体姿态估计结果。
[0036]进一步的，所述采用滑动窗口法进行时间特征提取具体包括：
[0037]设置滑动窗口大小为第一次输入第1帧到第T帧，第二次输入第1+t帧到第T+t帧，直至视频帧数L帧全部输入，其中，T表示帧数。
[0038]进一步的，还包括对多帧时间特征提取和人体姿态估计模型进行训练：
[0039]获取真实的人体姿态关键点分布，结合经过多帧特征提取后得到的人体姿态估计结果，确定位置损失函数；
[0040]获取人体姿态加速度和根据预测姿态计算出的加速度，确定加速度损失函数；
[0041]设置损失权重参数，结合位置损失函数和加速度损失函数确定损失函数；
[0042]基于损失函数，使用梯度下降法对多帧时间特征提取和人体姿态估计模型进行训练。
[0043]本专利技术第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现一种基于全卷积的太极拳全身姿态估计方法。
[0044]本专利技术第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种基于全卷积的太极拳全身姿态估计方法。
[0045]本专利技术与现有技术相比，具有如下的优点和有益效果：
[0046]通过对单帧图像进行全身姿态估计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全卷积的太极拳全身姿态估计方法，其特征在于，包括以下具体步骤：获取视频数据，对视频进行预处理，提取单帧图像特征；基于提取的特征进行全身姿态估计，得到包含手部和头部的人体骨架关键点热图，确定人体姿态骨架图；构建多帧时间特征提取和人体姿态估计模型，根据人体姿态骨架图进行多特征姿态估计，对多特征估计结果进行融合，得到人体姿态估计结果。2.根据权利要求1所述的基于全卷积的太极拳全身姿态估计方法，其特征在于，所述对视频进行预处理具体包括：获取视频第t帧的人体图像I
t
，构建ResNet
‑
50图像特征提取模型，对I
t
进行图像基本特征提取，得到的特征图其中，w表示该特征图集宽度，h表示高度，n表示通道数。3.根据权利要求2所述的基于全卷积的太极拳全身姿态估计方法，其特征在于，所述得到包含手部和头部的人体骨架关键点热图具体包括：构建HRNet模型，对全身单帧图像特征集进行身体姿态估计，输出人体骨架关键点热图；根据关键点热图获取头部和手部边界框划分结果；根据头部和手部的边界框划分结果，结合获取头部和手部的原始图像特征，采用HRNet模型对头部和手部的原始图像特征进行头部和手部姿态估计，得到手部和头部的人体骨架关键点热图。4.根据权利要求3所述的基于全卷积的太极拳全身姿态估计方法，其特征在于，所述确定人体姿态骨架图具体包括：将包含手部和头部关键点的热图填入全身关键点热图的手部和头部边界框，输出包含全身关键点的关键点热图；根据热图中关键点在每个像素点的概率选择概率最高的像素点为输出的关键点，得到人体姿态骨架图其中，L是视频帧数，N是全身估计关键点的总体数量，D表示每个关键点的维度。5.根据权利要求1所述的基于全卷积的太极拳全身姿态估计方法，其特征在于，所述构建多帧时间特征提取和人体姿态估计模型具体...

【专利技术属性】
技术研发人员：吴宗培，李巧勤，刘勇国，朱嘉静，张云，兰刚，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：