一种基于三维骨骼关键点检测的姿势评估方法技术

本发明专利技术属于姿态识别领域，公开了一种基于三维骨骼关键点检测的姿势评估方法，首先，将骨骼关键点坐标数据映射至识别空间子模型成为目标关键点数据坐标；然后，以目标关键点数据坐标为中心点在识别空间子模型中建立高斯分布，并获取预测关键点数据坐标在高斯分布中的预测置信概率值；接着，根据预测置信概率值得到预测关键点数据坐标的回归损失值；接着，若回归损失值等于零则完成训练，否则骨骼关键点检测神经网络根据回归损失值得到新的预测关键点数据坐标，并重复上述步骤，完成训练后，以坐标数据的置信概率值进行神经元的连接权重的调整，从而实现骨骼关键点坐标数据的三维坐标回归。坐标回归。坐标回归。

【技术实现步骤摘要】
一种基于三维骨骼关键点检测的姿势评估方法


[0001]本专利技术属于人工智能领域，具体涉及一种基于三维骨骼关键点检测的姿势评估方法。

技术介绍

[0002]在特定时间点，人体各个部位所处的位置构成人体在这一时间点的姿势，姿势指稳定自己身体和调整肢体摆放的方式，包括静态姿势和动态姿势。从解剖学角度定义的良好姿势为：无论肌肉和骨骼是处于工作状态还是休息状态，这些组织都应该保持平衡，以保护身体支撑结构，避免受伤或进行性畸形。不良姿势主要体现为人体各个部位关系不良，这将使身体处于低效平衡状态。不良姿态会让肌肉、脏器处于一个低效率、不平衡的状态，长此以往会产生各种疼痛问题，影响人们的正常生活和工作。进行姿势评估可以让人们了解自己身体的姿势状态，并能根据专业人士的意见来改善自己的不良姿势，避免不良姿势带来的亚健康问题，改善自身精神面貌，体现出形体美。
[0003]在医学上，常用人体的体态信息来进行姿势评估，医生通过视诊或触诊的方式来评估患者的姿势，现有的姿势评估手段中，最常用的是基于视诊的3A姿势评估，该方法将人体在空间上分为三个轴(Axis)，即垂直轴，矢状轴和冠状轴，以这3个轴为标准，可以对姿势做出正确与不正确的评判。该方法需要被观察者按自己习惯的姿势赤脚自然直立后，让他人从正面、侧面来观察，对比在水平轴、矢状轴和冠状轴上身体各部位的偏离情况。例如：通过观察左右侧耳垂在水平轴上的高度差来判断头部的倾斜情况，通过观察面部关于冠状轴的对称情况来判断头部的扭转情况，通过观察肩峰在水平轴上的高度差来判断肩胛骨的倾斜情况等。通过该方法能大致得出人体大致的体态信息，专业人士能根据这些体态信息进行姿势评估。使用该方法进行姿势评估耗时长，获得的姿态信息不够精准，观察者的主观判断会影响评估的准确率。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供一种基于三维骨骼关键点检测的姿势评估方法，通过建立的骨骼关键点检测神经网络，该神经网络不存在现有神经网络在三维坐标回归中的高度非线性问题，从而大大提高对骨骼关键点的训练效率，实现对人体姿势的准确评估。
[0005]为实现上述目的，本专利技术提供了如下技术方案为：
[0006]一种基于三维骨骼关键点检测的姿势评估方法，其特征在于，包括以下步骤：
[0007]步骤S1:建立骨骼关键点检测神经网络，骨骼关键点检测神经网络包括监督子模块；
[0008]步骤S2：建立识别空间子模型，并在监督子模块中使用识别空间子模型；
[0009]步骤S3：将包括骨骼关键点坐标数据的人体图像训练数据输入骨骼关键点检测神经网络，通过识别空间子模型进行训练，包括以下子步骤：
[0010]步骤S3
‑
1：将经卷积池化的人体图像训练数据输入识别空间子模型，将骨骼关键点坐标数据映射至识别空间子模型成为目标关键点数据坐标；
[0011]步骤S3
‑
2：设置预测关键点数据坐标；
[0012]步骤S3
‑
3：以目标关键点数据坐标为中心点在识别空间子模型中建立高斯分布，并获取预测关键点数据坐标在高斯分布中的预测置信概率值；
[0013]步骤S3
‑
4：根据预测置信概率值得到预测关键点数据坐标的回归损失值；
[0014]步骤S3
‑
5：若回归损失值等于零则进入步骤S4，否则骨骼关键点检测神经网络根据回归损失值得到新的预测关键点数据坐标，并重复步骤S3
‑
3至S3
‑
4；
[0015]步骤S4：通过骨骼关键点检测神经网络对输入的人体图像评估数据进行基于三维骨骼关键点检测的姿势评估。
[0016]优选地，骨骼关键点检测神经网络由多个沙漏网络模块串联组成，沙漏网络模块包括一个沙漏网络子模块和监督子模块。
[0017]优选地，骨骼关键点检测神经网络的训练集包括人体第一训练子集和第二训练子集，第一训练子集的数据为人体图像训练数据，第二训练子集的数据为人景图像训练数据，骨骼关键点检测神经网络通过人景图像训练数据对人体和背景的辨识进行训练。
[0018]进一步地，第一训练子集为具有骨骼关键点的三维标记的人体图像训练数据，迭代训练次数为55万次，第二训练子集为具有骨骼关键点的二维标记的人景图像训练数据，迭代训练次数为3万次。
[0019]再进一步地，在步骤S4中，经过训练的骨骼关键点检测神经网络的评价指标采用MPJPE。
[0020]优选地，在步骤S3
‑
3中，高斯分布的表达式为：
[0021][0022]G
i,j,k
(x
ngt
)为预测关键点数据坐标x
ngt
＝(x,y,z)的预测置信概率值，目标关键点数据坐标为(i,j,k)。
[0023]进一步地，在步骤S3
‑
4中，回归损失值L的表达式为：
[0024][0025]再进一步地，在步骤S3
‑
5中，通过将回归损失值反向传播至骨骼关键点检测神经网络，并基于回归损失值对神经元之间的连接权重进行调整，从而得到新的预测关键点数据坐标。
[0026]优选地，人体具有多个骨骼关键点，多个骨骼关键点在人体上成对镜像设置，
[0027]在步骤S4中，对人体图像评估数据中的姿势评估方法为：首先，在人体图像评估数据中设置人体的矢量轴、冠状轴以及垂直轴，并作为特征轴；然后，得到成对的骨骼关键点的连线与相交的一个特征轴的偏移夹角，及沿特征轴分布的偏差值，并根据偏移夹角、偏差值进行姿势评估。
[0028]与现有技术相比，本专利技术的有益效果是：
[0029]1.因为在本专利技术的识别空间子模型中，首先，将骨骼关键点坐标数据映射至识别空间子模型成为目标关键点数据坐标；然后，以目标关键点数据坐标为中心点在识别空间
子模型中建立高斯分布，并获取预测关键点数据坐标在高斯分布中的预测置信概率值；接着，根据预测置信概率值得到预测关键点数据坐标的回归损失值；接着，若回归损失值等于零则完成训练，否则骨骼关键点检测神经网络根据回归损失值得到新的预测关键点数据坐标，并重复上述步骤，完成训练后，通过骨骼关键点检测神经网络对输入的人体图像评估数据进行基于三维骨骼关键点检测的姿势评估，从而以坐标数据的置信概率值进行神经元的连接权重的调整，从而实现骨骼关键点坐标数据的三维坐标回归，因此，本专利技术不存在现有神经网络在三维坐标回归中的高度非线性问题，从而大大提高对骨骼关键点的训练效率，实现对人体姿势的准确评估。
[0030]2.因为本专利技术的骨骼关键点检测神经网络由多个沙漏网络模块串联组成，沙漏网络模块包括一个沙漏网络子模块和监督子模块，因此，本专利技术通过在每个沙漏网络模型中设置监督子模块，即每通过一次沙漏网络都需要计算一次回归损失值，从而使每个沙漏网络模型能单独计算回归损失值，进而大大提高了骨骼关键点检测神经网络的预测精确度。
附图说明
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维骨骼关键点检测的姿势评估方法，其特征在于，包括以下步骤：步骤S1:建立骨骼关键点检测神经网络，该骨骼关键点检测神经网络包括监督子模块；步骤S2：建立识别空间子模型，并在所述监督子模块中使用所述识别空间子模型；步骤S3：将包括骨骼关键点坐标数据的人体图像训练数据输入所述骨骼关键点检测神经网络，通过所述识别空间子模型进行训练，包括以下子步骤：步骤S3
‑
1：将经卷积池化的所述人体图像训练数据输入所述识别空间子模型，将所述骨骼关键点坐标数据映射至识别空间子模型成为目标关键点数据坐标；步骤S3
‑
2：设置预测关键点数据坐标；步骤S3
‑
3：以所述目标关键点数据坐标为中心点在所述识别空间子模型中建立高斯分布，并获取所述预测关键点数据坐标在该高斯分布中的预测置信概率值；步骤S3
‑
4：根据所述预测置信概率值得到所述预测关键点数据坐标的回归损失值；步骤S3
‑
5：若所述回归损失值等于零则进入步骤S4，否则所述骨骼关键点检测神经网络根据所述回归损失值得到新的预测关键点数据坐标，并重复步骤S3
‑
3至S3
‑
4；步骤S4：通过所述骨骼关键点检测神经网络对输入的人体图像评估数据进行基于三维骨骼关键点检测的姿势评估。2.根据权利要求1所述的基于三维骨骼关键点检测的姿势评估方法，其特征在于：其中，所述骨骼关键点检测神经网络由多个沙漏网络模块串联组成，所述沙漏网络模块包括一个沙漏网络子模块和所述监督子模块。3.根据权利要求1所述的基于三维骨骼关键点检测的姿势评估方法，其特征在于：其中，所述骨骼关键点检测神经网络的训练集包括人体第一训练子集和第二训练子集，所述第一训练子集的数据为所述人体图像训练数据，所述第二训练子集的数据为所述人景图像训练数据，所述骨骼关键点检测神经网络通过所述人景图...

【专利技术属性】
技术研发人员：方宇，黄子健，魏旋旋，张伯强，杨蕴杰，杨皓，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：