一种基于人体姿态估计的运动型障碍缺陷识别方法技术

本发明专利技术涉及运动障碍识别的技术领域，揭露了一种基于人体姿态估计的运动型障碍缺陷识别方法，包括：对采集的人体运动视频进行惯性分析，获取运动视频关键帧；以获取的运动视频关键帧为输入，以人体姿态估计点位图为输出构建轻量级人体姿态识别网络模型；利用改进的非凸优化算法对轻量级人体姿态识别网络模型进行参数优化训练；利用基于概率图的信念推理方法对人体姿态估计点位进行优化，构建优化后的人体姿态关键点识别图像；将优化后的人体姿态关键点识别图像输入到运动型障碍缺陷识别模型中。本发明专利技术实现基于光流场的视频关键帧提取，人体姿态的快速估计以及优化，运动型障碍的缺陷识别。的缺陷识别。的缺陷识别。

【技术实现步骤摘要】
一种基于人体姿态估计的运动型障碍缺陷识别方法


[0001]本专利技术涉及运动障碍识别的
，尤其涉及一种基于人体姿态估计的运动型障碍缺陷识别方法。

技术介绍

[0002]近年来，随着社会人口的老龄化持续加剧，越来越多的老人由于医疗资源的紧张容易患上帕金森病之类的慢性病，这些慢性病以运动迟缓，姿势和步态异常的运动型障碍缺陷为主要特征，这些慢性病在早期的发病症状较为不明显，一旦确诊则很难治疗。传统运动型障碍缺陷识别需要患者佩戴多种设备进行检测，这些设备成本较高且操作复杂，很难普及到大部分老人，同时存在运动障碍检测模型对患者的运动视频进行检测，得到人体目标的运动障碍缺陷检测结果用于慢性病的判断，但该方法的模型构建较为复杂，姿态关键点识别的精度过于依赖数据集的质量。针对该问题本专利提出一种基于人体姿态估计的运动型障碍缺陷识别方法，通过利用轻量级的模型对人体姿态进行快速估计，其中轻量级的姿态估计模型相较于传统方案，降低了计算模块的输入输出通道数，从而间接降低整个网络模型在运行过程的中间计算结果的通道数，减少计算的冗余性，不需要过多计算资源便可实现姿态估计模型的估计计算，从而降低计算资源依赖，并基于概率图的信念推理方法对估计结果进行优化，保证了姿态识别的准确性，更为高效的实现运动型障碍缺陷识别。

技术实现思路

[0003]有鉴于此，本专利技术提供一种基于人体姿态估计的运动型障碍缺陷识别方法，目的在于(1)基于光流场分析法对采集的人体运动视频进行惯性分析，获取运动视频关键帧；(2)构建轻量级人体姿态识别网络模型，其中网络压缩和注意力机制引入是构建轻量级人体姿态识别网络模型，降低计算资源依赖以及保证识别精度的手段，利用改进的非凸优化算法对构建的轻量级人体姿态识别网络模型进行优化训练，从而快速得到可用的、轻量化的模型进行姿态估计，并基于信念值对姿态估计结果进行优化，对优化后的姿态估计结果进行运动型障碍缺陷识别。
[0004]实现上述目的，本专利技术提供的一种基于人体姿态估计的运动型障碍缺陷识别方法，包括以下步骤：
[0005]S1：采集人体运动视频，对采集的人体运动视频进行惯性分析，获取运动视频关键帧，其中光流场分析为人体运动视频惯性分析的手段；
[0006]S2：以获取的运动视频关键帧为输入，以人体姿态估计点位图为输出构建轻量级人体姿态识别网络模型，其中网络压缩和注意力机制引入是构建轻量级人体姿态识别网络模型，降低计算资源依赖以及保证识别精度的手段；
[0007]S3：利用改进的非凸优化算法对轻量级人体姿态识别网络模型进行优化训练，获取模型参数，所述改进的步长因子灰狼优化算法为优化训练的手段；
[0008]S4：对识别的人体姿态估计点位进行优化，构建优化后的人体姿态关键点识别图
像，基于概率图的信念推理为关键点优化的手段；
[0009]S5：将优化后的人体姿态关键点识别图像输入到运动型障碍缺陷识别模型中，根据模型输出结果判断是否存在运动缺陷障碍。
[0010]作为本专利技术的进一步改进方法：
[0011]可选地，所述S1步骤中采集人体运动视频，基于光流场分析确定每帧运动视频图像与前向关键帧图像的光流场信息，包括：
[0012]在本专利技术实施例中，通过摄像头采集人体运动视频；
[0013]采集人体运动视频，构成人体运动视频帧序列：
[0014][I1，I2，
…
，I
i
，
…
，I
n
][0015]其中：
[0016]I
i
表示人体运动视频中第i帧图像，n表示人体运动视频中视频帧的总数；
[0017]对于人体运动视频帧序列中的任意第i帧I1，基于光流场分析确定Ii与之前最邻近的前向关键帧图像的光流场信息，其中所述光流场分析流程为：
[0018]1)对于I
i
中坐标为(x，y)的像素，其灰度值为I
i
(x，y)，且该像素在关键帧图像的坐标位置为(x+Δx，y+Δy)，表示关键帧图像中坐标为(x+Δx，y+Δy)的像素的灰度值；
[0019]2)利用泰勒展开式对进行泰勒展开：
[0020][0021]限据因此满足下式：
[0022][0023][0024]其中：
[0025]为第i帧图像I
i
在X轴方向的光流速度信息v
x，i
，为第i帧图像I
i
在Y轴方向的光流速度信息v
y，i
；
[0026]3)重复步骤1)
‑
2)，得到I
i
内若干组像素点的泰勒展开式，其中所选取像素点个数为20，将泰勒展开式转换为光流矩阵：
[0027][0028]其中：
[0029](x1，y1)为所选取的第一个像素点的坐标位置；
[0030]根据光流矩阵确定人体运动视频中第i帧图像I
i
的光流场信息：
[0031][0032][0033][0034]其中：
[0035]T表示矩阵的转置；
[0036]表示人体运动视频中第i帧图像I
i
的光流场信息；
[0037]所述像素点的选取区域分别为人体掩膜框区域以及关节点区域，分别得到人体掩膜框区域的光流场信息以及人体关节点区域的光流场信息
[0038]可选地，所述S1步骤中将光流场信息转换为惯性分量，着惯性分量小于阈值，则将该视频帧图像确定为视频关键帧，包括：
[0039]对于人体运动视频中第i帧图像I1，将人体掩膜框区域的光流场信息以及人体关节点区域的光流场信息转换为惯性分量，所述惯性分量的转换公式为：
[0040][0041][0042]其中：
[0043]L1(i)为I
i
中人体掩膜框区域的惯性分量；
[0044]L2(i)为I
i
中人体关节点区域的惯性分量；
[0045]分别设定第i帧图像I
i
中人体掩膜框区域的阈值f
i，1
以及关节点区域的阈值f
i，2
，其中将f
i，2
设置为10，f
i，1
为0.8s
i
，s
i
为第i帧图像I
i
中人体区域的面积；
[0046]若惯性分量同时满足下式，则将第i帧图像I
i
确定为视频关键帧：
[0047][0048]按照人体运动视频帧序列中的视频帧顺序，对每帧图像进行视频关键帧确认，得到人体运动视频中的视频关键帧集合：
[0049]{I
′1，I
′2，...，I
′
m
}
[0050]其中：
[0051]I
′
m
为人体运动视频中第m个视频关键帧，m为人体运动视频中视频关键帧的总数。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体姿态估计的运动型障碍缺陷识别方法，其特征在于，所述方法包括：S1：采集人体运动视频，对采集的人体运动视频进行惯性分析，获取运动视频关键帧，其中光流场分析为人体运动视频惯性分析的手段；S2：以获取的运动视频关键帧为输入，以人体姿态估计点位图为输出构建轻量级人体姿态识别网络模型，其中所述构建轻量级人体姿态识别网络模型，包括：以获取的运动视频关键帧为输入，以人体姿态估计点位图为输出构建轻量级人体姿态识别网络模型，包括：以人体运动视频中的视频关键帧集合作为输入，人体姿态估计点位图为输出构建轻量型人体姿态识别网络模型，所述轻量型人体姿态识别网络模型包括下采样层、上采样层，其中下采样层从输入的运动视频关键帧图像中提取特征，上采样层将提取的特征转换为高分辨率的人体姿态估计点位图；所述下采样层的特征提取公式为：sam
j
＝ResNet
′
(I
′
j
)其中：I
′
j
为运动视频关键帧，sam
j
为I
′
j
的特征图；ResNet
′
为改进的ResNet网络，将原始ResNet网络的Bottleneck模块的超参数由4调整为1，并使用尺寸为3
×
3的Depthwise卷积替换掉原始卷积；所述上采样层对提取特征进行反卷积处理：P
j
＝EConv(sam
j
)其中：P
j
为运动视频关键帧的人体姿态估计点位图，EConv(
·
)为反卷积处理；下采样层包括3个改进的Bottleneck模块，改进的Bottleneck模块内具有Depthwise卷积层，上采样层包括2个反卷积层；S3：利用改进的非凸优化算法对轻量级人体姿态识别网络模型进行优化训练，获取模型参数，所述改进的步长因子灰狼优化算法为优化训练的手段；S4：对识别的人体姿态估计点位进行优化，构建优化后的人体姿态关键点识别图像，基于概率图的信念推理为关键点优化的手段；S5：将优化后的人体姿态关键点识别图像输入到运动型障碍缺陷识别模型中，根据模型输出结果判断是否存在运动缺陷障碍。2.如权利要求1所述的一种基于人体姿态估计的运动型障碍缺陷识别方法，其特征在于，所述S1步骤中采集人体运动视频，基于光流场分析确定每帧运动视频图像与前向关键帧图像的光流场信息，包括：采集人体运动视频，构成人体运动视频帧序列：[I1，I2，...，I
i
，...，I
n
]其中：I
i
表示人体运动视频中第i帧图像，n表示人体运动视频中视频帧的总数；对于人体运动视频帧序列中的任意第i帧I
i
，基于光流场分析确定I
i
与之前最邻近的前向关键帧图像的光流场信息，其中所述光流场分析流程为：
1)对于I
i
中坐标为(x，y)的像素，其灰度值为I
i
(x，y)，且该像素在关键帧图像的坐标位置为(x+Δx，y+Δy)，表示关键帧图像中坐标为(x+Δx，y+Δy)的像素的灰度值；2)利用泰勒展开式对进行泰勒展开：根据因此满足下式：因此满足下式：其中：为第i帧图像I
i
在X轴方向的光流速度信息v
x，i
，为第i帧图像I
i
在Y轴方向的光流速度信息v
y，i
；3)重复步骤1)
‑
2)，得到I
i
内若干组像素点的泰勒展开式，其中所选取像素点个数为20，将泰勒展开式转换为光流矩阵：其中：(x1，y1)为所选取的第一个像素点的坐标位置；根据光流矩阵确定人体运动视频中第i帧图像I
i
的光流场信息：的光流场信息：的光流场信息：其中：T表示矩阵的转置；表示人体运动视频中第i帧图像I
i
的光流场信息；
所述像素点的选取区域分别为人体掩膜框区域以及关节点区域，分别得到人体掩膜框区域的光流场信息以及人体关节点区域的光流场信息3.如权利要求2所述的一种基于人体姿态估计的运动型障碍缺陷识别方法，其特征在于，所述S1步骤中将光流场信息转换为惯性分量，若惯性分量小于阈值，则将该视频帧图像确定为视频关键帧，包括：对于人体运动视频中第i帧图像I
i
，将人体掩膜框区域的光流场信息以及人体关节点区域的光流场信息转换为惯性分量，所述惯性分量的转换公式为：转换为惯性分量，所述惯性分量的转换公式为：其中：L1(i)为I
i
中人体掩膜框区域的惯性分量；L2(i)为I
i
中人体关节点区域的惯性分量；分别设定第i帧图像I
i
中人体掩膜框区域的阈值f
i，1
以及关节点区域的阈值f
i，2
，其中将f
i，2
设置为10，f
i，1
为0.8s
i
，s
i
为第i帧图像I
i
中人体区域的面积；若惯性分量同时满足下式，则将第i帧图像I
i
确定为视频关键帧：按照人体运动视频帧序列中的视频帧顺序，对每帧图像进行视频关键帧确认，得到人体运动视频中的视频关键帧集合：{I
′1，I
′2...，I
′
m
}其中：I
′
m
为人体运动视频中第m个视频关键帧，m为人体运动视频中视频关键帧的总数。4.如权利要求1所述的一种基于人体姿态估计的运动型障碍缺陷识别方法，其特征在于，所述S3步骤中利用改进的非凸优化算法对轻量级人体姿态识别网络模型进行优化训练，获取模型参数，包括：利用改进的非凸优化算法对构建的轻量级人体姿态识别网络模型进行...

【专利技术属性】
技术研发人员：吕楠，张丽秋，刘伟，
申请(专利权)人：无锡慧眼人工智能科技有限公司，
类型：发明
国别省市：