【技术实现步骤摘要】
本专利技术涉及一种基于人体重心的关键点异常步态识别方法及系统，具体涉及一种对人体关键点进行识别并进行重心轨迹异常判断的方法及系统，属于计算机视觉和生物识别。
技术介绍
1、人体重心能够很好地反应人体姿态的异常状况。由于异常步态会破坏人体的平衡性，进而导致人体重心点的异常偏离，因此，可以使用人体重心点来量化人的异常步态。
2、获取人体重心，包括利用传感器获取以及图像方式获取等。其中，使用传感器获取的方式，主要包括使用足底力传感器、使用加速度传感器等方式，通过足底力传感器测量行走时人对地面的压力分布，通过分析压力分布数据，可以确定人体的重心位置。通过附着在人体各个位置的加速度传感器来测量人在行走时身体各个位置的加速度和俯仰角，通过这些数据可以计算得到人体重心的位置。基于图像的方式，主要是通过分析人体在图像或视频中关键点位置来推断出人体重心的位置。
3、目前，人体姿态估计方法主要分为2d方式和3d方式。其中，2d姿态估计方式是从图像或视频中获得关键点的2d空间坐标。传统的2d关键点识别是使用手工构造的特征来提取图像中的人体关节信息。而将深度学习引入姿态估计后，基于深度学习的方法在人体姿态估计方面取得了更加优异的成就，成为姿态估计的主要方法。采用深度学习的方式在于通过端到端的方式可以直接预估姿态，简化了手工特征提取的方式，且2d关键点标注数据样本易于获取，通过在更大规模的数据集上进行训练，可以显著提高姿态估计准确性。2d姿态识别的深度学习方法主要有两条路径，一种是通过回归的方法，另一种是通过基于热图的方法。3d人
4、传统的时间序列预测模型主要是使用手工提取的特征对时间序列数据进行公式建模，如自回归模型、移动平均模型等。这种方法简单、易于解释，但不能捕获复杂的非线性关系。使用神经网络方法可以解决这些问题，例如循环神经网络(rnn)和长短时记忆网络，神经网络方法的适应性强、精确性高以及可以实现对数据特征的自动学习。近年来，基于transformer的方法在时间序列预测上取得了优秀的表现，通过位置编码和多头自注意力机制，有助于捕获远距离的依赖性。
5、综上所述，为了提高异常步态识别效率，或为了满足在日常居家环境下对异常步态的识别，需要一种更加便捷、不依赖于个人经验的异常步态识别技术。
技术实现思路
1、本专利技术的目的是针对现有技术存在的问题和不足，为了有效解决人体异常步态识别的技术问题，创造性地提出一种基于人体重心的关键点异常步态识别方法及系统。
2、本专利技术的创新点包括：使用深度学习方法，利用三维人体关键点检测和轨迹预测技术，使用已经获取的时间序列关键点进行未来的关键点轨迹预测，从而进行异常步态的判断。
3、为达到上述目的，本专利技术采用以下技术方案实现：
4、一方面，提出了一种基于人体重心的关键点异常步态识别方法，包括以下步骤：
5、步骤1：对采集的步行视频进行预处理，获得目标人物步行序列。
6、其中，数据预处理包括视频帧提取处理、视频有效部分提取、目标人物部分提取和图像帧缩放。
7、步骤2：利用人体关键点识别网络，对预处理后的目标人物步行视频提取关键点特征，并进行关键点坐标的热图回归计算，最终获得关键点在图像上的2d坐标。
8、其中，输入人体关键点识别网络的序列为经过待采集目标人物的连续采样的步行帧组成。一个帧序列组成了目标人物在诊断过程中的步行数据。骨干网络对输入的帧图像提取关键点特征，包括卷积特征提取和特征融合。
9、其中，卷积特征提取，可以利用卷积操作对图像中的关键点特征进行提取，并且通过设置多个卷积层对不同分辨率下的卷积图像进行特征提取。
10、特征融合，可以将多个卷积层获得的不同分辨率下的关键点特征进行融合，进一步提高关键点识别的准确率。
11、步骤3：对提取到的关键点坐标，使用关键点归一化方式，将关键点坐标缩放到同一坐标标准下，并利用重心轨迹生成来获取人体重心坐标，通过输入的帧序列获得重心轨迹曲线。
12、其中，关键点坐标归一化，是将行走过程中因人体空间位置产生变化而在图像中随之放大缩小的人体关键点骨架缩放到同一尺寸，便于后续对重心移动轨迹的标准化。
13、重心轨迹生成，是将归一化后的人体关键点坐标作为输入，通过重心坐标提取，重心坐标变化生成出人体重心的移动轨迹。
14、步骤4：对生成的重心轨迹进行预测。
15、可以使用基于transformer的时间序列预测模型实现。包括：
16、首先，采集目标人物正常情况下的步行数据，对预测网络进行训练，获得通用的时间序列预测模型参数。
17、之后，将待诊断人物的重心移动轨迹输入到时间序列预测模型中，获得诊断情况下的预测轨迹。
18、步骤5：根据诊断情况下的预测轨迹和获取的待诊断人物的原始重心移动轨迹进行异常步态评价。利用异常步态评价标准对原始轨迹和预测轨迹进行对比，判断诊断对象是否产生了异常步态。
19、其中，异常步态评价标准是对原始重心轨迹和预测重心轨迹的差值和曲线变化率区别两个指标进行综合评价，若异常值超出设定阈值，则判定为产生异常。
20、另一方面，依据上述方法，本专利技术提出了一种基于人体重心的关键点异常步态识别系统，包括图像采集与预处理模块、关键点坐标提取模块、重心轨迹生成模块、重心轨迹预测模块和异常步态评价模块。
21、图像采集与预处理模块用于采集待诊断人体的步行视频序列，提取出其中的有效视频和目标人物部分，并将其转换为可输入到人体关键点识别网络尺寸的图像帧序列。
22、人体关键点提取模块用于提取包含人体信息图像帧序列中的人体关键点特征，最终回归出人体关键点坐标，将由不同关键点构成的骨架从不同大小归一化到统一大小。
23、重心轨迹生成模块用于从归一化的人体关键点坐标提取出重心坐标，并根据前后图像帧序列获得重心移动轨迹。
24、轨迹预测网络模块用于对获得的待测人体的轨迹进行轨迹预测，获得人体预期的正常情况下的轨迹曲线，用于与取得的原始曲线进行对比。
25、异常步态评价模块用于将预测的正常重心轨迹与实际重心移动轨迹进行对比，通过对比两条曲线间的差异得到异常步态指标，通过指标值来判断待诊断人体是否具有异常步态。
26、有益效果
27、本专利技术有效解决了现有异常步态诊断中依赖专业医生经验，以及缺乏异常步态行为可视化和定量化表达的技术问题，为实现普通场景下的步态监测提供了一个更为智能化、便捷化的技术方案。
本文档来自技高网...【技术保护点】
1.一种基于人体重心的关键点异常步态识别方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于人体重心的关键点异常步态识别方法，其特征在于，步骤2中，卷积特征提取时，利用卷积操作对图像中的关键点特征进行提取，通过设置多个卷积层对不同分辨率下的卷积图像进行特征提取。
3.如权利要求1所述的一种基于人体重心的关键点异常步态识别方法，其特征在于，步骤2中，将多个卷积层获得的不同分辨率下的关键点特征进行融合。
4.如权利要求1所述的一种基于人体重心的关键点异常步态识别方法，其特征在于，步骤4中，使用基于Transformer的时间序列预测模型实现；
5.如权利要求1所述的一种基于人体重心的关键点异常步态识别方法，其特征在于，步骤2中，对于输入序列{X1,X2,…,Xs}和输出序列{Y1,Y2,…,Ys}，通过如下方式进行特征融合：
6.如权利要求1所述的一种基于人体重心的关键点异常步态识别方法，其特征在于，步骤3中，进行关键点坐标归一化，实现步骤包括：
7.如权利要求1所述的一种基于人体重心的关键点异常步态
8.一种基于人体重心的关键点异常步态识别系统，其特征在于，包括图像采集与预处理模块M10，关键点提取模块M20，重心轨迹生成模块M30，轨迹预测模块M40，异常步态评价模块M50；
...【技术特征摘要】
1.一种基于人体重心的关键点异常步态识别方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于人体重心的关键点异常步态识别方法，其特征在于，步骤2中，卷积特征提取时，利用卷积操作对图像中的关键点特征进行提取，通过设置多个卷积层对不同分辨率下的卷积图像进行特征提取。
3.如权利要求1所述的一种基于人体重心的关键点异常步态识别方法，其特征在于，步骤2中，将多个卷积层获得的不同分辨率下的关键点特征进行融合。
4.如权利要求1所述的一种基于人体重心的关键点异常步态识别方法，其特征在于，步骤4中，使用基于transformer的时间序列预测模型实现；
5.如权利要求1所述的一种基于人体重心的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。