本发明专利技术提供了一种基于人体骨骼关键点的摔倒动作识别方法及系统，该方法包括：S1、采集来自监控摄像头的视频流数据；S2、通过人体目标检测模型对视频流数据中的人体目标进行检测，将人体目标框数据输出；S3、通过目标跟踪算法对人体目标框数据中相同的人体目标框进行跟踪，将M帧的同一人员ID的人体目标框数据输出；S4、通过人体骨骼关键点检测模型对M帧的同一人员ID的人体目标框数据中的N个人体骨骼关键点进行检测，将N个人体骨骼关键点的坐标序列输出；S5、通过摔倒动作识别模型对N个人体骨骼关键点坐标序列组合成的动作上下文序列进行识别。不仅提高了人体摔倒异常行为识别的准确率，也降低了投入成本和对资源的要求。也降低了投入成本和对资源的要求。也降低了投入成本和对资源的要求。
【技术实现步骤摘要】
一种基于人体骨骼关键点的摔倒动作识别方法及系统
[0001]本专利技术涉及一种摔倒动作识别方法，尤其涉及一种基于人体骨骼关键点的摔倒动作识别方法、系统、装置及介质，属于计算机视觉
技术介绍
[0002]老年人各项身体机能指标下降，特别是平衡力、反应力和协同力不足可能造成意外跌倒的情况，若没有获得及时救援，将出现严重的后果甚至死亡。因此，在家庭或其他环境中对老人摔倒行为进行检测是一个很有意义的研究方向。目前，人体摔倒异常行为识别技术包括基于穿戴式传感器和基于监控视频。
[0003]其中，基于穿戴式传感器的技术主要是将加速度传感器、陀螺仪传感器等嵌入在可穿戴的手表或手环设备中，通过采集传感器数据并对一段时间内的传感器数据进行分析，若与已经录入的摔倒动作前后的数据类似，则可判断该时间段存在摔倒行为。但是，基于穿戴式传感器的技术常用于老年人等高危人群的日常监护，不仅投入成本较高，而且需要专门的维护团队，对穿戴人的经济基础也有较高的要求。
[0004]基于监控视频的技术主要是通过视频来监控人体在摔倒时身体姿态和动作发生的变化，通常判断摔倒的方式有两类：一类需要针对摔倒姿态或动作预先建立样本库，然后直接对获取到的视频流数据中的运动人体进行动作捕捉，再通过人体检测、姿态估计等步骤将提取到的人体姿态与摔倒样本库进行对比，从而确定是否发生摔倒动作；另一类需要采集大量的摔倒姿态图像，使用卷积神经网络对这些摔倒姿态图像进行训练学习，得到一个可以检测摔倒姿态或动作的检测器，然后将训练得到的可检测人体摔倒姿态的模型对监控视频流中的每一帧图像进行检测，若检测到视频流帧图像中存在人体摔倒则返回该人体在图像中的坐标位置。但是，这两类方法都具有很大的局限性：前者对硬件资源要求较高，并且无法满足实时要求；后者虽然可以满足实时检测需要，识别准确率低，非常容易误检，并且摔倒数据收集成本较大。
[0005]因此，为了方便高危人群的日常监护，亟待研发设计一种新的摔倒动作识别方法，在控制成本和资源要求的同时，满足实时检测需要，提高人体摔倒异常行为识别的准确率。
技术实现思路
[0006]针对上述现存的技术问题，本专利技术提供一种基于人体骨骼关键点的摔倒动作识别方法、系统、装置及介质，以提高人体摔倒异常行为识别的准确率，同时降低投入的成本和对资源的要求。
[0007]为实现上述目的，其一，本专利技术提供一种基于人体骨骼关键点的摔倒动作识别方法，包括如下步骤：S1、通过监控摄像头对行人进行拍摄，采集来自监控摄像头的视频流数据，并将视频流数据输出至人体目标检测模型中；S2、通过人体目标检测模型对视频流数据中的人体目标进行检测；若未检测到人
体目标，则输出None；若检测到人体目标，则将包括坐标位置，尺寸信息及得分信息的人体目标框数据输出至目标跟踪算法中；S3、通过目标跟踪算法对人体目标框数据中相同的人体目标框进行跟踪，且相同的人体目标框使用唯一人员ID进行标识，得到每个人体目标框的跟踪结果，包括坐标位置，尺寸信息及人员ID信息；然后，通过跟踪结果判断同一人员ID的人体目标框是否等于M帧， M为自然数且10≤M≤50；若是，则将M帧的同一人员ID的人体目标框数据输出至人体骨骼关键点检测模型中；若不是，则将非M帧的同一人员ID的人体目标框丢弃；S4、通过人体骨骼关键点检测模型对M帧的同一人员ID的人体目标框数据中的N个人体骨骼关键点进行检测，N为自然数且14≤N≤17；接着，将检测得到的N个人体骨骼关键点的坐标序列输出至摔倒动作识别模型中；S5、通过摔倒动作识别模型对N个人体骨骼关键点坐标序列组合成的动作上下文序列进行识别；若识别是摔倒动作，则输出摔倒；若识别不是摔倒动作，则输出正常。
[0008]本专利技术方法进一步的，步骤S2中，所述的人体目标检测模型采用YOLOv5目标检测算法。
[0009]本专利技术方法进一步的，步骤S3中，所述的目标跟踪算法采用OC
‑
SORT目标跟踪算法对人体目标框数据中相同的人体目标框进行跟踪，包括：使用卡尔曼滤波算法对每个人体目标的状态进行估计和更新，状态包括位置、尺寸、速度；使用匈牙利算法对人体目标框的数据和轨迹进行关联，计算IOU度量矩阵，并加入以观测为中心的动量项来增加轨迹的方向一致性；使用以观测为中心的在线平滑方法对轨迹进行平滑；使用以观测为中心的恢复方法对轨迹进行恢复。
[0010]本专利技术方法进一步的，步骤S4中，所述的人体关键点检测模型采用基于HRNet网络的关键点检测算法，并通过自上而下的检测方法对M帧的同一人员ID人体目标框数据中的N个人体骨骼关键点进行检测，包括：通过人体关键点检测模型对同一人员ID的人体目标框的图像进行特征提取，得到人体目标的N个人体骨骼关键点，并并提取预测后的每一个人体骨骼关键点的概率分布heatmap和坐标偏移量offset；通过原图的坐标位置与坐标偏移量offset，得到N个人体骨骼关键点在原图上的坐标信息，包括坐标位置和坐标得分。
[0011]本专利技术方法进一步的，步骤S5中，所述的摔倒动作识别模型采用基于多帧的人体关键点动作识别模型。
[0012]其二，本专利技术提供一种基于人体骨骼关键点的摔倒动作识别系统，包括行人检测、跟踪模块，人体骨骼关键点检测模块，基于骨骼关键点的摔倒动作识别模块；其中，所述的行人检测、跟踪模块包括视频流数据采集单元，人体目标检测单元，目标跟踪单元；所述的视频流数据采集单元，用于通过监控摄像头对行人进行拍摄，采集来自监控摄像头的视频流数据，并输出至人体目标检测模型中；所述的人体目标检测单元，用于通过人体目标检测模型对视频流数据中的人体目
标进行检测；若未检测到人体目标，则输出None；若检测到人体目标，则将人体目标框数据，包括坐标位置，尺寸信息及得分信息，输出至目标跟踪算法中；所述的目标跟踪单元，用于通过目标跟踪算法对人体目标框数据中相同的人体目标框进行跟踪，且相同的人体目标框使用唯一人员ID进行标识，得到每个人体目标框的跟踪结果，包括坐标位置，尺寸信息及人员ID信息；然后，通过跟踪结果判断同一人员ID的人体目标框是否等于M帧， M为自然数且10≤M≤50；若是，则将M帧的同一人员ID的人体目标框数据输出至人体骨骼关键点检测模型中；若不是，则将非M帧的同一人员ID的人体目标框丢弃；所述的人体骨骼关键点检测模块，用于通过人体骨骼关键点检测模型对M帧的同一人员ID的人体目标框数据中的N个人体骨骼关键点进行检测，N为自然数且14≤N≤17；接着，将检测得到的N个人体骨骼关键点的坐标序列输出至摔倒动作识别模型中；所述的基于骨骼关键点的摔倒动作识别模块，用于通过摔倒动作识别模型对N个人体骨骼关键点坐标序列组合成的动作上下文序列进行识别；若识别是摔倒动作，则输出摔倒；若识别不是摔倒动作，则输出正常。
[0013]其三，本专利技术提供一种基于人体骨骼关键点的摔倒动作识别装置，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互联； 所述至少一个处理器调用所述存储器中本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于人体骨骼关键点的摔倒动作识别方法，其特征在于，包括如下步骤：S1、通过监控摄像头对行人进行拍摄，采集来自监控摄像头的视频流数据，并将视频流数据输出至人体目标检测模型中；S2、通过人体目标检测模型对视频流数据中的人体目标进行检测；若未检测到人体目标，则输出None；若检测到人体目标，则将包括坐标位置，尺寸信息及得分信息的人体目标框数据输出至目标跟踪算法中；S3、通过目标跟踪算法对人体目标框数据中相同的人体目标框进行跟踪，且相同的人体目标框使用唯一人员ID进行标识，得到每个人体目标框的跟踪结果，包括坐标位置，尺寸信息及人员ID信息；然后，通过跟踪结果判断同一人员ID的人体目标框是否等于M帧， M为自然数且10≤M≤50；若是，则将M帧的同一人员ID的人体目标框数据输出至人体骨骼关键点检测模型中；若不是，则将非M帧的同一人员ID的人体目标框丢弃；S4、通过人体骨骼关键点检测模型对M帧的同一人员ID的人体目标框数据中的N个人体骨骼关键点进行检测，N为自然数且14≤N≤17；接着，将检测得到的N个人体骨骼关键点的坐标序列输出至摔倒动作识别模型中；S5、通过摔倒动作识别模型对N个人体骨骼关键点坐标序列组合成的动作上下文序列进行识别；若识别是摔倒动作，则输出摔倒；若识别不是摔倒动作，则输出正常。2.根据权利要求1所述的一种基于人体骨骼关键点的摔倒动作识别方法，其特征在于，步骤S2中，所述的人体目标检测模型采用YOLOv5目标检测算法。3.根据权利要求1所述的一种基于人体骨骼关键点的摔倒动作识别方法，其特征在于，步骤S3中，所述的目标跟踪算法采用OC
‑
SORT目标跟踪算法对人体目标框数据中相同的人体目标框进行跟踪，包括：使用卡尔曼滤波算法对每个人体目标的状态进行估计和更新，状态包括位置、尺寸、速度；使用匈牙利算法对人体目标框的数据和轨迹进行关联，计算IOU度量矩阵，并加入以观测为中心的动量项来增加轨迹的方向一致性；使用以观测为中心的在线平滑方法对轨迹进行平滑；使用以观测为中心的恢复方法对轨迹进行恢复。4.根据权利要求1所述的一种基于人体骨骼关键点的摔倒动作识别方法，其特征在于，步骤S4中，所述的人体关键点检测模型采用基于HRNet网络的关键点检测算法，并通过自上而下的检测方法对M帧的同一人员ID人体目标框数据中的N个人体骨骼关键点进行检测，包括：通过人体关键点检测模型对同一人员ID的人体目标框的图像进行特征提取，得到人体目标的N个人体骨骼关键点，并提取预测后的每一个人体骨骼关键点的概率分布heatmap和坐标偏移量offset；...
【专利技术属性】
技术研发人员：粟玉雄，李伟强，邹婉欣，
申请(专利权)人：千巡科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。