基于多目标跟踪及人体姿态序列检测的摔倒行为识别方法技术

一种基于多目标跟踪及人体姿态序列检测的摔倒行为识别方法。综合运用图像处理分析与人工智能相关技术，针对厂区内摄像头等监控设备产生的视频流数据依次进行图像抽帧，人体目标检测跟踪，人体关键点识别，摔倒行为识别的检测步骤，以ByteTrack算法作为人体目标检测跟踪基础算法，HRNet模型作为人体关键点识别的基础算法模型，ST

【技术实现步骤摘要】
基于多目标跟踪及人体姿态序列检测的摔倒行为识别方法


[0001]本专利技术涉及人员行为检测
，具体涉及一种基于多目标跟踪及人体姿态序列检测的摔倒行为识别方法。

技术介绍

[0002]发电厂作为人员多、面积大、环境复杂、危险系数高的企业，安全生产是企业重点关注的核心问题之一，也是企业保证生产提升效能的重要保障。近年来，电厂安全生产事故频发，而大部分事故发生是由于电厂作业人员的不安全行为导致的，例如发生摔倒等安全事故时，工人同事和管理者无法实时关注到，可能会导致一些严重的安全事故接连发生，最终给员工和企业都造成恶劣后果。随着智能制造产业的大力发展，电厂厂区的智能化生产水平不断提升，尤其是通过人工智能的手段来保证企业生产安全，更是当下智慧电厂建设重点，因此对厂区内人员的不安全行为进行实时检测的研究具有重要意义。
[0003]传统的人员摔倒行为主要依靠监控设备人为检查的方式来进行观察，这种方式不但耗时耗力，而且摔倒属于瞬时行为，而监控人员需同时捕捉多台监控设备，很容易错过人员摔倒的镜头，致使准确率下降。随着图像检测等技术日益精进，使用目标检测等方法识别人员摔倒行为可以检测到部分人员摔倒的情况，中国专利CN113673316A公开了一种人体摔倒识别方法，获取针对目标任务的第一待处理图像和第二待处理图像，分别获取第一待处理图像和第二待处理图像中将目标任务投影到地面上的正投影线段的长度，根据所述正投影线段的长度变化值，确定对应的摔倒识别规则。该方法虽然在一定程度上节约了计算机资源，但是由于人员摔倒是一个不可控的多样化过程行为且容易受弯腰、下蹲等类似行为的干扰，致使检测的准确率较低。

技术实现思路

[0004]为解决现有技术中存在的不足，本专利技术提供一种基于多目标跟踪及人体姿态序列检测的摔倒行为识别方法。综合运用图像处理分析与人工智能相关技术，针对厂区内摄像头等监控设备产生的视频流数据依次进行图像抽帧，人体目标检测跟踪，人体关键点识别，摔倒行为识别的检测步骤，以ByteTrack算法作为人体目标检测跟踪基础算法，HRNet模型作为人体关键点识别的基础算法模型，ST
‑
GCN模型作为人员摔倒行为识别的基础算法模型。
[0005]本专利技术采用如下的技术方案。
[0006]基于多目标跟踪及人体姿态序列检测的摔倒行为识别方法，包括：
[0007]步骤1，使用视频抽帧技术将监控设备视频画面转化为时序图片；
[0008]步骤2，通过ByteTrack算法实现对时序图片中的人体目标检测跟踪，获取人体目标检测框坐标以及人体目标id；
[0009]步骤3，通过HRNet模型对检测到的每个行人进行关键点识别，得到人体的骨骼特征点数据；
[0010]步骤4，每个跟踪id对应的目标行人各自累计骨骼特征点组成时序关键点序列，当累积到预定数量或目标跟踪丢失后，通过ST
‑
GCN模型初步识别该时序关键点序列对应的动作类型，从而达到摔倒行为初步识别；
[0011]步骤5，摔倒行为二次判定，针对步骤4中初步识别结果为摔倒的情况，进一步通过重心变换速率对摔倒行为进行二次判定；
[0012]优选地，步骤1中，使用OpenCV对采集到的视频进行处理，得到视频中每一帧图像，并按照视频顺序保存为时序图像。
[0013]优选地，步骤2中，以视频抽帧后时序图片集作为输入数据，经ByteTrack算法模型获取图片集中每个行人检测框坐标以及人体目标。
[0014]优选地，步骤2中，具体数据关联流程如下：
[0015]步骤2.1，根据检测器得到的人体目标检测框置信度，将检测框分为分值不小于0.5的高分框和分值低于0.5的低分框；
[0016]步骤2.2，使用高分框与之前跟踪轨迹进行匹配；
[0017]步骤2.3，然后使用低分框与前一次没有匹配上的高分框跟踪轨迹进行匹配；
[0018]步骤2.4，对于没有匹配上的跟踪轨迹且得分高的检测框，对其新建一个跟踪轨迹；对于没有匹配上的跟踪轨迹保留30帧，在其再次出现时再进行匹配。
[0019]优选地，步骤3中，在对应的时序图片中截取每个行人，使用关键点识别模型HRNet得到对应的人体17个骨骼特征点位置坐标。
[0020]所述17个骨骼特征点为鼻子，左眼，右眼，左耳，右耳，左肩，右肩，左肘关节，右肘关节，左手腕，右手腕，左胯，右胯，左膝盖，右膝盖，左脚踝，右脚踝。
[0021]优选地，步骤4中，模型训练数据输入序列为训练数据集序列数量、关键点坐标维度、动作序列的时间维度、每个行人的关键点个数、人物个数这5个数据维度的集合；
[0022]对数据的处理为当实际数据长度超过预定数据长度，对实际数据随机截取一个预定长度的片段；实际长度不足预定长度的数据补0，直到满足预定长度。
[0023]优选地，步骤5中，设定一个重心变换速率V0，当人体的重心变换速率V≥V0时，二次判定为摔倒；否则二次判定为假摔，即非摔倒行为；V，V0分别为：
[0024][0025][0026]式中，P
y
(f)为第f帧人体重心在垂直方向坐标，|P
y
(f)
‑
P
y
(f+1)|为相邻两帧之间人体重心变化值，n为一个动作序列时间维度，N为动作序列数量。
[0027]本专利技术的有益效果在于，与现有技术相比，
[0028]1)本专利技术提供了一种人员摔倒行为实时检测方法，克服了传统主要依靠监控设备人为检查的方式的耗时耗力及滞后性，具有更好的实时性及高效性；
[0029]2)本专利技术具体方案中使用了多目标检测跟踪、人体关键点识别、行为识别模型，通过连续动作序列变化识别人体姿态行为类型，克服了单纯依据图像检测区分忽略摔倒过程
的时序性，具有更高的可信度；
[0030]3)本专利技术针对摔倒行为易受弯腰下蹲等类似动作干扰情况，在构建摔倒行为识别模型基础上添加重心变换速率判定模块，提升行为识别的准确性。
[0031]4)本专利技术技术方案可适用于除电厂环境外其他具有人员不安全行为监测需求的场景，具有一定的普适性。
附图说明
[0032]图1为本专利技术摔倒行为识别方法流程示意图；
[0033]图2为关键点识别模型HRNet网络结构图；
[0034]图3为本专利技术摔倒行为识别方法详细流程图。
具体实施方式
[0035]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部实施例。基于本专利技术精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术的保护范围。
[0036]一种基于多目标跟踪及人体姿态序列检测的摔倒行为识别方法，如图1、图3所示，包括：
[0037]步骤1，使用视频抽帧技术将监控设备视频画面转化为时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多目标跟踪及人体姿态序列检测的摔倒行为识别方法，其特征在于，包括：步骤1，使用视频抽帧技术将监控设备视频画面转化为时序图片；步骤2，通过ByteTrack算法实现对时序图片中的人体目标检测跟踪，获取人体目标检测框坐标以及人体目标id；步骤3，基于获得的人体目标检测框坐标，通过HRNet模型对检测到的每个行人进行关键点识别，得到人体的骨骼特征点数据；步骤4，每个跟踪id对应的目标行人各自累计骨骼特征点组成时序关键点序列，当累积到预定数量或目标跟踪丢失后，通过ST
‑
GCN模型初步识别该时序关键点序列对应的动作类型，从而达到摔倒行为初步识别；步骤5，摔倒行为二次判定，针对步骤4中初步识别结果为摔倒的情况，进一步通过重心变换速率对摔倒行为进行二次判定。2.根据权利要求1所述的基于多目标跟踪及人体姿态序列检测的摔倒行为识别方法，其特征在于：步骤1中，使用OpenCV对采集到的视频进行处理，得到视频中每一帧图像，并按照视频顺序保存为时序图像。3.根据权利要求1所述的基于多目标跟踪及人体姿态序列检测的摔倒行为识别方法，其特征在于：步骤2中，以视频抽帧后时序图片集作为输入数据，经ByteTrack算法模型获取图片集中每个行人检测框坐标以及人体目标。4.根据权利要求1所述的基于多目标跟踪及人体姿态序列检测的摔倒行为识别方法，其特征在于：步骤2中，具体数据关联流程如下：步骤2.1，根据检测器得到的人体目标检测框置信度，将检测框分为分值不小于0.5的高分框和分值低于0.5的低分框；步骤2.2，使用高分框与之前跟踪轨迹进行匹配；步骤2.3，然后使用低分框与前一次没有匹配上的高分框跟踪轨迹进行匹配；步骤2.4，对于没有匹配上的跟踪轨迹且得分高的检测框，对其新建一个跟踪轨迹；对于没有匹配上的跟踪轨迹保留30帧，在其再次出现时再进行匹配。5.根据权利要求1所述的基于多目标跟...

【专利技术属性】
技术研发人员：孙娜，党明锐，张勤，吴娜，
申请(专利权)人：国能信控互联技术有限公司，
类型：发明
国别省市：