兼容拥挤场景和非拥挤场景的人体摔倒检测方法及系统技术方案

本发明专利技术公开了兼容拥挤场景和非拥挤场景的人体摔倒检测方法及系统，所述方法包含以下顺序的步骤：对于采集的图像，先通过行人检测模型获取行人包络框坐标信息、行人摔倒类别信息和对应的行人关键点二维坐标信息；检测结果保存入库；摔倒告警判断：对于每个保存到网格中的行人包络框，如果得到的行人摔倒类别信息为摔倒，则在拥挤场景或非拥挤场景下，判断是否进行摔倒告警。本发明专利技术可以兼容拥挤和非拥挤场景，将多个独立的模型集成到一个小模型中来可以降低多人场景下的计算量，并且无需额外标注关键点这类标注成本较高的对象；模型无需额外的计算资源消耗，即可有效提升对小目标，密度高的目标等检测效果。度高的目标等检测效果。度高的目标等检测效果。

【技术实现步骤摘要】
兼容拥挤场景和非拥挤场景的人体摔倒检测方法及系统


[0001]本专利技术涉及人体摔倒检测领域，特别涉及兼容拥挤场景和非拥挤场景的人体摔倒检测方法及系统。

技术介绍

[0002]在非拥挤场景下由于老人行动不便或拥挤场景下行人相互拥挤碰撞等原因，容易出现摔倒等现象，影响行人安全，造成不必要的安全事故，往往需要工作人员长时间的巡查和监督来防范，但效率不高而且人力资源消耗大。随着人工智能的发展，自动化的检测设备应运而生，也让行人摔倒状态的自动化检测成为可能。
[0003]行人摔倒检测作为城市安防管理中的一个典型问题。随着人工智能的发展，智能化的监控设备广泛应用于行人摔倒检测中。目前的智能化的摔倒检测技术，主要通过监控摄像机对行人进行图像抓取，然后在边缘设备或中心服务器中利用计算机视觉技术进行检测和分析，从而得到行人摔倒状态。而目前行人摔倒状态判别算法或者只适用于单人非拥挤场景，或者需要较高的计算资源处理多人场景下的检测，或者对于多人拥挤场景下的小目标检测效果不好，均无法解决多人拥挤场景下的实时鲁棒检测。
[0004]例如，公开号为CN1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.兼容拥挤场景和非拥挤场景的人体摔倒检测方法，其特征在于，包含以下顺序的步骤：S1、采集图像数据；S2、目标检测：对于采集的图像数据，先通过行人检测模型获取行人包络框坐标信息、行人摔倒类别信息和对应的行人关键点二维坐标信息；S3、检测结果保存入库：将单帧图片信息划分为若干个网格，每个网格用于存放预设时间段内的行人包络框信息：针对每个行人包络框，计算行人包络框中心点和所有网格中心点之间的欧式距离，并将行人包络框信息存储在距离最近的网格中，完成检测结果保存入库；所述行人包络框信息包括时间戳，以及步骤S2得到的行人摔倒类别信息、行人包络框坐标信息、行人关键点二维坐标信息；S4、摔倒告警判断：对于每个保存到网格中的行人包络框，如果得到的行人摔倒类别信息为摔倒，判断是否进行摔倒告警；取当前网格附近的N2个网格在前帧所有保存的行人包络框信息，如果有两个或两个以上的行人包络框的时间戳相同，即判定为拥挤场景，否则为非拥挤场景；（1）对于拥挤场景，累加所有时间间隔在前T1帧内，空间间隔在当前网格附近的N1个网格范围内，且和当前行人包络框的交并比与骨架相似度大于阈值的摔倒次数，如果摔倒次数大于设定值，则告警；其中N1＜N2；（2）对于非拥挤场景，通过sort跟踪算法进行反向跟踪，得到T3帧连续的行人包络框序列；将T3帧连续的行人包络框序列的前K1帧信息输入到时序姿态分类模型中，若判断为摔倒且摔倒次数大于设定值，则告警；其中T3≤T1；S5、采集下一帧图像，并计算下一帧图像的裁剪区域ROI，重复步骤S2至步骤S4，直至完成所有图像的摔倒检测与告警。2.根据权利要求1所述兼容拥挤场景和非拥挤场景的人体摔倒检测方法，其特征在于，所述行人检测模型使用yolov5,添加用于检测输出人体关键点的检测头,检测目标有两个类别：正常和摔倒；行人检测模型输出每个行人的行人摔倒类别信息、行人包络框置信度、行人包络框坐标信息和对应的人体关键点的行人关键点二维坐标信息；训练数据采用公共摔倒数据和公共关键点检测数据，其中为室外单帧摔倒数据，为室内视频摔倒数据集；公共摔倒数据和公共关键点检测数据拥有不同的标签，训练时，公共摔倒数据和公共关键点检测数据以一定比例混合一起训练，对于公共摔倒数据，只反向传播行人摔倒类别信息、 行人包络框置信度和行人包络框坐标信息的训练损失；对于公共关键点检测数据，只反向传播 行人包络框置信度、行人包络框坐标信息和行人关键点二维坐
标信息的损失；最终的行人检测模型如下：；其中为测试的输入的单帧图片，表示图片宽为w,高为h的3通道RGB图像，中下标D表示该类别信息为行人检测模型的输出。3.根据权利要求1所述兼容拥挤场景和非拥挤场景的人体摔倒检测方法，其特征在于，所述时序姿态分类模型使用时序卷积网络，输入若干帧帧时序姿态信息，输出“正常, 摔倒”两个类别信息,训练数据使用行人检测模型对室内视频摔倒数据集进行检测，将得到的关键点信息和数据集自带的类别信息组成新的标签，对时序姿态分类模型进行训练；为了使时序姿态分类模型具有实时性，输入的9帧时序姿态信息对应的类别标签为最后一帧的类别；最终的时序姿态分类模型定义如下：；其中表示行人检测模型输出的第帧的关键点信息，T表示当前帧，为时序姿态分类模型输出的类别信息。4.根据权利要求1所述兼容拥挤场景和非拥挤场景的人体摔倒检测方法，其特征在于，步骤S2中，在检测结果保存入库前，对检测结果为摔倒的行人摔倒类别信息，进行辅助判断：如果行人包络框的高度和宽度之比大于阈值，则将行人摔倒类别信息由摔倒修改为正常，其中行人包络框坐标信息包括行人包络框的高度和宽度；否则将行人关键点二维坐标信息输入单帧姿态分类模型中，单帧姿态分类模型输出正常类别的置信度和摔倒类别的置信...

【专利技术属性】
技术研发人员：区英杰，梁红波，董万里，谭焯康，
申请(专利权)人：广州英码信息科技有限公司，
类型：发明
国别省市：