基于人体骨骼关键点的视频不安全行为识别系统及方法技术方案

本发明专利技术公开了一种基于人体骨骼关键点的视频不安全行为识别系统及方法。本发明专利技术提升了人员跌倒行为检测的准确度，可应用于油气等高危生产作业场所的智能视频监控；解决了24小时实时监督作业人员出现未佩戴安全帽、跌倒不起等不安全行为的问题；解决了传统检测方法中需要人工监控的方式，大大降低了人工成本。

【技术实现步骤摘要】
基于人体骨骼关键点的视频不安全行为识别系统及方法
本专利技术涉及监控系统
，具体涉及一种基于人体骨骼关键点的视频不安全行为识别系统及方法。
技术介绍
目前，针对油气等高危生产作业场所易燃易爆、危险性高的特点，在工作区域会部署监控系统，对高危生产作业场所的人员作业行为进行监控和识别，避免作业人员出现未佩戴安全帽、跌倒不起等不安全行为，但是这种传统的监控方式需要人工进行监控，无法实现全天24小时实时的进行有效监控。为此，提出了一种基于人体骨骼关键点的视频不安全行为识别方法，实时的对各类危险作业、违章作业行为进行分析、识别和报警，保障生产的安全。
技术实现思路
针对现有技术中的上述不足，本专利技术提供的一种基于人体骨骼关键点的视频不安全行为识别系统及方法解决了实时监督作业人员出现未佩戴安全帽、跌倒不起等不安全行为的问题。为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于人体骨骼关键点的视频不安全行为识别系统，包括IPC摄像机、视频智能行为分析系统、流媒体服务系统和显示终端，所述IPC摄像机通过交换机分别与视频智能行为分析系统和用户电脑连接，所述视频智能行为分析系统分别与流媒体服务系统和显示终端连接，所述流媒体服务系统和显示终端连接，所述用户电脑上配置有显示终端；所述IPC摄像机用于对高危生产作业场所的人员作业行为进行监控，并将监控视频流转接给交换机；所述交换机用于将视频数据流传递给视频智能行为分析系统；所述视频智能行为分析系统用于对视频流中的高危生产作业场所的人员作业行为进行分析和统计，并将分析和统计的数据及检测视频流结果通过交换机反馈给流媒体服务系统；所述流媒体服务系统用于将各项分析数据的汇总及检测视频流结果推送给显示终端；所述显示终端用于对视频智能行为分析系统的检测和管理参数进行配置，并通过用户电脑进行访问、查看和管理。进一步地：所述视频智能行为分析系统包括视频智能分析模块和告警统计分析模块；所述视频智能分析模块通过基于人体骨骼关键点的算法对视频图像信息进行快速分析，包括人员跌倒检测和人员未佩戴安全帽检测；所述告警统计分析模块用于对作业人员违规行为进行统计和分析。进一步地：所述显示终端包括设备管理模块、报警人工审核模块、告警处理模块、参数设置模块和信息数据上传模块；所述设备管理模块用于对整个设备及视频源进行有效管理；所述报警人工审核模块用于人工对作业人员的违规行为进行分析和判断；所述告警处理模块用于将作业人员的违规行为进行展示及统计；所述参数设置模块用于对作业人员的违规行为检测参数设置；所述信息数据上传模块用于对作业人员的违规行为告警信息数据上传。一种基于人体骨骼关键点的视频不安全行为识别方法，包括以下步骤：S1、按照一定规则将1080视频流抽帧处理，并将图像文件中模糊、多余的图像进行清洗和剔除；S2、对处理后的有效图像文件进行预处理操作，将训练数据增强；S3、将预处理后的图像导入COCOAnnotator标注平台，标注检测目标的位置区域和类别，作为主分类器，标注子目标的关键点位置和区域，作为子分类器；S4、根据人工标注的检测目标区域和位置，训练及微调目标检测模型，直至训练模型测试图像的准确率大于设定的预期值，将预处理图像传入目标检测模型进行目标检测处理；S5、以改进的openpose网络作为人体关键点的检测网络，将目标检测处理得到的图像传入检测网络，进行关键点检测，得到人体骨骼关键点图像；S6、将人体骨骼关键点图像通过二分类网络，二分类网络的输出结果结合腰部关键点的下降速度、腰部关键点到双脚关键点的高度差值和左右目关键点到双脚关键点的高度差值的比值，判断作业人员是否为跌倒状态。进一步地：所述步骤S2中的预处理操作包括翻转、裁剪、随机亮度、随机对比度和放缩。进一步地：所述步骤S5的具体步骤为：以MobileV1作为基础结构并微调，分别输出图像中所有人体的身体关键点关联PAFs和身体关键点的置信度图PCM，将PAFs和PCM结合得到人体骨骼关键点图像。进一步地：所述步骤S6的具体步骤为：S61、将人体骨骼关键点图像作为训练集和测试集，在训练集和测试集中创建跌倒和非跌倒文件夹，将对应的骨骼图像放入，训练及微调跌倒状态检测模型；S62、将骨骼图像传入全连接层，通过全连接层对骨骼图像进行判断，输出人体状态为跌倒或非跌倒；S63、同时对返回的骨骼图像实时处理，在每相邻10帧计算一次腰部关键点的下降速度V，当V大于阈值VT时，检测到第一个跌倒特征；S64、同时把双脚关键点作为相对于地面的基线，计算腰部关键点到双脚关键点的高度差值和左右目关键点到双脚关键点的高度差值，若二者比值K小于预设的固定值KT，检测到第二个跌倒特征；S65、当输出人体状态为跌倒且满足检测到第一个跌倒特征或第二个跌倒特征，则判断为最终检测为跌倒状态。本专利技术的有益效果为：本专利技术提升了人员跌倒行为检测的准确度，可应用于油气等高危生产作业场所的智能视频监控；解决了24小时实时监督作业人员出现未佩戴安全帽、跌倒不起等不安全行为的问题；解决了传统检测方法中需要人工监控的方式，大大降低了人工成本。附图说明图1为本专利技术中不安全行为识别系统框图；图2为本专利技术中不安全行为识别方法的数据处理流程图；图3为本专利技术中人员跌倒识别方法的流程图。具体实施方式下面对本专利技术的具体实施方式进行描述，以便于本
的技术人员理解本专利技术，但应该清楚，本专利技术不限于具体实施方式的范围，对本
的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本专利技术的精神和范围内，这些变化是显而易见的，一切利用本专利技术构思的专利技术创造均在保护之列。如图1所示，一种基于人体骨骼关键点的视频不安全行为识别系统，包括IPC摄像机、视频智能行为分析系统、流媒体服务系统和显示终端，所述IPC摄像机通过交换机分别与视频智能行为分析系统和用户电脑连接，所述视频智能行为分析系统分别与流媒体服务系统和显示终端连接，所述流媒体服务系统和显示终端连接，所述用户电脑上设置有显示终端；所述IPC摄像机用于对高危生产作业场所的人员作业行为进行监控，并将监控视频流转接给交换机；所述交换机用于将视频数据流传递给视频智能行为分析系统；所述视频智能行为分析系统用于对视频流中的高危生产作业场所的人员作业行为进行分析和统计，并将分析和统计的数据及检测视频流结果通过交换机反馈给流媒体服务系统；所述视频智能行为分析系统包括视频智能分析模块和告警统计分析模块；所述视频智能分析模块通过基于人体骨骼关键点的算法对视频图像信息进行快速分析，包括人员跌倒检测和人员未佩戴安全帽检测；所述告警统计分析模块用于对作业人员违规行为进行统计和分析。所述流媒体服务系统用于将各项分析数据的汇总及检测视频流结果推送给显本文档来自技高网...

【技术保护点】
1.一种基于人体骨骼关键点的视频不安全行为识别系统，其特征在于，包括IPC摄像机、视频智能行为分析系统、流媒体服务系统和显示终端，所述IPC摄像机通过交换机分别与视频智能行为分析系统和用户电脑连接，所述视频智能行为分析系统分别与流媒体服务系统和显示终端连接，所述流媒体服务系统和显示终端连接，所述用户电脑上配置有显示终端；/n所述IPC摄像机用于对高危生产作业场所的人员作业行为进行监控，并将监控视频流转接给交换机；/n所述交换机用于将视频数据流传递给视频智能行为分析系统；/n所述视频智能行为分析系统用于对视频流中的高危生产作业场所的人员作业行为进行分析和统计，并将分析和统计的数据及检测视频流结果通过交换机反馈给流媒体服务系统；/n所述流媒体服务系统用于将各项分析数据的汇总及检测视频流结果推送给显示终端；/n所述显示终端用于对视频智能行为分析系统的检测和管理参数进行配置，并通过用户电脑进行访问、查看和管理。/n

【技术特征摘要】
1.一种基于人体骨骼关键点的视频不安全行为识别系统，其特征在于，包括IPC摄像机、视频智能行为分析系统、流媒体服务系统和显示终端，所述IPC摄像机通过交换机分别与视频智能行为分析系统和用户电脑连接，所述视频智能行为分析系统分别与流媒体服务系统和显示终端连接，所述流媒体服务系统和显示终端连接，所述用户电脑上配置有显示终端；
所述IPC摄像机用于对高危生产作业场所的人员作业行为进行监控，并将监控视频流转接给交换机；
所述交换机用于将视频数据流传递给视频智能行为分析系统；
所述视频智能行为分析系统用于对视频流中的高危生产作业场所的人员作业行为进行分析和统计，并将分析和统计的数据及检测视频流结果通过交换机反馈给流媒体服务系统；
所述流媒体服务系统用于将各项分析数据的汇总及检测视频流结果推送给显示终端；
所述显示终端用于对视频智能行为分析系统的检测和管理参数进行配置，并通过用户电脑进行访问、查看和管理。


2.根据权利要求1所述的基于人体骨骼关键点的视频不安全行为识别系统，其特征在于，所述视频智能行为分析系统包括视频智能分析模块和告警统计分析模块；
所述视频智能分析模块通过基于人体骨骼关键点的算法对视频图像信息进行快速分析，包括人员跌倒检测和人员未佩戴安全帽检测；
所述告警统计分析模块用于对作业人员违规行为进行统计和分析。


3.根据权利要求1所述的基于人体骨骼关键点的视频不安全行为识别系统，其特征在于，所述显示终端包括设备管理模块、报警人工审核模块、告警处理模块、参数设置模块和信息数据上传模块；
所述设备管理模块用于对整个设备及视频源进行有效管理；
所述报警人工审核模块用于人工对作业人员的违规行为进行分析和判断；
所述告警处理模块用于将作业人员的违规行为进行展示及统计；
所述参数设置模块用于对作业人员的违规行为检测参数设置；
所述信息数据上传模块用于对作业人员的违规行为告警信息数据上传。


4.一种基于人体骨骼关键点的视频不安全行为识别方法，其特征在于，包括以下步骤：
S1、按照一定规则将1080视频流抽帧处理，并将图像文件中模糊、多余的图像进行清洗和剔除；
S2、对处理后的有效图像文件进行预处...

【专利技术属性】
技术研发人员：余楚才，李科，崔喆，陈飞帆，张衡，
申请(专利权)人：中科院成都信息技术股份有限公司，
类型：发明
国别省市：四川;51