一种将目标检测与人体姿态估计相结合的视频分析方法技术

本发明专利技术涉及一种将目标检测与人体姿态估计相结合的视频分析方法，通过流媒体服务器，获取现场摄像头视频流，从中截取视频帧，获得解码出来的图片；采用深度学习算法对获得的每一张图片进行快速目标检测，找到所有能识别的类别的目标对象；判断是否有人员存在，对图片依次进行危险行为分析和危险场景分析；在进行危险行为分析和危险场景分析中，若发现危险事件，则将告警及时上报推送给展示平台；持续进行视频流实时分析。本视频分析方法将目标检测和人体姿态估计算法结合起来，引入到基建视频的智能监控识别领域，能够识别危险行为或场景，可以解放传统监控中人工盯屏的劳动力，大大提升基建安全管理的效率。

【技术实现步骤摘要】
一种将目标检测与人体姿态估计相结合的视频分析方法
本专利技术涉及视频智能识别
，尤其涉及一种将目标检测与人体姿态估计相结合的视频分析方法。
技术介绍
在电网基建项目中，传统的视频监控是基于人工盯屏方式，随机调取监控线路来监控。在大数据信息时代，监控线路数量飞速增长，但是由于企业内部人员岗位和编制的原因,电网基建工程管理人员不可能大幅增加。而且有些危险源，比如火源、坑洞等，需要全天24小时、整个工地全覆盖持续关注，靠人工方式根本不可能完成。因此，迫切需要能够进行危险行为和场景的自动化视频分析技术。目前进行视频分析的主流方法是目标检测，基于深度神经网络，已经出现速度和精度俱佳的算法，可以进行实时高精度分析。视频监控的重要目标是人员，但是目标检测只能检测出物体或人员的整体位置，很难对人员的姿态或行为进行具体分析。这时可以使用人体姿态估计算法对人体的关键点进行定位，从而分析人员的行为。目前也出现了实时性、准确性较好的算法，但是人体姿态估计算法只能分析出人员信息，无法发现图像中的其他危险源，更无法与其他危险源进行关联分析。由此可见，利用现有技术在复杂场景下进行视频实时分析，主流的目标检测算法和人体姿态估计算法，由于其内在局限性，各自获取的信息均存在不足，很多危险行为或场景无法感知和识别。
技术实现思路
本专利技术的目的在于提供一种将目标检测与人体姿态估计相结合的视频分析方法，以解决上述
技术介绍
中遇到的问题。为实现上述目的，本专利技术的技术方案如下：一种将目标检测与人体姿态估计相结合的视频分析方法，包括以下步骤：S1、通过流媒体服务器，获取现场摄像头视频流，从中截取视频帧，获得解码出来的图片；S2、采用深度学习算法对步骤S1中获得的每一张图片进行快速目标检测，找到所有能识别的类别的目标对象；S3、在目标检测中若发现了有人员存在，则对图片进行人体姿态关键点定位，并结合目标检测和人体姿态的结果信息，对图片依次进行危险行为分析和危险场景分析，在目标检测中若没有发现人员存在，则利用目标检测结果信息，直接进行危险场景分析；S4、在进行危险行为分析和危险场景分析中，若发现危险事件，则将告警及时上报推送给展示平台，安全管理人员及时获得告警信息，并作出应对响应，若未发现危险事件，则从该视频帧获得的该图片的分析过程结束，进入对下一帧的图片进行分析；S5、重复上述步骤S2至S4，持续进行视频流实时分析。进一步的，在步骤S2中，在进行快速目标检测中，使用具有实时性能的YOLO目标检测模型，使其检测速度达到50帧/秒。进一步的，在步骤S3中，在进行人体姿态关键点定位中，使用了具有实时性能的DensPose模型、PoseNet模型中的任意一种实时性模型，使其分析速度达到20帧/秒。进一步的，在使用了实时性模型时采用25个关键点的人体躯干模型进行分析。进一步的，在步骤S3中，在进行危险行为分析前，需要先对图片进行预处理。进一步的，所述预处理包括以下步骤：a：根据每组人体的关键点计算出其最小外接矩形；b：将该外接矩形的矩形框和所有目标检测中类别为人的矩形框，逐一计算出交并比IOU，所述IOU表示两个矩形交集的面积/并集面积，其计算公式为：IOU＝(D∩G)/(D∪G)；其中，D和G分别代表两个矩形框的面积；c：上述交并比IOU数值中，如果存在大于0.5的IOU值，则说明人体姿态估计和目标检测判断一致，并保留该组人体关键点和对应的目标检测信息；否则说明人体姿态估计和目标检测判断不一致，并丢弃本组人体关键点信息；d：重复步骤a至c，直至计算完所有组人体关键点，获得所有应该保留的人体关键点和对应的目标检测信息，并将余下的类别种有人存在的目标检测信息删除。进一步的，在步骤S3中，所述危险场景分析是利用目标检测的结果信息进行分析，发现危险场景；所述危险行为分析是利用包括目标检测、人体姿态估计的结果的所有信息进行分析，发现和人相关的危险行为。进一步的，在步骤S4中，所述告警信息包括短信、图片、声音。与现有技术相比，本专利技术的有益效果是：本视频分析方法将目标检测和人体姿态估计算法结合起来，引入到基建视频的智能监控识别领域，能够识别火灾、坑洞无围挡、未戴安全帽、绝缘子破裂、呼吸器硅胶变色、渗漏油及地面油污、倒地、吸烟、翻越护栏等危险行为或危险场景。系统视频处理速度满足实时要求，可以达到20帧/秒，具备实际应用能力。综合利用目标检测信息、人体姿态信息，能够实时自动分析并识别出危险行为和场景，上报告警，实现了全自动智能监控告警。随着收集样本的丰富、模型识别种类的增加、识别策略的扩充，后期可以增加更多类别的危险行为或场景的识别。本专利技术可以解放传统监控中人工盯屏的劳动力，大大提升基建安全管理的效率。附图说明图1为本专利技术实施例提供的视频分析方法的流程图；图2为本专利技术实施例提供的视频分析方法的实现流程图；图3为本专利技术的人体关键点信息示意图；图4为本专利技术的告警信息示意图；图5为本专利技术的危险行为分析示意图。具体实施方式下面结合附图和实施例对本专利技术的技术方案做进一步的详细说明。如图1和图2所示，一种将目标检测与人体姿态估计相结合的视频分析方法，包括以下步骤：S1、取视频帧：通过流媒体服务器，获取现场摄像头视频流，从中截取视频帧，获得解码出来的图片。S2、目标检测：采用深度学习算法对第一帧的图片进行快速目标检测，找到所有能识别的类别的目标对象。其中，在进行快速目标检测中，使用具有实时性能的YOLO目标检测模型，使其检测速度达到50帧/秒，满足实时检测要求。S3、人体姿态关键点定位：在目标检测中若发现了有人员存在，则对图片进行人体姿态关键点定位，并结合目标检测和人体姿态的结果信息，对图片进行危险行为分析和危险场景分析，在目标检测中若没有发现人员存在，则利用目标检测结果信息，直接进行危险场景分析；其中，在进行人体姿态关键点定位中，使用了具有实时性能的DensPose模型、PoseNet模型中的任意一种实时性模型，或者其他同等实时性模型，使其分析速度达到20帧/秒，并且在使用实时性模型模型时采用25个关键点的人体躯干模型进行分析，满足实时检测要求。如图3所示，展示了25个关键点对应人体关节的编号以及输出效果，这25个关键点是后续进行危险行为分析需要的关键信息。图中：0-嘴；1-脖子；2-右肩；3-右手肘；4-右手；5-左肩；6-左手肘；7-左手；8-腰部；9-右臀；10-右膝盖；11-右脚腕；12-左臀；13-左膝盖；14-左脚腕；15-右眼；16-左眼；17-右耳；18-左耳；19-左脚板；20-左脚趾；21-左脚跟；22-右脚板；23-右脚趾；24-右脚跟。在人体姿态关键点定位前，因目标检测算法已经对图片是否有人存在进行了过滤，因此只需要对目标检测发现人员存在的图片进行人体姿态估计，这样做提升了系统整本文档来自技高网...

【技术保护点】
1.一种将目标检测与人体姿态估计相结合的视频分析方法，其特征在于，包括以下步骤：/nS1、通过流媒体服务器，获取现场摄像头视频流，从中截取视频帧，获得解码出来的图片；/nS2、采用深度学习算法对步骤S1中获得的每一张图片进行快速目标检测，找到所有能识别的类别的目标对象；/nS3、在目标检测中若发现了有人员存在，则对图片进行人体姿态关键点定位，并结合目标检测和人体姿态的结果信息，对图片依次进行危险行为分析和危险场景分析，在目标检测中若没有发现人员存在，则利用目标检测结果信息，直接进行危险场景分析；/nS4、在进行危险行为分析和危险场景分析中，若发现危险事件，则将告警及时上报推送给展示平台，使安全管理人员及时获得告警信息，并作出应对响应，若未发现危险事件，则从该视频帧获得的该图片的分析过程结束，进入对下一帧的图片进行分析；/nS5、重复上述步骤S2至S4，持续进行视频流实时分析。/n

【技术特征摘要】
1.一种将目标检测与人体姿态估计相结合的视频分析方法，其特征在于，包括以下步骤：
S1、通过流媒体服务器，获取现场摄像头视频流，从中截取视频帧，获得解码出来的图片；
S2、采用深度学习算法对步骤S1中获得的每一张图片进行快速目标检测，找到所有能识别的类别的目标对象；
S3、在目标检测中若发现了有人员存在，则对图片进行人体姿态关键点定位，并结合目标检测和人体姿态的结果信息，对图片依次进行危险行为分析和危险场景分析，在目标检测中若没有发现人员存在，则利用目标检测结果信息，直接进行危险场景分析；
S4、在进行危险行为分析和危险场景分析中，若发现危险事件，则将告警及时上报推送给展示平台，使安全管理人员及时获得告警信息，并作出应对响应，若未发现危险事件，则从该视频帧获得的该图片的分析过程结束，进入对下一帧的图片进行分析；
S5、重复上述步骤S2至S4，持续进行视频流实时分析。


2.根据权利要求1所述的一种将目标检测与人体姿态估计相结合的视频分析方法，其特征在于：在步骤S2中，在进行快速目标检测中，采用YOLO目标检测模型。


3.根据权利要求1所述的一种将目标检测与人体姿态估计相结合的视频分析方法，其特征在于：在步骤S3中，在进行人体姿态关键点定位中，可采用DensPose模型、PoseNet模型中的任意一种实时性模型。


4.根据权利要求3所述的一种将目标检测与人体姿态估计相结合的视频分析方法，其特征在于：在使用了实时性模型时采用25个关键点的人体躯干模型进行分析。

【专利技术属性】
技术研发人员：李宾皑，路敏，孙宇飞，顾书玉，
申请(专利权)人：国网上海市电力公司，南京七宝机器人技术有限公司，
类型：发明
国别省市：上海;31