一种基于骨点提取的异常行为自动识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于骨点提取的异常行为自动识别方法及装置，本发明专利技术通过对视频中的人员进行骨点提取和检测，然后对骨点进行跟踪，最后利用训练好的分类器对不同帧的骨点位置进行分类，从而实现对异常行为的识别。本发明专利技术可以快速、准确的对视频中的人员的异常行为进行识别和预警，从而避免了传统异常行为识别方法准确率低、实时性差的问题。 1

An automatic recognition method and device for abnormal behavior based on Extraction of bone points

The invention discloses a method and device for the automatic identification of abnormal behavior based on bone point extraction. By extracting and detecting the bone points in the video, the bone points are tracked, and the bone points of different frames are classified by the trained classifier to realize the identification of abnormal behavior. The invention can quickly and accurately identify and warn the abnormal behavior of the people in the video, thus avoiding the problem of low accuracy and poor real-time performance of the traditional abnormal behavior recognition method. One

【技术实现步骤摘要】
一种基于骨点提取的异常行为自动识别方法及装置
本专利技术涉及通信
，尤其涉及一种基于骨点提取的异常行为自动识别方法及装置。
技术介绍
近年来，频发的突发事件和异常事件已经严重影响了社会的公共安全。针对频发的突发事件和异常事件等危害公共安全的行为，世界各国已经将异常行为识别技术作为安全防范的一种重要手段。人体异常行为是指人体无规律的非正常行为，如人体的突然奔跑、打架、病倒、徘徊、人员大量聚集等。异常行为识别技术是从采集到的视频序列中检测并识别人员异常行为的一种技术，该技术可以有效的预防暴力袭击、踩踏事件等突发事件的发生，可以为监控人员提供及时的预警信息，有效辅助相关人员实时的对监控场景中出现的异常情况进行判断和采取措施。但是目前针对越来越多的突发事件和异常事件，现有技术中尚不能准确地对突发事件和异常事件中人的行为进行识别。
技术实现思路
鉴于上述的分析，本专利技术旨在提供一种基于骨点提取的异常行为自动识别方法及装置，用以解决现有技术不能准确地对突发事件和异常事件中人的行为进行识别的问题。为解决上述问题，本专利技术主要是通过以下技术方案实现的：本专利技术提供了一种基于骨点提取的异常行为自动识别方法，该方法包括：获取视频图像中人的置信图和部位亲和字段partaffinefield，对视频中的人员进行骨点检测，并确定骨点归属；采用光流法对不同人的各个骨点位置进行跟踪；将预定时间内连续视频帧的骨点位置进行分类，以识别异常行为。进一步地，所述获取视频图像中人的置信图和部位亲和字段包括：通过两路多级联卷积深度神经网络提取置信图和部位亲和字段。进一步地，所述通过两路多级联卷积深度神经网络提取置信图和部位亲和字段包括：通过一路多级联卷积深度神经网络提取置信图对所有人的骨点进行预测，获得所有人骨点的位置；通过一路多级联卷积深度神经网络提取每个骨点的部位亲和字段，对骨点进行归属判断。进一步地，所述采用光流法对不同人的各个骨点位置进行跟踪包括：对一个连续的视频帧序列中的任意一个视频帧，通过提取其置信图和部位亲和字段两个特征，确定人体的骨点位置，对之后的任意两个相邻视频帧，寻找上一帧中出现的骨点在当前帧中的最佳位置，得到骨点在当前帧中的位置坐标，如此迭代进行，以对人体骨点进行跟踪。进一步地，将预定时间内连续视频帧的骨点位置进行分类，以识别异常行为包括：获取包含一类型异常行为的一段训练视频流，对该段训练视频流中的每帧图像作骨点检测和骨点跟踪的操作，获得多帧图像的人体骨点的位置；将所有视频帧的骨点位置构成一个训练样本；重复上述步骤，获得一类异常行为中的多个训练样本，构成训练样本集；采用高斯混合模型对训练样本集中的骨点位置进行建模构建分类器，通过所述分类器对异常行为进行分类。另一方面，本专利技术还提供一种基于骨点提取的异常行为自动识别装置，该装置包括：骨点检测单元，用于获取视频图像中人的置信图和部位亲和字段，对视频中的人员进行骨点检测，并确定骨点归属；骨点跟踪单元，用于采用光流法对不同人的各个骨点位置进行跟踪；异常行为识别单元，用于将预定时间内连续视频帧的骨点位置进行分类，以识别异常行为。进一步地，所述骨点检测单元还用于，通过两路多级联卷积深度神经网络提取置信图和部位亲和字段。进一步地，所述骨点检测单元还用于，通过一路多级联卷积深度神经网络提取置信图对所有人的骨点进行预测，获得所有人骨点的位置；通过一路多级联卷积深度神经网络提取每个骨点的部位亲和字段，对骨点进行归属判断。进一步地，所述骨点跟踪单元还用于，对一个连续的视频帧序列中的任意一个视频帧，通过提取其置信图和部位亲和字段两个特征，确定人体的骨点位置，对之后的任意两个相邻视频帧，寻找上一帧中出现的骨点在当前帧中的最佳位置，得到骨点在当前帧中的位置坐标，如此迭代进行，以对人体骨点进行跟踪。进一步地，所述异常行为识别单元还用于，获取包含一类型异常行为的一段训练视频流，对该段训练视频流中的每帧图像作骨点检测和骨点跟踪的操作，获得多帧图像的人体骨点的位置；将所有视频帧的骨点位置构成一个训练样本；重复上述步骤，获得第一类异常行为的多个训练样本，构成训练样本集；采用高斯混合模型对训练样本集中的骨点位置进行建模构建分类器，通过所述分类器对异常行为进行分类。本专利技术有益效果如下：本专利技术通过对视频中的人员进行骨点提取和检测，然后对骨点进行跟踪，最后利用训练好的分类器对不同帧的骨点位置进行分类，从而实现对异常行为的识别。本专利技术可以快速、准确的对视频中的人员的异常行为进行识别和预警，从而避免了传统异常行为识别方法准确率低、实时性差的问题。本专利技术的其他特征和优点将在随后的说明书中阐述，并且部分的从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明图1是本专利技术实施例的一种基于骨点提取的异常行为自动识别方法的流程示意图；图2是本专利技术实施例的一种基于骨点提取的异常行为自动识别装置的结构示意图；图3是本专利技术实施例的另一种基于骨点提取的异常行为自动识别方法的流程示意图；图4是本专利技术实施例的另一种基于骨点提取的异常行为自动识别装置的结构示意图。具体实施方式下面结合附图来具体描述本专利技术的优选实施例，其中，附图构成本申请一部分，并与本专利技术的实施例一起用于阐释本专利技术的原理。为了清楚和简化目的，当其可能使本专利技术的主题模糊不清时，将省略本文所描述的器件中已知功能和结构的详细具体说明。本专利技术实施例通过对视频中的人员进行骨点提取和检测，然后对骨点进行跟踪，最后利用训练好的分类器对不同帧的骨点位置进行分类，从而实现对异常行为的识别。本专利技术可以快速、准确的对视频中的人员的异常行为进行识别和预警，从而避免了传统异常行为识别方法准确率低、实时性差的问题。以下结合附图以及几个实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不限定本专利技术。本专利技术实施例提供了一种基于骨点提取的异常行为自动识别方法，参见图1，该方法包括：S101、获取视频图像中人的置信图和部位亲和字段partaffinefield，对视频中的人员进行骨点检测，并确定骨点归属；S102、采用光流法对不同人的各个骨点位置进行跟踪；S103、将预定时间内连续视频帧的骨点位置进行分类，以识别异常行为。也就是说，本专利技术实施例通过对视频中的人员进行骨点提取和检测，然后对骨点进行跟踪，最后利用训练好的分类器对不同帧的骨点位置进行分类，从而实现对异常行为的识别。本专利技术可以快速、准确的对视频中的人员的异常行为进行识别和预警，从而避免了传统异常行为识别方法准确率低、实时性差的问题。具体来说，本专利技术实施例是在进行骨点检测时，通过提取置信图获得视频中所有人员的骨点位置，然后通过提取部位亲和字段对骨点位置进行归属判断，即判断该骨点属于哪一个人，从而最终确定每个人的骨点位置，进而识别多人互动行为，如打架斗殴等行为。需要说明的是，现有技术都是针对单人独立行为如跌倒、蹲下等进行识别，没有针对多人互动行为如打架斗殴等进行识别，本专利技术实施例所述的方法不但可以对单人独立行为进行识别，还可以对多人互动行为进行识别。即，相比现有技术的异常行为识别技术，本专利技术实施例是通过对视频图像中人本文档来自技高网...

【技术保护点】
1.一种基于骨点提取的异常行为自动识别方法，其特征在于，包括：

【技术特征摘要】
1.一种基于骨点提取的异常行为自动识别方法，其特征在于，包括：获取视频图像中人的置信图和部位亲和字段partaffinefield，对视频中的人员进行骨点检测，并确定骨点归属；采用光流法对不同人的各个骨点位置进行跟踪；将预定时间内连续视频帧的骨点位置进行分类，以识别异常行为。2.根据权利要求1所述的方法，其特征在于，所述获取视频图像中人的置信图和部位亲和字段包括：通过两路多级联卷积深度神经网络提取置信图和部位亲和字段。3.根据权利要求2所述的方法，其特征在于，所述通过两路多级联卷积深度神经网络提取置信图和部位亲和字段包括：通过一路多级联卷积深度神经网络提取置信图对所有人的骨点进行预测，获得所有人骨点的位置；通过一路多级联卷积深度神经网络提取每个骨点的部位亲和字段，对骨点进行归属判断。4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述采用光流法对不同人的各个骨点位置进行跟踪包括：对一个连续的视频帧序列中的任意一个视频帧，通过提取其置信图和部位亲和字段两个特征，确定人体的骨点位置，对之后的任意两个相邻视频帧，寻找上一帧中出现的骨点在当前帧中的最佳位置，得到骨点在当前帧中的位置坐标，如此迭代进行，以对人体骨点进行跟踪。5.根据权利要求1-3中任意一项所述的方法，其特征在于，将预定时间内连续视频帧的骨点位置进行分类，以识别异常行为包括：获取包含一类型异常行为的一段训练视频流，对该段训练视频流中的每帧图像作骨点检测和骨点跟踪的操作，获得多帧图像的人体骨点的位置；将所有视频帧的骨点位置构成一个训练样本；重复上述步骤，获得一类异常行为中的多个训练样本，构成训练样本集；采用高斯混合模型对训练样本集中的骨点位置进行建模构建分类器，通...

【专利技术属性】
技术研发人员：王迎雪，刘弋锋，许忠雄，谢海永，廖勇，
申请(专利权)人：中国电子科技集团公司电子科学研究院，
类型：发明
国别省市：北京,11