基于视频分析的打架斗殴异常行为自动检测方法技术

本发明专利技术公开了一种基于视频分析的打架斗殴异常行为自动检测方法，包括：S1、输入视频序列中的原始图像；S2、采用金字塔L‑K光流法，计算图像中所有像素点的运动矢量；S3、在运动速度矩阵的基础上增加视角调整系数矩阵DM的修正；S4、对修正后的运动速度矩阵进行聚类分析，动态提取每一帧图像不同行为下的有效像素点；S5、结合运动矢量关于运动速度和运动方向的信息，提出异常行为的综合特征指标；S6、确定运动特征指标发生打架斗殴异常行为的判定阈值，并根据该阈值进行打架斗殴异常行为的判断。本发明专利技术在现有的光流方法计算结果的基础上，增加视角调整系数矩阵，经过改进后的光流矢量将更加准确的体现出具有纵向透视视角场景下目标的运动特征。

Automatic detection method for abnormal behavior of fight based on video analysis

The invention discloses a fighting video analysis fights abnormal behavior detection based on automatic methods, including: S1, input the original image in the video sequence; S2, Pyramid L K optical flow method, calculating motion vectors of all pixels in the image; S3, adding a correction view adjustment coefficient matrix DM based on moving speed matrix; S4, velocity of matrix modified by cluster analysis, the dynamic extraction of effective pixels of each image under different behavior; S5, combined with the motion vector of the movement speed and direction information, comprehensive characteristic index presented abnormal behavior; S6, determine the motion feature index fights threshold this abnormal behavior, and fights abnormal behavior according to the judgment threshold. The invention results in optical flow method on the increase of angle adjustment coefficient matrix, the optical flow vector improved will reflect more accurately with the motion characteristics of the target scene longitudinal perspectives.

【技术实现步骤摘要】
基于视频分析的打架斗殴异常行为自动检测方法
本专利技术涉及异常行为识别
，特别是涉及一种基于视频分析的打架斗殴异常行为自动检测方法。
技术介绍
视频监控系统是多媒体技术、计算机网络、工业控制和人工智能等技术的综合运用，正向着数字化、系统的网络化和管理的智能化方向不断发展。目前，视频监控广泛用于信息获取、指挥调度、安全防范等方面，可以提供生产流程控制、医疗监护、远程教育、大型公共设施的安防等多种服务。特别客流密集的公共场所，视频监控系统的安全防护功能体现的尤为突出。城市轨道交通作为当前公共交通重要的出行方式之一，在发展相对成熟的北京、上海等城市日服务乘客达到1000余万人次，要确保正常、平稳的运营秩序，视频监控系统必不可少，是城市轨道交通维护和保证运营安全的重要手段。它能够为控制中心的调度员、各车站值班员、列车司机等提供站台、扶梯、检票口等有关列车运行、防灾救灾、旅客疏导以及社会治安等方面的视觉信息。旨在使相关人员针对异常事件能够快速反应、合理处置，并将所发生事件的全过程及重要数据进行记录，为处理事故提供切实依据。但是这些轨道交通闭路电视监视系统也存在明显不足。首先，由于监控室或监控中心空间有限，因而只能通过轮换画面来监视所有的场景或选择敏感区域进行重点监视，导致在时间和空间上都难以将监控画面完全实时呈现，留下监测盲区。其次，监控系统主要依靠工作人员值守监视，依据人对视频信息的内容作出判断，鉴于人员成本，只能有重点的监视关键区域。同时人的视觉疲劳也会导致判断能力的下降，面对多点多站海量监控画面，难免出现漏查，这导致视频监控系统只能起到利用录像存储进行事后取证的作用，而难以形成主动预警和及时报警的良性机制，失去实时监控的意义。为解决这一问题，引进机器视觉的智能检测技术，通过视频数据分析处理对指定的异常事件自动检测并实时报警，以提醒工作人员确认事件并采取相应措施。针对可疑物品遗留、穿越禁区报警、视频移动侦测、可疑人员长期滞留、客流量突变告警等异常事件已经有较多研究，本专利主要针对公共场所打架斗殴突发事件，通过对连续的视频数据进行有效分析、识别和判断，实现异常行为自动检测。机器视觉和人工智能技术在视频监控中的两个重要应用方面一是目标或人体的运动检测，它属于视觉的低层次处理，包括图像预处理、运动前景分割、目标检测与跟踪等；二是行为或事件的模式识别，它属于视觉的高层次处理，包括目标识别与分类、人体行为理解、表情识别、异常事件的语义理解与描述分析等，本专利的研究应用即属于后者。针对异常行为的视觉分析研究方法主要分为三大类别：基于运动目标的研究方法、全局特征分析的研究方法、混合型研究方法。此外，当前十分热门的深度学习网络和三维重建等技术，也已经开始应用到视频监控异常检测当中。现有技术中的利用光流法实现基于图像全局运动特征的异常行为的研究，对图像所呈现的视角特点，缺少必要的调整步骤。针对某些场景的视角特点，通过光流法计算结果基本能够正确体现在场景中人的运动变化，而另外有些场景中由于具有强烈的透视效果，当人在站台摄像头下与站台的末端，同样强度的运动通过光流法计算，结果将存在显著偏差，因此传统的光流法将不能正确的反映场景中远离摄像设备的目标运动特征，那么就意味着发生在站台末端的异常行为将极有可能漏检和漏报，反之发生在靠近摄像设备的正常行为也同样有可能被误判为异常。因此，针对上述技术问题，有必要提供一种基于视频分析的打架斗殴异常行为自动检测方法。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于视频分析的打架斗殴异常行为自动检测方法。为了实现上述目的，本专利技术实施例提供的技术方案如下：一种基于视频分析的打架斗殴异常行为自动检测方法，所述方法包括：S1、输入视频序列中的原始图像；S2、采用金字塔L-K光流法，计算图像中所有像素点的运动矢量，运动矢量包括运动速度和运动方向S3、在运动速度矩阵的基础上增加视角调整系数矩阵DM的修正；S4、对修正后的运动速度矩阵进行聚类分析，动态提取每一帧图像不同行为下的有效像素点；S5、结合运动矢量关于运动速度和运动方向的信息，提出异常行为的综合特征指标；S6、确定运动特征指标发生打架斗殴异常行为的判定阈值，并根据该阈值进行打架斗殴异常行为的判断。作为本专利技术的进一步改进，所述步骤S2中：图像I中像素点为m＝(x,y)T，vm＝(u,v)是像素点m的光流；运动速度运动方向作为本专利技术的进一步改进，所述步骤S3中：修正后的运动速度矩阵为DVelk×l＝DMk×l*Velk×l，(*，Hadamard乘积)，其中k×l是图像的分辨率,Hadamard乘积为两个矩阵对应元素的乘积。作为本专利技术的进一步改进，所述步骤S3中的系数矩阵DMk×l获取方法为：S301、在图像所处的实际场景中，将所呈现的站台研究区域从前至后进行标定，以纵向设置若干测试点，各测试点间距相同；S302、从前至后依次各测试点上做横向匀速运动，并记录提取整个测试过程的视频；S303、将测试视频图像序列进行相邻帧之间的光流法计算，获得运动速度并均值化体现对应图像整体的运动速度量；S304、通过测试视频中的各帧整体运动速度统计，计算各测试点的平均速度值；S305、统计处理场景中各测试点的速度值，以前景中第一个测试点作为标准点反推后续各测试点的速度调整系数；S306、将各测试点的调整系数进行拟合，估算出在图像整个纵向坐标下连续的调整系数矩阵DMk×l。作为本专利技术的进一步改进，所述步骤S4中的聚类分析采用K-means聚类方法实现，对图像中各像素点速度值分为强弱两类。作为本专利技术的进一步改进，所述步骤S4中有效像素点m的判断公式为：其中，m＝(x,y)T为图像中任一像素点。作为本专利技术的进一步改进，所述步骤S4还包括：基于聚类的分类结果将图像中所有像素点进行是否有效判断，形成图像有效点判别矩阵EMk×l，其中k×l是图像的分辨率。作为本专利技术的进一步改进，所述步骤S5具体为：根据公式判断两个像素点的运动为非同向运动，m＝(x,y)T和m0＝(x0,y0)T为两个像素点；每一个有效像素点在其自身为圆心，运动速度大小为半径的区域内，分析非同向运动的程度，用非同向运动的个数作为再一次突出异常行为像素点的加强系数与其速度值相乘，获得具有运动方向信息的运动速度特征将图像中所有有效像素点进行处理，将获得图像全局性的带有方向信息的平均运行特征，并计算后续异常行为判定指标为其中，图像中位于(x,y)的像素点，其DVel(x,y)＝视角调整系数×非同向运动像素个数×Vel(x,y)是经过视角系数修正，包含方向信息的运动强度特征，图像的分辨率为k×l，且N＝k，M＝l。作为本专利技术的进一步改进，所述步骤S6包括：确定判定指标发生打架斗殴异常行为的判定阈值，进行判断，如果超过阈值，则置异常行为判断值为1，反之，则为0。作为本专利技术的进一步改进，所述步骤S6后还包括：设置一个长度为n的状态存储器记录图像帧异常超限情况，采用数据先进先出原则，连续依次记录各图像序列的异常判定值；当状态存储器中数据之和超过异常报警次数的阈值，将进行异常行为的报警；反之，进入下一帧图像的分析。本专利技术在现有的光流方法计算结果的基础上，增加视角调整系数矩阵，经过改进后的光流矢量将更加准确的体现出具本文档来自技高网...

【技术保护点】
一种基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述方法包括：S1、输入视频序列中的原始图像；S2、采用金字塔L‑K光流法，计算图像中所有像素点的运动矢量，运动矢量包括运动速度

【技术特征摘要】
1.一种基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述方法包括：S1、输入视频序列中的原始图像；S2、采用金字塔L-K光流法，计算图像中所有像素点的运动矢量，运动矢量包括运动速度和运动方向S3、在运动速度矩阵的基础上增加视角调整系数矩阵DM的修正；S4、对修正后的运动速度矩阵进行聚类分析，动态提取每一帧图像不同行为下的有效像素点；S5、结合运动矢量关于运动速度和运动方向的信息，提出异常行为的综合特征指标；S6、确定运动特征指标发生打架斗殴异常行为的判定阈值，并根据该阈值进行打架斗殴异常行为的判断。2.根据权利要求1所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S2中：图像I中像素点为m＝(x,y)T，vm＝(u,v)是像素点m的光流；运动速度运动方向3.根据权利要求1所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S3中：修正后的运动速度矩阵为DVelk×l＝DMk×l*Velk×l，(*，Hadamard乘积)，其中k×l是图像的分辨率,Hadamard乘积为两个矩阵对应元素的乘积。4.根据权利要求3所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S3中的系数矩阵DMk×l获取方法为：S301、在图像所处的实际场景中，将所呈现的站台研究区域从前至后进行标定，以纵向设置若干测试点，各测试点间距相同；S302、从前至后依次各测试点上做横向匀速运动，并记录提取整个测试过程的视频；S303、将测试视频图像序列进行相邻帧之间的光流法计算，获得运动速度并均值化体现对应图像整体的运动速度量；S304、通过测试视频中的各帧整体运动速度统计，计算各测试点的平均速度值；S305、统计处理场景中各测试点的速度值，以前景中第一个测试点作为标准点反推后续各测试点的速度调整系数；S306、将各测试点的调整系数进行拟合，估算出在图像整个纵向坐标下连续的调整系数矩阵DMk×l。5.根据权利要求1所述的基于视频分析的打架斗殴...

【专利技术属性】
技术研发人员：张瑾，汪一鸣，吴澄，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32