公共场所异常行为自动识别方法及装置、摄像机设备制造方法及图纸

本发明专利技术公开了一种公共场所异常行为自动识别方法及装置、摄像机设备，其中的公共场所异常行为自动识别方法首先对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；然后采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；接着判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；再对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常。

【技术实现步骤摘要】
公共场所异常行为自动识别方法及装置、摄像机设备
本专利技术涉及视频监控
，具体涉及一种公共场所异常行为自动识别方法及装置、摄像机设备。
技术介绍
当今社会和经济高速发展，城镇化进程加速，在城镇各类公共场所如商场、车站、体育场、银行、学校等常常存在人流高峰,拥挤的人流对公共安全带来了极大的隐患，为了保障公众安全，维护公共秩序，应对突发事件，有效打击犯罪，大量的视频监控系统被投入使用，但目前的视频监控存在以下问题：1.后端服务器主要依赖人工判读，效率低下，近年来出现一些基于人工智能的视频分析方法，比如人脸识别，仍缺乏对人群人体特征行为的数据挖掘与分析方法；2.视频信息过于碎片化，近年来出现了视频结构化技术，但是仍然缺乏二维视频数据与三维真实世界实时结构化映射信息，一旦监控发现问题，即使是专业人员也无法第一时间定位出现问题地方的具体地理位置。公共场所中因其人员繁杂和流量巨大等特点给传统的视频监控系统带来了巨大挑战，因此提高现有视频监控系统的智能化水平，对提高监控效率保障社会治安具有非常重要的意义。人群人体异常行为监测近年来不断得到学术界及工业界重视，通过对视频序列数据处理，提取人群人体异常行为特征并进行自动识别分类。行为识别研究从早期依赖人体形状特征发展到基于多特征融合的行为检测，再到目前神经网络深度学习开始广泛应用，这些技术的发展，使得其在安防、AR和人机交互等领域的巨大潜在价值逐渐显现，智能安防系统可以对前端视频信息进行自动分析和理解，实现自动监测与预警，跟传统监控系统相比，极大的降低了人工，拓展目标跟踪和行为识别技术在安防监控领域的深层应用，实现行为识别精细化分类，对提升安防系统性能，具有重要的现实意义和应用价值。传统定位方法中，目标对象是需要携带定位设备的，比如现在手机设备就具备有卫星定位、无线通信基站定位、WIFI定位等，这类定位方式称为主动定位或者有源定位，共同点都是由被测对象主动发出定位信息才能进行定位。无源定位是指目标不需要携带任何定位设备或主动参与定位活动的，比如在安防反恐、灾后救援等现场，是无法让目标对象携带定位设备的，这种情况下传统定位方式无法使用。本申请专利技术人在实施本专利技术的过程中，发现现有技术的方法，至少存在如下技术问题：安防监控场景下观测目标都属于无源定位范畴。近年来人工智能视觉应用如火如荼，基于图像的目标识别跟踪应用越来越多，对视频中目标坐标及其轨迹进行实时测量并对其未来位置进行预测，是无源定位跟踪的主要挑战。现有技术中的方法无法对异常行为进行准确识别，因而影响了视频监控的效果。
技术实现思路
本专利技术提供了一种公共场所异常行为自动识别方法及装置、摄像机设备，用以解决现有技术中对异常行为的识别准确性不高，监控效果不佳的技术问题。为了解决上述技术问题，本专利技术第一方面提供了公共场所异常行为自动识别方法，包括：S1：对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；S2：采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；S3：判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；S4：对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常。在一种实施方式中，YOLO系列算法识别出的人类目标包括各帧图像移动目标系统状态，包括：S2.1：对获得的上一帧图像移动目标系统状态目标区域进行快速分块角点采样，其中选取20个目标特征像素点，当采样点数量小于采样点数量阈值，则目标跟踪失败；S2.2：将步骤S2.1中汇总的分块角点作为输入，采用LK光流法计算，选取LK光流法的金字塔层数为5，搜索窗口的尺寸为4*4，设置LK光流法每次计算最高迭代20次，当LK光流法迭代次数超过20次仍没有达到设置的精度要求则终止迭代；前向LK光流法跟踪将得到当前帧对应上一帧中采样点的像素点，然后将当前帧中的像素点作为输入传输至LK光流法反向计算，获得当前帧中目标像素点在上一帧的对应跟踪点位置；S2.3：计算上一帧中目标图像片区域采样点和经过正向反向LK光流法计算得到的上一帧中跟踪到的点对应的欧式距离，即为所求的前向后向误差，剔除误差值超过20个像素距离的点，对剩余的点对的邻域区间做对应的模板匹配操作，得到相对应的一组相似度值，剔除相似度值小于相似度阈值的点对，得到有效的跟踪采样点；S2.4：根据有效的跟踪点预测当前帧中目标的位置及尺寸，如果本次跟踪成功，则跟踪到的像素点的数量大于1，计算目标在当前帧中的系统状态；如果跟踪到的像素点的数量小于1，则本次跟踪不成功，判定本次跟踪失败；S2.5：计算上一帧与当前帧跟踪成功后的系统状态中目标位置像素距离差值，根据像素空间距离对应关系，计算出目标的现实空间移动速度，如果目标的现实空间移动速度超出速度阈值，则判定为目标速度异常，记录并储存下相关信息。在一种实施方式中，步骤S3具体包括：S3.1：根据摄像机自身参数及当前光学放大倍数，计算预设像素区域内人类目标密度；S3.2：判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为。在一种实施方式中，S3.1具体包括：S3.1.1：获取摄像机的自身参数和光学放大倍数，包括镜头尺寸4mm，则10m外4mm镜头对应的视场范围为12*9m，光学放大倍数为500w像素，其分辨率为2560*1920；S3.1.2：根据摄像机的自身参数和光学放大倍数，计算一个像素点的间隔指代的位移大小，对于4mm镜头的x方向，10m距离，1个像素点的间隔指代的位移大小为：S3.1.3：根据一个像素点的间隔指代的位移大小，计算预设像素区域内人类目标密度。在一种实施方式中，S4中根据人体姿态估计结果，判断姿态是否为异常，包括：将识别出的人体姿态估计中的人体关键部件进行Hough直线变换，具体为通过局部峰值点绘制直线，其中，峰值点的角度则代表肢体的方向，直线的交叉点为关节位置，直线间的角度为人体躯干；通过进行人体部件与水平直线间的逆时针旋转角度计算，计算出人体关节的角度，将计算出的关节角度与预设数据集角度比对，如果超出相似度阈值，则判断姿态异常。基于同样的专利技术构思，本专利技术第二方面提供了公共场所异常行为自动识别装置，包括：人类目标检测单元，用于对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；速度异常目标识别单元，用于采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；密集目标识别单元，用于判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；异常姿态目标识别单本文档来自技高网...

【技术保护点】
1.公共场所异常行为自动识别方法，其特征在于，包括：/nS1：对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；/nS2：采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；/nS3：判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；/nS4：对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常。/n

【技术特征摘要】
1.公共场所异常行为自动识别方法，其特征在于，包括：
S1：对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；
S2：采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；
S3：判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；
S4：对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常。


2.如权利要求1所述的方法，其特征在于，YOLO系列算法识别出的人类目标包括各帧图像移动目标系统状态，包括：
S2.1：对获得的上一帧图像移动目标系统状态目标区域进行快速分块角点采样，其中选取20个目标特征像素点，当采样点数量小于采样点数量阈值，则目标跟踪失败；
S2.2：将步骤S2.1中汇总的分块角点作为输入，采用LK光流法计算，选取LK光流法的金字塔层数为5，搜索窗口的尺寸为4*4，设置LK光流法每次计算最高迭代20次，当LK光流法迭代次数超过20次仍没有达到设置的精度要求则终止迭代；前向LK光流法跟踪将得到当前帧对应上一帧中采样点的像素点，然后将当前帧中的像素点作为输入传输至LK光流法反向计算，获得当前帧中目标像素点在上一帧的对应跟踪点位置；
S2.3：计算上一帧中目标图像片区域采样点和经过正向反向LK光流法计算得到的上一帧中跟踪到的点对应的欧式距离，即为所求的前向后向误差，剔除误差值超过20个像素距离的点，对剩余的点对的邻域区间做对应的模板匹配操作，得到相对应的一组相似度值，剔除相似度值小于相似度阈值的点对，得到有效的跟踪采样点；
S2.4：根据有效的跟踪点预测当前帧中目标的位置及尺寸，如果本次跟踪成功，则跟踪到的像素点的数量大于1，计算目标在当前帧中的系统状态；如果跟踪到的像素点的数量小于1，则本次跟踪不成功，判定本次跟踪失败；
S2.5：计算上一帧与当前帧跟踪成功后的系统状态中目标位置像素距离差值，根据像素空间距离对应关系，计算出目标的现实空间移动速度，如果目标的现实空间移动速度超出速度阈值，则判定为目标速度异常，记录并储存下相关信息。


3.如权利要求1所述的方法，其特征在于，步骤S3具体包括：
S3.1：根据摄像机自身参数及当前光学放大倍数，计算预设像素区域内人类目标密度；
S3.2：判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为。


4.如权利要求3所述的方法，其特征在于，S3.1具体包括：
S3.1.1：获取摄像机的自身参数和光学放大倍数，包括镜头尺寸4mm，则10m外4mm镜头对应的视场范围为12*9m，光学放大倍数为500w像素，其分辨率为2560*1920；
S3.1.2：根据摄像机的自身参数和光学放大倍数，计算一个像素点的间隔指代的位移大小，对于4mm镜头的x方向，10m距离，1个像素点的间隔指代的位移大小为：



S3.1.3：根据一个像素点的间隔指代的位移大小，计算预设像素区域内人类目标密度。


5.如权利要求1所述的方法，其特征在于，S4中根据人体姿态估计结果，判断姿态是否为异常，包括：
将识别出的人体姿态估计中的人体关键部件进行Hough直线变换，具体为通过局部峰值点绘制直线，其中，峰值点的角度则代表肢体的方向，直线的交叉点为关节位置，直线间的角度为人体躯干；
通过进行人体部件与水平直线间的逆时针旋转角度计算，计算出人体关节的角度，将计算出的关节角度与预设数据集角度比对，如果超出相似度阈值，则判断姿态异常。


6.公共场所异常行为自动识别装置，其特征在于，包括：
人类目标检...

【专利技术属性】
技术研发人员：晋建志，徐斌，何伍斌，范君涛，冯毓伟，李永逵，陈博，
申请(专利权)人：湖北科技学院，
类型：发明
国别省市：湖北;42