一种监狱动态实时行为识别方法及系统技术方案

本发明专利技术提供一种监狱动态实时行为识别方法及系统，其中方法包括获取模型的数据输入流，还包括以下步骤：进行所述数据输入流的处理；以人的脊椎与盆骨连接点为原点建立笛卡尔空间坐标系；用身形识别模块对整个人的身形建模，并保存人体特征矩阵；使用图像提取模块对其他身体部分的特征点提取并链接成段，建立在笛卡尔空间坐标系中，并保存相应部位的人体特征矩阵；在笛卡尔空间坐标系中，人的身形的坐标确定后，识别出身形在坐标系的相对位置，并记录相对位置的特征矩阵；结合所述特征矩阵，从传统的提取底层物理特征提高到提取高层的语义特征。本发明专利技术利用视频分析算法对视频内容进行运算和分析，以提取视频场景中发生的一些特定的事件或监控目标。

A dynamic real-time behavior recognition method and system for prison

【技术实现步骤摘要】
一种监狱动态实时行为识别方法及系统
本专利技术涉及监狱安防领域，具体地说是一种监狱动态实时行为识别方法及系统。
技术介绍
监狱安防系统的工作内容繁杂、责任重大，主要包括防止犯人越狱脱逃、打架斗殴、自伤自残、骚乱、暴乱、哄闹监狱、胁持伤害管教干部和工作人员、信息泄漏、外人非法进入、违禁物品持有和带入带出以及发生这些事件之后的处理、历史资料的保存备案等。监狱是国家司法机关的重要组成部分，担负着执行法纪、教育改造的重要使命。现代监狱安防管理已经在智能化方面有了长足的发展。我们正处在一个技术突飞猛进的时代，数字化，网络化，智能化是21世界的突出特点。现代监狱安防管理系统主要包括两个部分——安防系统和信息管理系统。安防系统是重中之重，主要应用了现代安防产品，例如：电视监控系统，门禁系统，周界防范系统，非法出入报警系统等等。信息管理系统则主要用于统计，管理，记录监狱人员信息的系统。普通的监狱视频联动报警平台以无线通信技术为依托，利用各种无线报警探测器（如红外探测器、烟雾报警器、门磁、巡更按钮、摄像头、电流传感器等）主动采集监控现场信息，通过电话线、宽带、GPRS/CDMA网络将告警监控信息发送到应用平台上，平台以电话、短信、广播方式将报警信息迅速告之用户，让用户实时了解监控现场的状况。这种系统组成成分比较复杂，一般由各种子系统组成，然而子系统之间得联动效果十分不好，各个系统之间处于信息孤岛状态，往往都是要通过大量的人员监视和调控来完善这种不足，例如：监狱人员处于攀爬，打架斗殴等等一系列违反监狱管理得行为时，仅仅只能通过狱警不断地查看录像视频来发现，或者只能被动的在发生情况后通过各种物理的检测器来检测。再者系统对于监狱人员的管控只能通过物理得设备来建立，监狱人员往往要穿戴各种设备，例如：防拆腕带，胸牌，工牌等等，或者在某些禁止的区域采取红外线设备来管控。所以现有的监狱安防系统在人员使用率，设备轻量化，监控实时化以及系统智能化上面存在明显的缺陷与不足申请号为CN10864582A的专利技术申请公开一种复杂动态环境下目标行为识别与预测方法，首先建立人体行为数据库和科大讯飞语音识别数据库；然后安防巡视机器人在巡视时，通过视觉传感器和声音传感器对周围环境进行实时采集；接着将语音信息与视觉视频图像信息进行融合，通过目标识别判断将目标由整体判别到区域锁定，再到个体识别，最后将锁定目标人体动作数据与人体行为数据库数据进行实时匹配，对目标人体行为进行识别和预测，当目标人体行为高于一定危险级别时，机器人进行预警。该方法的缺点是所需要的物理设备复杂，预计只能对周围环境进行实时采集，而不能进行实时的分析;仅仅是通过普通的图像和声音进行判定，而未达到行为语义的层次，识别率可能偏低。申请号为CN108629946A的专利技术申请公开一种基于RGBD传感器的人体跌倒检测方法，包括如下步骤：对RGBD传感器进行内外相机参数标定矫正；针对RGBD视频序列采取校准步骤，提取活动空间环境三维结构信息；基于多级卷积神经网络提取关节点，得到一组人体关节点的三维坐标位置；提取人体关节点的三维结构信息、静态信息、动态信息作为描述人体动作行为的特征，来综合分析人体是否发生异常跌倒行为。该方法的缺点是深度摄像机造价昂贵，就算最廉价的也需要好几千，该方法通过的是采集骨骼信息，然后再进行分析，这种方法是不能够实时的进行的，而且识别的动作单一，说明未结合行为语义，只是简单的分析前后动作的静态三位坐标。
技术实现思路
为了解决上述的技术问题，本专利技术提出的一种监狱动态实时行为识别方法及系统，通过目前最热门的深度神经网络模型利用视频分析算法对视频内容进行运算和分析，以提取视频场景中发生的一些特定的事件或监控目标。本专利技术的第一目的是提供一种监狱动态实时行为识别方法，包括获取模型的数据输入流，还包括以下步骤：步骤1：进行所述数据输入流的处理；步骤2；以人的脊椎与盆骨连接点为原点建立笛卡尔空间坐标系；步骤3：用身形识别模块对整个人的身形建模，并保存人体特征矩阵；步骤4：使用图像提取模块对其他身体部分的特征点提取并链接成段，建立在笛卡尔空间坐标系中，并保存相应部位的人体特征矩阵；步骤5：在笛卡尔空间坐标系中，人的身形的坐标确定后，识别出身形在坐标系的相对位置，并记录相对位置的特征矩阵；步骤6：将步骤3到步骤5中的所述特征矩阵与行为语义库相结合，从传统的提取底层物理特征提高到提取高层的语义特征。优选的是，所述数据输入流为视频和/或图像。在上述任一方案中优选的是，所述步骤1包括初步处理和隔帧提取处理。在上述任一方案中优选的是，所述初步处理的方法为使用BM3D将输入的视频流中的噪声进行滤除。在上述任一方案中优选的是，将视频用处理模块进行所述初步处理后，将视频进行所述隔帧提取处理。在上述任一方案中优选的是，所述隔帧提取处理的方法为将摄像头提取的N帧画面提取成N/2帧的画面流，其中，N为正整数。在上述任一方案中优选的是，所述步骤2包括以下子步骤：步骤21：设定人水平向右为Y轴的负半轴，以左为Y轴的正半轴；以向前为X轴的正半轴，以向后为X轴的负半轴；以竖直向上为Z轴的正半轴，以竖直向下为Z轴；步骤22：从多个顺序视频帧中提取骨架图关键点的坐标值（x,y,z），按时序排列，得到如下三个矩阵：横轴包含时序信息矩阵、纵轴包含空间信息矩阵和像素值矩阵；步骤23：对所述矩阵进行翻转和/或裁剪，增加数据量。在上述任一方案中优选的是，所述步骤3包括以下子步骤：步骤31：所述识别模块在视频中对一帧中的整个体型进行提取，对整个人的M个特征点进行提取，其中，M为数量阈值；步骤32：对步骤31中的所述M个特征点在卷积神经网络下进行训练；步骤33：使用KM算法计算得到带权二分图的最优匹配。在上述任一方案中优选的是，所述KM算法包括对每个顶点赋值，称为顶标，将左边的顶点赋值为与其相连的边的最大权重，右边的顶点赋值为0，然后进行匹配。在上述任一方案中优选的是，所述匹配的原则是只和权重与左边分数（顶标）相同的边进行匹配。在上述任一方案中优选的是，如果找不到边匹配，对此条路径的所有左边顶点的顶标减d，所有右边顶点的顶标加d，其中，d为阈值常数。在上述任一方案中优选的是，所述其他身体部分包括左手、右手、左手手臂、右手手臂、左脚、左腿、右脚、右腿和头部中至少一种。在上述任一方案中优选的是，所述步骤4包括以下子步骤：步骤41：计算所述右手手臂与X、Y、Z的夹角；步骤42：计算所述右手手臂对相对X、Y、Z轴的距离；步骤43：综合所述夹角的角度和距离来判定手的位置，并保存所述右手的特征矩阵；步骤44：使用运动跟踪模块计算所述右手手臂的运动，对所述右手手臂的运动进行跟踪，在笛卡尔空间坐标系中建立运动轨迹，建立运动矢量；步骤45：综合所述运动矢量融合特点来判定所述右手的运动方式，并保存右手的运动特征矩阵。在上述任一方案本文档来自技高网...

【技术保护点】
1.一种监狱动态实时行为识别方法，包括获取模型的数据输入流，其特征在于，还包括以下步骤：/n步骤1：进行所述数据输入流的处理；/n步骤2；以人的脊椎与盆骨连接点为原点建立笛卡尔空间坐标系；/n步骤3：用身形识别模块对整个人的身形建模，并保存人体特征矩阵；/n步骤4：使用图像提取模块对其他身体部分的特征点提取并链接成段，建立在笛卡尔空间坐标系中，并保存相应部位的人体特征矩阵；/n步骤5：在笛卡尔空间坐标系中，人的身形的坐标确定后，识别出身形在坐标系的相对位置，并记录相对位置的特征矩阵；/n步骤6：将步骤3到步骤5中的所述特征矩阵与行为语义库相结合，从传统的提取底层物理特征提高到提取高层的语义特征。/n

【技术特征摘要】
1.一种监狱动态实时行为识别方法，包括获取模型的数据输入流，其特征在于，还包括以下步骤：
步骤1：进行所述数据输入流的处理；
步骤2；以人的脊椎与盆骨连接点为原点建立笛卡尔空间坐标系；
步骤3：用身形识别模块对整个人的身形建模，并保存人体特征矩阵；
步骤4：使用图像提取模块对其他身体部分的特征点提取并链接成段，建立在笛卡尔空间坐标系中，并保存相应部位的人体特征矩阵；
步骤5：在笛卡尔空间坐标系中，人的身形的坐标确定后，识别出身形在坐标系的相对位置，并记录相对位置的特征矩阵；
步骤6：将步骤3到步骤5中的所述特征矩阵与行为语义库相结合，从传统的提取底层物理特征提高到提取高层的语义特征。


2.如权利要求1所述的监狱动态实时行为识别方法，其特征在于，所述数据输入流为视频和/或图像。


3.如权利要求2所述的监狱动态实时行为识别方法，其特征在于，所述步骤1包括初步处理和隔帧提取处理。


4.如权利要求3所述的监狱动态实时行为识别方法，其特征在于，所述初步处理的方法为使用BM3D将输入的视频流中的噪声进行滤除。


5.如权利要求4所述的监狱动态实时行为识别方法，其特征在于，将视频用处理模块进行所述初步处理后，将视频进行所述隔帧提取处理。


6.如权利要求5所述的监狱动态实时行为识别方法，其特征在于，所述隔帧提取处理的方法为将摄像头提取的N帧画面提取成N/2帧的画面流，其中，N为正整数。


7.如权利要求6所述的监狱动态实时行为识别方法，其特征...

【专利技术属性】
技术研发人员：张洋，姚登峰，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京;11