基于机器视觉的多人异常行为检测与识别方法技术

本发明专利技术公开了一种基于机器视觉的多人异常行为检测与识别方法，包括步骤：1)扶梯区域视频图像采集；2)提取梯度方向直方图HOG特征并利用Adaboost分类器对手扶电梯乘客人脸进行检测；3)利用卡尔曼滤波器对手扶电梯乘客人脸进行跟踪；4)利用OpenPose深度学习网络从图像中提取乘客骨架特征；5)基于乘客人脸相对位置对乘客进行遮挡判断，乘客发生遮挡时，基于运动特征对乘客进行异常行为检测，乘客没有遮挡时，基于骨架特征对乘客进行异常行为检测，并进一步利用时空图卷积模型识别异常行为的种类。通过本发明专利技术可以对扶梯上的多乘客目标进行跟踪，端到端、准确、实时地对扶梯上的多位乘客进行异常行为检测与识别。

【技术实现步骤摘要】
基于机器视觉的多人异常行为检测与识别方法
本专利技术涉及图像处理及行为识别的
，尤其是指一种基于机器视觉的多人异常行为检测与识别方法。
技术介绍
智能视频监控系统相对于人工监控，具有稳定可靠、廉价实用的特点，人工监控需要人力成本且监控效果不稳定，容易受人的状态影响，而智能视频监控系统可利用机器进行自动监控，节省人力成本且监控效果稳定，因此，应用智能视频监控系统对手扶电梯中的多位乘客进行异常行为检测，若发现异常行为，识别异常行为的种类，根据异常行为的危险等级控制扶梯的运行状态，及时制止安全事故的发生，具有重要意义，吸引众多学者对此进行相关研究。目前为止，国内针对手扶梯电梯应用场景的多人异常行为检测与识别方法研究较少，因此，专利技术一种基于机器视觉的多人异常行为检测与识别方法，通过安装在手扶电梯楼层板正上方的摄像头，利用训练得到的Adaboost人脸分类器从输入图像中实时准确地检测手扶电梯区域中的乘客人脸，再通过卡尔曼滤波器对乘客人脸进行跟踪得到乘客的运动特征，利用OpenPose深度学习网络从图像中提取乘客骨架特征，最后，对乘客进行遮挡判断，若乘客发生遮挡，则基于运动特征对乘客进行异常行为检测，若乘客乘客没有遮挡，则基于骨架特征对乘客进行异常行为检测，并进一步利用时空图卷积模型识别异常行为的种类。综合以上所述，利用机器学习和深度学习知识，来实现手扶电梯多人异常行为检测与识别，及时避免安全事故的发生，具有较高的社会价值和实际意义。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出了一种基于机器视觉的多人异常行为检测与识别方法，对扶梯上的多乘客目标进行跟踪，端到端、准确、实时地对扶梯上的多位乘客进行异常行为检测与识别。为实现上述目的，本专利技术所提供的技术方案为：基于机器视觉的多人异常行为检测与识别方法，包括以下步骤：1)扶梯区域视频图像采集；2)提取梯度方向直方图(HistogramofOrientedGradient,HOG)特征并利用Adaboost分类器对手扶电梯乘客人脸进行检测；3)利用卡尔曼滤波器对手扶电梯乘客人脸进行跟踪；4)利用OpenPose深度学习网络从图像中提取乘客骨架特征；5)基于乘客人脸相对位置对乘客进行遮挡判断；当乘客发生遮挡时，基于运动特征对乘客进行异常行为检测；当乘客没有遮挡时，基于骨架特征对乘客进行异常行为检测，并进一步利用时空图卷积模型识别异常行为的种类。在步骤1)中，采用1280*720图像分辨率大小的广角摄像头以斜上方往下的角度拍摄扶梯区域，采集监控视频图像，为了能够拍摄乘客人脸，使摄像头光轴与扶梯扶手带平行，拍摄角度覆盖整个扶梯运行区域，得到略带俯视角度的乘客人脸清晰图像。在步骤2)中，提取HOG特征并利用Adaboost分类器对手扶电梯乘客人脸进行检测，包括以下步骤：2.1)标准化颜色空间对每个颜色通道进行平方根Gamma压缩，RGB和LAB颜色空间的结果相似，但如果使用灰度空间，会有性能下降，Gamma压缩公式为：H(x,y)＝H(x,y)Gamma其中Gamma为压缩因子，取Gamma值为0.5，H(x,y)为像素点(x,y)的像素值；2.2)计算图像梯度使用简单的的[-1,0,1]模板及其转置对图像做卷积运算，计算图像梯度，计算梯度前不进行高斯平滑，增加高斯平滑会降低性能，对于带颜色的图像，分别计算每个颜色通道的梯度，以范数最大者作为该点的梯度向量，扶梯图像中像素点H(x,y)的梯度是一个向量：其中，Gx(x,y)为像素点(x,y)在水平方向上的梯度，Gy(x,y)为像素点(x,y)在垂直方向上的梯度，分别为：梯度的幅值和方向分别为：其中，G(x,y)为梯度的幅值，为梯度的方向；2.3)为每个细胞单元构建梯度方向直方图以8*8个像素点组合得到细胞单元，计算细胞单元内每个像素的梯度，为某个基于方向的bin投票，从而形成梯度方向直方图，直方图的方向bin在0度到180度，为了减少混叠现象，梯度投票需要进行方向和位置上的三线性插值，投票的权重根据梯度幅值本身进行计算，精细的方向编码对取得好的结果至关重要，然而空间采样可以做的相当粗糙；2.4)块内归一化梯度方向直方图把细胞单元组合成大的块，块内归一化梯度方向直方图，由于局部光照的变化，以及前景背景对比度的变化，使得梯度强度的变化范围非常大，这就需要对梯度做局部归一化，将细胞单元组成更大的块，然后针对每个块进行归一化，最终的描述子是块内的细胞单元的直方图构成的向量，块之间是有重叠的，归一化之后的块描述符就称之为HOG描述符，块归一化策略采用L2截断；2.5)收集HOG特征对检测窗口中所有重叠的块收集其HOG特征，并将它们结合成最终的特征向量供分类使用，检测窗口需要包含图像的上下文信息，采用的64*128大小的检测窗口在人体周围会产生大约16个像素的空白边缘，此空白边缘增加了有助于检测的上下文信息；2.6)利用Adaboost分类器对扶梯乘客人脸进行检测AdaBoost算法的基本思路是在同一个数据集上用多轮训练若干个弱分类器，并由它们组合成强分类器，弱分类器的分类准确率略大于随机猜测的分类准确率，弱分类器是一种能够处理加权数据的分类器，弱分类器的精确率和召回率均比强分类器差，利用简单的分类器作为弱分类器往往能够得到较好的效果，利用单层决策树作为弱分类器可以用来处理各种类型的数据，因此采用单层决策树作为弱分类器，单层决策树hj(x)为：其中，x为某一个样本的特征向量，xj为特性向量中第j个特征的值，θj为第j个特征的判定阈值，pj的取值为1或-1，用来决定判断的标准是大于阈值还是小于阈值，因此一个弱分类器取决于符号方向、维度的特征选择、判定阈值三个参数，以错误率最小的弱分类器作为该轮得到的最佳弱分类器，AdaBoost强分类器训练的基本思路是为数据集中的每一个训练样本赋予一个权重，并初始化为相等的值。首先在此数据集上训练出一个弱分类器，然后调整每个样本的权重，上一次分类正确的样本的权重会降低，分类错误的样本的权重会升高，在该数据集上再次训练弱分类器，当弱分类器的个数到达规定数量或错误率低于一定阈值则训练完成。在步骤3)中，利用卡尔曼滤波器对手扶电梯乘客人脸进行跟踪，具体如下：卡尔曼滤波器通过估计运动系统的状态变量进行迭代，最终收敛至一个最优自回归解，即状态变量的最优估计，能够预测下一时刻的目标位置，是一个十分高效的线性递归滤波器，在时域上求解状态空间，它能够从一段不完整以及有噪声干扰的信号中，预测系统的最优状态，它可以利用信号的当前测量值和先验状态的估计值，预测信号的最优值，对一个离散时间的控制系统，它的状态方程为：xk＝Axk-1+Buk+wk-1其中，xk表示控制系统在k时刻的状态，A是状态转移矩阵，代表从k-1时刻到k时刻的系统状态变化，uk则代表k时刻从外界到系统的输入变量，B是转换矩阵，用于控制外界输入量的增益，wk-1代表实际应用中的过程噪声；系统的观测方程为：zk＝Hxk+vk其中，zk表征控制系统在k时刻状态的观测值，H是测量矩阵，代表k时刻系统的状态值xk和观测值zk之间的关系，vk表示实际应用中的测量噪声；假设过程噪音和测量噪音不随系统的变化而改变，且是均值为0的白噪声，设过程噪音的协方差矩本文档来自技高网...

【技术保护点】
1.基于机器视觉的多人异常行为检测与识别方法，其特征在于：该方法对手扶电梯多乘客目标进行异常行为检测，识别异常行为的种类，包括以下步骤：1)扶梯区域视频图像采集；2)提取梯度方向直方图HOG特征并利用Adaboost分类器对手扶电梯乘客人脸进行检测；3)利用卡尔曼滤波器对手扶电梯乘客人脸进行跟踪；4)利用OpenPose深度学习网络从图像中提取乘客骨架特征；5)基于乘客人脸相对位置对乘客进行遮挡判断，当乘客发生遮挡时，基于运动特征对乘客进行异常行为检测，当乘客没有遮挡时，基于骨架特征对乘客进行异常行为检测，并进一步利用时空图卷积模型识别异常行为的种类。

【技术特征摘要】
1.基于机器视觉的多人异常行为检测与识别方法，其特征在于：该方法对手扶电梯多乘客目标进行异常行为检测，识别异常行为的种类，包括以下步骤：1)扶梯区域视频图像采集；2)提取梯度方向直方图HOG特征并利用Adaboost分类器对手扶电梯乘客人脸进行检测；3)利用卡尔曼滤波器对手扶电梯乘客人脸进行跟踪；4)利用OpenPose深度学习网络从图像中提取乘客骨架特征；5)基于乘客人脸相对位置对乘客进行遮挡判断，当乘客发生遮挡时，基于运动特征对乘客进行异常行为检测，当乘客没有遮挡时，基于骨架特征对乘客进行异常行为检测，并进一步利用时空图卷积模型识别异常行为的种类。2.根据权利要求1所述的基于机器视觉的多人异常行为检测与识别方法，其特征在于：在步骤1)中，采用1280*720图像分辨率大小的广角摄像头以斜上方往下的角度拍摄扶梯区域，采集监控视频图像，为了能够拍摄乘客人脸，使摄像头光轴与扶梯扶手带平行，拍摄角度覆盖整个扶梯运行区域，得到带俯视角度的乘客人脸清晰图像。3.根据权利要求1所述的基于机器视觉的多人异常行为检测与识别方法，其特征在于：在步骤2)中，提取HOG特征并利用Adaboost分类器对手扶电梯乘客人脸进行检测，包括以下步骤：2.1)标准化颜色空间对每个颜色通道进行平方根Gamma压缩，RGB和LAB颜色空间的结果相似，但如果使用灰度空间，会有性能下降，Gamma压缩公式为：H(x,y)＝H(x,y)Gamma其中Gamma为压缩因子，取Gamma值为0.5，H(x,y)为像素点(x,y)的像素值；2.2)计算图像梯度使用简单的[-1,0,1]模板及其转置对图像做卷积运算，计算图像梯度，计算梯度前不进行高斯平滑，增加高斯平滑会降低性能，对于带颜色的图像，分别计算每个颜色通道的梯度，以范数最大者作为该点的梯度向量，扶梯图像中像素点H(x,y)的梯度是一个向量：其中，Gx(x,y)为像素点(x,y)在水平方向上的梯度，Gy(x,y)为像素点(x,y)在垂直方向上的梯度，分别为：梯度的幅值和方向分别为：其中，G(x,y)为梯度的幅值，为梯度的方向；2.3)为每个细胞单元构建梯度方向直方图以8*8个像素点组合得到细胞单元，计算细胞单元内每个像素的梯度，为某个基于方向的bin投票，从而形成梯度方向直方图，直方图的方向bin在0度到180度，为了减少混叠现象，梯度投票需要进行方向和位置上的三线性插值，投票的权重根据梯度幅值本身进行计算，精细的方向编码对取得好的结果至关重要，然而空间采样可以做的相当粗糙；2.4)块内归一化梯度方向直方图把细胞单元组合成大的块，块内归一化梯度方向直方图，由于局部光照的变化，以及前景背景对比度的变化，使得梯度强度的变化范围非常大，这就需要对梯度做局部归一化，将细胞单元组成更大的块，然后针对每个块进行归一化，最终的描述子是块内的细胞单元的直方图构成的向量，块之间是有重叠的，归一化之后的块描述符就称之为HOG描述符，块归一化策略采用L2截断；2.5)收集HOG特征对检测窗口中所有重叠的块收集其HOG特征，并将它们结合成最终的特征向量供分类使用，检测窗口需要包含图像的上下文信息，采用的64*128大小的检测窗口在人体周围会产生大约16个像素的空白边缘，此空白边缘增加了有助于检测的上下文信息；2.6)利用Adaboost分类器对扶梯乘客人脸进行检测AdaBoost算法的基本思路是在同一个数据集上用多轮训练若干个弱分类器，并由它们组合成强分类器，弱分类器的分类准确率大于随机猜测的分类准确率，弱分类器是一种能够处理加权数据的分类器，弱分类器的精确率和召回率均比强分类器差，利用简单的分类器作为弱分类器往往能够得到较好的效果，利用单层决策树作为弱分类器能够用来处理各种类型的数据，因此采用单层决策树作为弱分类器，单层决策树hj(x)为：其中，x为某一个样本的特征向量，xj为特性向量中第j个特征的值，θj为第j个特征的判定阈值，pj的取值为1或-1，用来决定判断的标准是大于阈值还是小于阈值，因此一个弱分类器取决于符号方向、维度的特征选择、判定阈值三个参数，以错误率最小的弱分类器作为该轮得到的最佳弱分类器，AdaBoost强分类器训练的基本思路是为数据集中的每一个训练样本赋予一个权重，并初始化为相等的值；首先在此数据集上训练出一个弱分类器，然后调整每个样本的权重，上一次分类正确的样本的权重会降低，分类错误的样本的权重会升高，在该数据集上再次训练弱分类器，当弱分类器的个数到达规定数量或错误率低于一定阈值则训练完成。4.根据权利要求1所述的基于机器视觉的多人异常行为检测与识别方法，其特征在于：在步骤3)中，利用卡尔曼滤波器对手扶电梯乘客人脸进行跟踪，具体如下：卡尔曼滤波器通过估计运动系统的状态变量进行迭代，最终收敛至一个最优自回归解，即状态变量的最优估计，能够预测下一时刻的目标位置，是一个十分高效的线性递归滤波器，在时域上求解状态空间，它能够从一段不完整以及有噪声干扰的信号中，预测系统的最优状态，它能够利用信号的当前测量值和先验状态的估计值，预测信号的最优值，对一个离散时间的控制系统，它的状态方程为：xk＝Axk-1+Buk+wk-1其中，xk表示控制系统在k时刻的状态，A是状态转移矩阵，代表从k-1时刻到k时刻的系统状态变化，uk则代表k时刻从外界到系统的输入变量，B是转换矩阵，用于控制外界输入量的增益，wk-1代表实际应用中的过程噪声；系统的观测方程为：zk＝Hxk+vk其中，zk表征控制系统在k时刻状态的观测值，H是测量矩阵，代表k时刻系统的状态值xk和观测值zk之间的关系，vk表示实际应用中的测量噪声；假设过程噪音和测量噪音不随系统的变化而改变，且是均值为0的白噪声，设过程噪音的协方差矩阵为Qk，测量噪音的协方差矩阵为Rk，通过状态方程计算下一时刻的系统状态，状态方程为：其中，是上一时刻的最优化结果，是根据上一时刻的结果预测得到的系统状态值，更新系统当前的状态后，需要更新对应的协方差，协方差的更新方程为：Pk,k-1＝Ak,k-1Pk-1ATk,k-1+Qk-1其中，Pk-1为的协方差，Pk,k-1是的协方差，完成对系统状态的预测，然后计算卡尔曼滤波的增益，结合系统k时刻的观测值修正预测值，就能得到最优化的预测值，卡尔曼滤波增益Kk为：通过状态修正能够获得k时刻状态的最优化估计值更新对应的协方差Pk，不停地对卡尔曼滤波器进行迭代，协方差更新方程为：Pk＝Pk,k-1-KkHkPk,k-1总而言之，卡尔曼滤波器的本质就是一个不断预测并更新修正的过程。5.根据权利要求1所述的基于机器视觉的多人异常行为检测与识别方法，其特征在于：在步骤4)中，利用OpenPose深度学习网络从图像中提取乘客骨架特征，具体如下：相对于光流、外观和深度信息，骨架能够更好地描述乘客的行为信息，而利用OpenPose深度学习网络能够在光照不均匀、存在阴影的条件下准确、实时、稳定地提取乘客的二维人体骨架，目前的姿态估计方法分为自上而下和自下而上的方法，自上而下的方法需要先从图像中检测出每个人，然后对每个人分别进行姿态估计，提取该人的二维骨架，该方法受人体检测器的性能影响，且随着图像中人数的增加，算法的耗时会随之增加，与自上而下方法相对的是自下而上的方法，自下而上进行姿态估计不需要先对人体进行检测，算法耗时不受人的数量大小影响，但却忽略了行人整体与其所属骨架关节点之间的关联信息，需要采用别的方法将行人所属骨架关节点关联到行人整体，针...

【专利技术属性】
技术研发人员：田联房，吴啟超，杜启亮，
申请(专利权)人：华南理工大学，华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：广东,44