【技术实现步骤摘要】
基于机器视觉的乘客行为监控方法
本专利技术涉及图像处理及行为识别的
，尤其是指一种基于机器视觉的乘客行为监控方法。
技术介绍
智能视频监控系统具有全天候可靠监控、监控准确度高、响应处理速度快、视频资源多效使用等明显优势。随着近年来公共场所的安全问题越趋突出，建设平安城市的呼声越来越高，具有多种明显优势的智能视频监控系统越来越受到政府部门和城市居民的关注，因此，应用智能视频监控系统准确稳定地监控运动目标行为，及时发现安全问题具有重要意义，吸引众多学者对此进行相关研究。目前为止，国内针对手扶梯电梯应用场景的乘客行为监控方法大多为人工监控方法，但这种方法存在人力成本高、监控效果不稳定的弊端，因此，专利技术一种基于机器视觉的乘客行为监控方法，通过安装在手扶电梯上楼层板正上方的摄像头实时监控并采集手扶电梯区域图像，利用训练得到的支持向量机(SupportVectorMachine，SVM)人脸分类器从输入图像中实时准确地检测手扶电梯区域中的乘客人脸，再通过核相关滤波(KernelizedCorrelationFilter,KCF)人脸跟踪和一种改进的最近邻匹配方法匹配...
【技术保护点】
1.基于机器视觉的乘客行为监控方法，其特征在于：该方法检测并跟踪搭乘手扶电梯的乘客人脸目标，基于人脸目标信息进行行为监控，包括以下步骤：1)乘客搭乘手扶电梯视频图像采集；2)提取可变形组件模型DPM特征描述乘客人脸；3)利用支持向量机SVM对手扶电梯乘客人脸进行检测；4)利用核相关滤波KCF对手扶电梯乘客人脸进行跟踪；5)使用一种改进的最近邻匹配方法匹配人脸检测与跟踪结果；6)建立人脸目标检测强度模型，修正人脸检测结果；7)通过分析乘客检测强度、速度大小和速度方向，监控手扶电梯中乘客的行为。
【技术特征摘要】
1.基于机器视觉的乘客行为监控方法，其特征在于：该方法检测并跟踪搭乘手扶电梯的乘客人脸目标，基于人脸目标信息进行行为监控，包括以下步骤：1)乘客搭乘手扶电梯视频图像采集；2)提取可变形组件模型DPM特征描述乘客人脸；3)利用支持向量机SVM对手扶电梯乘客人脸进行检测；4)利用核相关滤波KCF对手扶电梯乘客人脸进行跟踪；5)使用一种改进的最近邻匹配方法匹配人脸检测与跟踪结果；6)建立人脸目标检测强度模型，修正人脸检测结果；7)通过分析乘客检测强度、速度大小和速度方向，监控手扶电梯中乘客的行为。2.根据权利要求1所述的基于机器视觉的乘客行为监控方法，其特征在于：在步骤1)中，采用USB广角摄像头从斜上方往下采集扶梯区域图像，以减少乘客脸部被遮挡的不良影响，摄像头倾斜安装在与手扶电梯楼层板水平且距离楼层板设定距离的支架上，倾斜角度与扶梯一致，摄像头方向朝向扶梯中部，使其拍摄范围覆盖手扶电梯的整个区域，且能够清楚地拍摄到搭乘手扶电梯的乘客。3.根据权利要求1所述的基于机器视觉的乘客行为监控方法，其特征在于：在步骤2)中，利用DPM特征描述乘客人脸，对搭乘手扶电梯的乘客人脸进行特征提取，包括以下步骤：2.1)标准化颜色空间对RGB图像每个颜色通道进行平方根Gamma压缩，Gamma压缩公式为：H(x,y)＝H(x,y)Gamma其中，Gamma为压缩因子，取Gamma值为0.5，H(x,y)为像素点(x,y)的像素值；2.2)计算图像每个像素点的梯度使用一维离散微分模板[-1，0,1]和[-1，0,1]T对图像做卷积运算，计算图像梯度，对于RGB图像，分别计算每个颜色通道的梯度，以范数最大者作为该点的梯度向量，手扶电梯图像中每个像素点H(x,y)的梯度是一个向量：其中，Gx(x,y)为像素点(x,y)在水平方向上的梯度，Gy(x,y)为像素点(x,y)在垂直方向上的梯度，分别为：梯度的幅值和方向分别为：其中，G(x,y)为梯度的幅值，为梯度的方向；2.3)提取整幅图像的DPM特征DPM在HOG的基础上进行改进，DPM在检测人脸的同时，还对五官进行检测，而HOG只检测人脸整体，所以DPM能够综合整体和局部的特征，使检测精度更高，DPM是可变形组件模型，由三部分组成：分别是一个粗糙覆盖整个目标的根滤波器，几个高分辨率的组件滤波器和组件滤波器相对于根滤波器的空间位置，建立人脸模型时，根滤波器用来捕获脸的边界这些粗糙信息，组件滤波器能够捕获眼镜、鼻子、嘴这些细节信息，DPM采用改进的HOG特征，也做作FHOG特征，其只保留HOG的细胞单元，而块则用其它的归一化操作代替，计算细胞单元里的像素的梯度，按照梯度方向符号敏感每隔20度划分一个bin，得到18维的特征向量，按照梯度方向符号不敏感每隔20度划分一个bin，得到9为的特征向量，将该细胞单元分别与左上角、右上角、左下角和右下角的细胞单元做归一化，得到4×18和4×9的特征矩阵，将矩阵每行每列的元素进行累加，最终得到32维的特征向量，DPM特征的漏检率与HOG一样，但是误检率没有；2.4)计算DPM响应图对于任意一张输入图像，提取其DPM特征图，然后将原始图像进行高斯金字塔上采样，然后提取其DPM特征图，对于原始图像的DPM特征图和训练好的8×8分辨率的根滤波器做卷积操作，从而得到根滤波器的响应图，对于2倍图像的DPM特征图，和训练好的4×4分辨率大小的组件滤波器做卷积操作，从而得到组件滤波器的响应图，然后对其精细高斯金字塔的下采样操作，这样根滤波器的响应图和组件滤波器的响应图就具有相同的分辨率，然后将两者进行加权平均，得到最终的DPM响应图，响应图中像素值的公式如下：其中，x0、y0、l0分别为锚点的横坐标、纵坐标和尺度，为根滤波器的响应分数，为组件滤波器的响应分数，λ为滤波器尺度偏差，b为不同滤波器组件之间的偏移系数，vi为锚点和理想检测点之间的偏移系数；组件滤波器的详细响应Di,l(x,y)得分公式如下：其中，x，y为训练的理想滤波器的位置，Ri,l(x+dx,y+dy)为组件滤波器的匹配得分，dx为横坐标偏差，dy为纵坐标偏差，di·φd(dx,dy)为组件的偏移损失得分，di为偏移损失系数，φd(dx,dy)为组件滤波器的锚点和组件滤波器的检测点之间的距离；2.5)滑动扫描图片检测乘客人脸设置扫描窗口大小为80*80，对原图像以五分之六的比率进行金字塔下采样，即每次采样缩小成上一层图像的五分之六，最下层为原图，往上逐层递减，构成多层的图像金字塔，当采样得到的图像小于扫描窗口时停止下采样，通过设置固定大小的扫描窗口和构造多层的图像金字塔，即可达到在不同空间尺度上检测人脸的目的。4.根据权利要求1所述的基于机器视觉的乘客行为监控方法，其特征在于：在步骤3)中，利用SVM对手扶电梯乘客人脸进行检测，包括以下步骤：3.1)寻找DPM特征滤波器的位置训练时，数据集中只标注了整个乘客人脸目标的位置，没有标注出DPM特征所需要的每个组件滤波器的位置，所以将组件的位置看做隐藏变量，使用SVM进行模型训练，训练时同时估计组件滤波器的位置和学习模型参数，利用动态规划和距离变换方法找到组件滤波器的最佳位置，然后保持组件滤波器位置不变，通过解决标准SVM问题通过凸二次规划最优化模型参数；3.2)利用非线性SVM分类器进行乘客人脸检测SVM是支持向量机，是在特征空间上间隔最大的线性分类器，学习策略是间隔最大化；SVM由简至繁分为3种模型，分别是线性可分支持向量机、线性支持向量机和非线性支持向量机，其中，线性可分支持向量机针对线性可分的训练数据，采用硬间隔最大化的策略，相对于感知机采用误分类最小的策略得到无穷多个分离超平面，线性可分支持向量机得到唯一的最优分离超平面，以最大化几何间隔作为目标函数，所有样本点到分离超平面的带符号距离不小于集合间隔为约束函数，并转换成函数间隔的表示形式，最后得到SVM原始问题，然后利用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，线性支持向量机针对近似线性可分的训练数据，近似线性可分样本中包含一些特异点，其函数间隔不满足大于等于1的约束条件，因此，在线性可分支持向量机的基础上，采用软间隔最大化策略，解决特异点导致的线性不可分问题，为每个样本点引入松弛变量，非线性支持向量机针对线性不可分的训练数据，在线性支持向量机的基础上，采用核技巧和软间隔最大化策略，核技巧使用核函数，使得在低维输入空间利用核函数学习非线性支持向量机，等价于在高维特征空间学习线性支持向量机，核函数表示输入样本在高维特征空间中特征向量的内积，最后，针对SVM凸二次规划问题的对偶问题，利用序列最小最优化算法进行求解，其原理是将原问题分解为多个小问题，使得每个小问题的解更接近于原问题的解，非线性支持向量机的对偶问题为：0≤αi≤C，i＝1,2,…,N其中，N为样本数，αi为拉格朗日乘子，α为拉格朗日乘子向量，该问题的最优解αi*可通过求二次优化问题求解，其中xi为第i个训练样本，是d维向量，yi是第i个训练样本的标签，+1代表正样本，-1代表负样本，C是一个常量超参数，C值越小，代表对错误分类样本的容忍度越大，反之，代表对错误分类样本的容忍度越小，是非线性变换函数，采用径向基RBF核函数表示：该核函数作为非线性支持向量机的核函数...
【专利技术属性】
技术研发人员：田联房，吴啟超，杜启亮，
申请(专利权)人：华南理工大学，华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。