一种基于高斯混合模型的扶梯滞留检测方法及系统技术方案

本发明专利技术涉及扶梯安全监控的技术领域，公开了一种基于高斯混合模型的扶梯滞留检测方法及系统，包括步骤：A）利用深度学习网络从视频图像中提取行人信息；B）利用机器学习方法构建分类模型，对实时检测到的行人信息进行分类筛选；C）构建高斯混合模型，获取当前帧的滞留目标图像；D）对滞留目标图像进行预处理，获得在扶梯出入口滞留检测区域内的图像；E）采用边缘检测算法获取候选滞留目标轮廓，进行候选滞留框面积判断；F）进行候选滞留框重叠判断，进行滞留报警。本发明专利技术对扶梯出入口处的物品及乘客滞留进行检测与实时报警，达到了对扶梯出入口区域滞留行为监测的目的，滞留检测准确率高。

A detection method and system of escalator detention based on Gaussian mixture model

The invention relates to the technical field of escalator safety monitoring, and discloses an escalator detention detection method and system based on Gaussian mixture model, including the steps of: a) extracting pedestrian information from video image by using depth learning network; b) constructing classification model by using machine learning method, classifying and screening the pedestrian information detected in real time; c) constructing Gaussian mixture model, obtaining Take the retention target image of the current frame; d) preprocess the retention target image to obtain the image in the retention detection area at the entrance and exit of the escalator; E) use the edge detection algorithm to obtain the contour of the candidate retention target and judge the area of the candidate retention frame; F) judge the overlap of the candidate retention frame and alarm the retention. The invention detects and gives a real-time alarm for the object and passenger detention at the entrance and exit of the escalator, achieves the purpose of monitoring the detention behavior at the entrance and exit of the escalator, and has a high accuracy rate of detention detection.

【技术实现步骤摘要】
一种基于高斯混合模型的扶梯滞留检测方法及系统
本专利技术涉及扶梯安全监控以及图像处理的
，尤其是涉及一种基于高斯混合模型的扶梯滞留检测方法及系统。
技术介绍
随着人们对快捷生活方式的不断追求，扶梯的使用越来越普遍，而扶梯的一些安全问题、顺畅运行问题越来越引起人们的关注，尤其是扶梯口位置，包括扶梯口客流是否拥堵、是否有乘客摔倒以及是否有大件物品滞留等。目前常用的做法是在扶梯口处安排工作人员进行看护，根据现场的情况进行相应的处理措施。人员看护不仅人工成本很大，而且很难做到对扶梯使用过程中客流情况及其行为的实时监测，从而很难在第一时间采取应对措施。因而，开发一种更智能化的扶梯运行监测方法很有必要，同时很多扶梯制造厂家也在积极关注和探索这一领域。例如，一种在中国专利文献上公开的“自动检测校车滞留乘客的检测系统及检测方法”，其公告号CN109484292A，该专利技术本方法将数据处理器与校车信号联动，第一和第二对射型光电传感器分别检测进出车厢和进出座位乘客；数据处理器按接收信号序列判定乘客上车或下车并实时统计乘客总数；若在到达终点时车内乘客数非零，数据处理器输出报警信号，若为零，数据处理器接收热红外人体感应器检测信号对车内滞留乘客进行复核，若无检测信号，确认车内无滞留乘客。该专利技术采用射型光电传感器，只能对乘客进行检测，无法对滞留物品进行检测。
技术实现思路
本专利技术是为了解决扶梯运行监测智能化的问题，提供一种基于高斯混合模型的扶梯滞留检测方法及系统。本专利技术利用机器学习方法构建分类模型，滤除了非滞留物的信息，从而减少了误检的情况，提高了滞留物检测的精确度，另外建立高斯混合模型对滞留行为进行识别和判断，并对滞留行为给出警报提示，滞留检测准确率高。为了实现上述目的，本专利技术采用以下技术方案：一种基于高斯混合模型的扶梯滞留检测方法，包括步骤：A)通过摄像头获取扶梯区域监控视频图像，利用深度学习网络从视频图像中提取行人信息，收集误检行人信息和真实行人信息，将误检行人信息记为负样本，将真实行人信息记为正样本；B)利用机器学习方法构建分类模型，利用负样本和正样本对分类模型进行训练，通过已训练好的分类模型对实时检测到的行人信息进行分类筛选，保留真实行人信息，去除误检行人信息；判断在扶梯出入口区域范围内是否存在行人信息，若是，则进入步骤C)，若否，则重复步骤A)；C)构建高斯混合模型，获得检测区域背景，利用背景减法获取背景差分图像，利用帧间差分法获取帧差法图像，将背景差分图像与帧差法图像进行异或处理，获取当前帧的滞留目标图像；D)对滞留目标图像进行预处理，对预处理后的滞留目标图像进行截取，获得在扶梯出入口滞留检测区域内的图像；E)采用边缘检测算法获取滞留检测区域内的候选滞留目标轮廓，设置面积阈值，获取各个候选滞留目标轮廓的最小外接矩形，将最小外接矩形面积大于面积阈值的各个候选滞留目标轮廓的最小外接矩形作为为候选滞留框，设置滞留计数器，将滞留计数器置1；F)设置重叠阈值和计数器阈值，判断上一帧图像的候选滞留框与当前帧图像的候选滞留框的重叠比例是否大于重叠阈值，若否，将滞留计数器置1，若是，将滞留计数器加1；判断滞留计数器是否大于计数器阈值，若是，则进行扶梯出入口物品或人员滞留报警，若否，则重复本步骤。本专利技术先利用深度学习网络从视频图像中提取行人信息，再利用机器学习方法构建分类模型，滤除缓慢变化的非滞留物的信息，从而减少了误检的情况。混合高斯模型使用多个高斯模型来表征视频图像中各个像素点的特征，在新一帧视频图像获得后实时更新混合高斯模型，用当前视频图像中的每个像素点与混合高斯模型相匹配，如果匹配成功则判定该点为背景点,否则为前景点。步骤E)中采用边缘检测算法获取滞留检测区域内的候选滞留目标轮廓，通过对候选滞留目标轮廓的最小外接矩形面积进行判断分析，从而选取出大物件滞留品。步骤F)中通过实时地比较上一帧图像的候选滞留框与当前帧图像的候选滞留框，不断地更新，判断滞留物品是否停留在滞留区域中，若是，则随着时间变化不断地累加滞留计数器，当滞留计数器的值超过计数器阈值时，也就是判断出滞留物品的滞留时间比较长，则进行滞留报警。扶梯区域监控视频图像包括扶梯入口图像和/或扶梯出口图像。步骤A)中深度学习网络为OpenPose、SSD、Yolo及Faster-CNN中的任一种。进一步地，机器学习方法为支持向量机。支持向量机是通过寻找一个分割超平面将样本集进行正确地分类，在样本集较少的情况下，分类效果比神经网络好。进一步地，步骤C)中利用在无人状态下的500帧视频图像构建高斯混合模型。通过构建高斯混合模型，也就是构建出一种可以表征“背景”的模型。在没有运动目标即无人状态下获取500帧视频图像，利用500帧视频图像构建高斯混合模型，消除光照变化、目标运动等诸多因素的影响。进一步地，步骤C)中，将高斯混合模型中的学习率参数设置为低学习率，在低学习率下利用背景减法获取背景差分图像Dn(x,y)，设定阈值T，按照式子逐个对背景差分图像Dn(x,y)中每个像素点进行二值化处理，得到背景差分二值化图像，背景差分二值化图像包含实时运动目标和相比背景图像多出的静止目标。高斯混合模型主要由方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制将直接影响到模型的稳定性、精确性和收敛性。由于本专利技术是对运动目标的背景提取进行建模，因此需要对高斯混合模型中方差和均值两个参数实时更新。为提高模型的学习能力，采用不同的学习率对均值和方差的更新，使用高斯混合模型构建检测区域背景，设置极低的学习率，利用背景减法将当前帧图像与背景图像进行差分运算，获得背景差分图像，在差分图像中提取运动目标，同时保证系统能够适应缓慢的光照变化。背景减法的运算过程首先利用高斯混合模型建立一幅背景图像帧B，记当前图像帧为fn，将背景帧和当前帧对应像素点的灰度值进行相减并取绝对值后得到差分图像Dn(x,y)。设定阈值T，按照式子逐个对像素点进行二值化处理，得到二值化图像，其中灰度值为255的点即为前景点，前景点包含实时运动目标和相比背景图像多出的静止目标，灰度值为0的点即为背景点。再对二值化图像进行连通性分析，最终可得到含有完整目标的图像。进一步地，步骤C)中将高斯混合模型中的学习率参数设置为高学习率，在高学习率下利用帧间差分法获取帧差法图像En(x,y)，设定阈值T2，按照式子逐个对帧差法图像En(x,y)中每个像素点进行二值化处理，得到帧差法二值化图像，帧差法二值化图像包含实时运动目标。摄像机采集的视频序列具有连续性的特点。如果场景内没有运动目标，则连续帧的变化很微弱，如果存在运动目标，则连续的帧和帧之间会有明显地变化。由于场景中的目标在运动，目标的影像在不同图像帧中的位置也会不同。利用帧间差分法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。进一步地，步本文档来自技高网...

【技术保护点】
1.一种基于高斯混合模型的扶梯滞留检测方法，其特征是，包括步骤：/nA)通过摄像头获取扶梯区域监控视频图像，利用深度学习网络从视频图像中提取行人信息，收集误检行人信息和真实行人信息，将误检行人信息记为负样本，将真实行人信息记为正样本；/nB)利用机器学习方法构建分类模型，利用负样本和正样本对分类模型进行训练，通过已训练好的分类模型对实时检测到的行人信息进行分类筛选，保留真实行人信息，去除误检行人信息；判断在扶梯出入口区域范围内是否存在行人信息，若是，则进入步骤C)，若否，则重复步骤A)；/nC)构建高斯混合模型，获得检测区域背景，利用背景减法获取背景差分图像，利用帧间差分法获取帧差法图像，将背景差分图像与帧差法图像进行异或处理，获取当前帧的滞留目标图像；/nD)对滞留目标图像进行预处理，对预处理后的滞留目标图像进行截取，获得在扶梯出入口滞留检测区域内的图像；/nE)采用边缘检测算法获取滞留检测区域内的候选滞留目标轮廓，设置面积阈值，获取各个候选滞留目标轮廓的最小外接矩形，将最小外接矩形面积大于面积阈值的各个候选滞留目标轮廓的最小外接矩形作为为候选滞留框，设置滞留计数器，将滞留计数器置1；/nF)设置重叠阈值和计数器阈值，判断上一帧图像的候选滞留框与当前帧图像的候选滞留框的重叠比例是否大于重叠阈值，若否，将滞留计数器置1，若是，将滞留计数器加1；/n判断滞留计数器是否大于计数器阈值，若是，则进行扶梯出入口物品或人员滞留报警，若否，则重复本步骤。/n...

【技术特征摘要】
1.一种基于高斯混合模型的扶梯滞留检测方法，其特征是，包括步骤：
A)通过摄像头获取扶梯区域监控视频图像，利用深度学习网络从视频图像中提取行人信息，收集误检行人信息和真实行人信息，将误检行人信息记为负样本，将真实行人信息记为正样本；
B)利用机器学习方法构建分类模型，利用负样本和正样本对分类模型进行训练，通过已训练好的分类模型对实时检测到的行人信息进行分类筛选，保留真实行人信息，去除误检行人信息；判断在扶梯出入口区域范围内是否存在行人信息，若是，则进入步骤C)，若否，则重复步骤A)；
C)构建高斯混合模型，获得检测区域背景，利用背景减法获取背景差分图像，利用帧间差分法获取帧差法图像，将背景差分图像与帧差法图像进行异或处理，获取当前帧的滞留目标图像；
D)对滞留目标图像进行预处理，对预处理后的滞留目标图像进行截取，获得在扶梯出入口滞留检测区域内的图像；
E)采用边缘检测算法获取滞留检测区域内的候选滞留目标轮廓，设置面积阈值，获取各个候选滞留目标轮廓的最小外接矩形，将最小外接矩形面积大于面积阈值的各个候选滞留目标轮廓的最小外接矩形作为为候选滞留框，设置滞留计数器，将滞留计数器置1；
F)设置重叠阈值和计数器阈值，判断上一帧图像的候选滞留框与当前帧图像的候选滞留框的重叠比例是否大于重叠阈值，若否，将滞留计数器置1，若是，将滞留计数器加1；
判断滞留计数器是否大于计数器阈值，若是，则进行扶梯出入口物品或人员滞留报警，若否，则重复本步骤。


2.根据权利要求1所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，所述扶梯区域监控视频图像包括扶梯入口图像和/或扶梯出口图像。


3.根据权利要求1或2所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，步骤A)中所述深度学习网络为OpenPose、SSD、Yolo及Faster-CNN中的任一种。


4.根据权利要求3所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，
所述机器学习方法为支持向量机。


5.根据权利要求1和4所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，步骤C)中利用在无人状态下的500帧视频图像构建高斯混合模型。


6.根据权利要求5所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，
步骤C)中，将高斯混合模型中的学习率参数设置为低学习率，在低学习率下利用背景减法获取背景差分图像Dn(x,y)，设定阈值T1，按照式子逐个对背景差分图像Dn(x,...

【专利技术属性】
技术研发人员：胡芬，陈南西，楼阳冰，
申请(专利权)人：杭州安脉盛智能技术有限公司，
类型：发明
国别省市：浙江;33