一种基于视频分析的电梯门开关异常检测方法技术

一种基于视频分析的电梯门异常检测方法，首先，采用背景差分实时检测电梯门区域开关的情况，通过电梯门区域前景变化判断电梯门开关情况；其次，选定电梯门上的标志物作为判定电梯门是否正常关闭的参考依据，若偏移量超过阈值，则判定门开关异常；综合电梯门区域前景变化以及标志物位置变化综合判定电梯门开关异常，并及时预警。

An Abnormal Detection Method of Elevator Door Switch Based on Video Analysis

【技术实现步骤摘要】
一种基于视频分析的电梯门开关异常检测方法
本专利技术涉及一种基于视频分析的电梯门开关异常检测方法。
技术介绍
电梯是人们工作和生活中必不可少的交通工具，然而，随着电梯数量的快速增加以及人们生活节奏的逐步加快，电梯运行安全逐渐成为一个公众关注的社会性热点。充分利用电梯产生的各类数据，结合人工智能技术提高电梯的安全性已经成为学术界和工业界的一个重要课题。电梯监控视频数据是一类重要的数据源，蕴含了电梯时时刻刻的运行状态，为分析电梯状态提供了丰富的数据。在视频数据处理方面，郑健等(计算机系统应用,2017)提出了一种实时视频分析系统，可以通过kafka分发消息队列并通过流处理的方式提高视频效率；李海跃等(计算机应用研究，2017)提出了一种把视频转化为图片集后砍帧并放至分布式系统的方法，以加快对视频的处理速度；张洪等(计算机测量与控制，2017)提出了一种将视频帧差法与分布式框架结合的方法，用以快速检测车流量；叶锋等(计算机系统应用，2017)提出一种将Hog与Spark大数据框架相结合，并辅以RFID来实现车辆计数的方法；对于电梯视频分析框架方面，也已有多位学者进行了相关研究。王雨晴等(浙江大学，2017)提出了一种智能电梯监控系统，可以对电梯的乘客数、乘客身份、乘客行为异常、电梯遗落物等多个方面进行图像分析，结合机器学习与传统图像方法形成电梯异常的检测系统；顾懿超等(浙江大学，2017)提出了一种基于DSP的智能电梯监控视频处理算法，通过前景提取与跟踪算法检测门标识，从而确认电梯门开关的情况，并把它部署到DSP平台进行应用；刘莉等(新疆大学，2013)通过将电梯的硬件信号传输至BP神经网络从而开发出了基于机器学习的电梯故障预警系统；
技术实现思路
为了减少电梯门不能正常开关所导致的电梯故障发生的概率，本专利技术提出一种基于视频分析的电梯门开关异常检测方法，通过对电梯门开关状态的前景提取与对电梯门标志物的提取与跟踪，判断电梯门的实时开关情况；一种基于视频分析的电梯门开关异常检测方法，包括以下步骤：(1)基于背景差分的电梯门开关检测；首先，通过背景差分提取电梯门区域的前景变化，判断电梯门是否完全关闭，具体算法如下：输入：电梯视频数据输出：电梯门区域实时开关情况步骤：Step1:调取电梯摄像机的IP地址，将接收到的实时RTSP数据解析成为图片数据；Step2:调取图片数据生成对应的灰度图像；Step3:输入视频流第一帧，使用第一帧初始化前景与背景图像，并将其保存为背景图像缓存；Step4:获取视频流其余帧图像，得到当前帧图像灰度图，并将其转化为浮点数格式；Step5:获得缓存中的背景帧图像，并将其转化成浮点数格式；Step6:将当前帧与背景帧相减，通过阈值筛选得到差分后的前景图像并输出；Step7:复制前景图像并保存为新的背景图像；Step8:对电梯门区域的前景图像进行判断，当电梯门区域不再有图像变化且前景提取像素小于阈值，则判断得出此时电梯门已经关闭，此处的阈值根据实验结果得到；否则，则判断电梯门此时正在开关或尚未关紧；(2)基于目标跟踪的电梯门开关检测；(2.1)跟踪电梯门开关标志物选定电梯门定位标志物，使用KernelizedCorrelationFilter(KCF)跟踪算法对其进行跟踪，通过计算标志物的位置检测电梯门开关情况，标志物跟踪算法如下：输入：电梯视频数据输出：电梯门标志物实时位置信息步骤：Step1:选定电梯门定位标志物，如常见的警示牌，将标志物起始位置作为视频图像跟踪的参考位置；Step2:将起始参考位置设为目标检测Target的标准boxx；Step3:设置paddingboxx得到下一帧目标可能存在的预测区域；Step4:训练当前的paddingboxx得到目标检测分类器的正样本；Step5:将boxx循环位移得到负样本，并训练得到相应目标检测分类器；Step6:对接下来的一帧图像，同样对上一帧paddingbbox进行循环移位，对得到的样本bbox内的图像进行分类，选择响应最强的bbox作为当前帧目标所在的paddingbbox；Step7:根据当前帧paddingbbox与上一帧paddingbbox之间位置变化精确获得目标的位置变化并将其输出；Step8:获得当前帧目标精确位置后，按照当前paddingbbox进行循环移位得到负样本更新检测分类器，如此循环往复，实现目标的连续跟踪。(2.2)对跟踪对象进行自动修正在跟踪标志物的同时，由于电梯门的频繁开关与短时间内对标志物的遮挡，容易出现跟踪丢失的情况，因此，需要结合背景差分对跟踪目标作出实时修正，修正算法如下：输入：电梯门跟踪实时图像输出：修正后的电梯门跟踪图像步骤：Step1:通过背景差分检测电梯门标志物与前景变化判断当前是否属于正常关闭状态；Step2:若正常关闭，则对安全区内标志物的中心位置作出计算，判断当前偏移量；若电梯门正处于开启状态，则不做处理，正常检测；Step3:判断偏移量是否达到阈值，阈值设定为安全区以内初始位置偏移5～15个像素点，若超过则目标偏移，需要修正跟踪位置；Step4:若偏移量达到阈值，则将标志物跟踪位置重置为初始位置；若未达到阈值，则显示目标跟踪正常；(2.3)设定跟踪对象正常停留位置通过对电梯视频分析，设定电梯门标志物boxx的正常停留范围，当背景差分判断电梯门完全关闭时，记录此时标志物的位置作为电梯门标志物的初始位置，并取该位置周围1～2个像素作为标志物的安全区域；当标志物boxx进入安全区域时，判断电梯门已经关闭完全；如果boxx位置处于安全区域之外，则判断电梯门未完全关闭；(3)综合检测电梯门开关异常结合背景差分与目标检测两种方法综合检测电梯门开关是否存在异常：若电梯门区域的前景图像未达到差分像素阈值且标志物运行至安全区域内，则允许电梯运行；若前景图像的阈值超出正常值或标志物未进入安全区域，则电梯门未完全关闭，后台阻止电梯运行；若电梯门长时间处于未正常关闭状态，则发出预警。本专利技术的优点是：本专利技术利用视频分析技术对电梯视频数据进行分析，实时检测电梯门的开关情况，采用前景提取与目标跟踪算法相结合的方法，使得电梯监控可以自动检测电梯门是否开关正常，同时对电梯标志物跟踪算法进行优化，修正了目标丢失的问题，减少电梯门卡物引发的安全事故，保证了电梯环境的安全。附图说明图1是本专利技术的电梯视频分析环境概念图。图2是本专利技术方法的流程图。图3是本专利技术的电梯门前景提取效果图。图4是本专利技术的标志物坐标修正效果图。图5是本专利技术的标志物跟踪效果图。具体实施方式为了进一步说明本专利技术的具体实施方式，以某台电梯的监控视频为例，结合图1、图2、图3、图4、图5对本专利技术的具体实施方式做进一步说明，其中运行概念图如图1所示，监控范围应取电梯门上半部分以避免乘客遮挡标志物，系统总体框架如图2所示；应当理解，此处所描述的具体实施例仅仅用于解释本专利技术，并不限定于本专利技术，具体步骤如下：(1)基于背景差分的电梯门开关检测；通过背景差分提取电梯门区域的前景变化，判断电梯门是否完全关闭，具体实施时，根据实际电梯的摄像机IP地址，将实地接收到的实时RTSP数据解析成为图片帧数据作为数据源输入端，通过基于opencv的背景差分算法实时检测前后两帧本文档来自技高网...

【技术保护点】
1.一种基于视频分析的电梯门开关异常检测方法，包括以下步骤：(1)基于背景差分的电梯门开关检测；首先，通过背景差分提取电梯门区域的前景变化，判断电梯门是否完全关闭，具体算法如下：输入：电梯视频数据输出：电梯门区域实时开关情况步骤：Step1:调取电梯摄像机的IP地址，将接收到的实时RTSP数据解析成为图片数据；Step2:调取图片数据生成对应的灰度图像；Step3:输入视频流第一帧，使用第一帧初始化前景与背景图像，并将其保存为背景图像缓存；Step4:获取视频流其余帧图像，得到当前帧图像灰度图，并将其转化为浮点数格式；Step5:获得缓存中的背景帧图像，并将其转化成浮点数格式；Step6:将当前帧与背景帧相减，通过阈值筛选得到差分后的前景图像并输出；Step7:复制前景图像并保存为新的背景图像；Step8:对电梯门区域的前景图像进行判断，当电梯门区域不再有图像变化且前景提取像素小于阈值，则判断得出此时电梯门已经关闭，此处的阈值根据实验结果得到；否则，则判断电梯门此时正在开关或尚未关紧；(2)基于目标跟踪的电梯门开关检测；(2.1)跟踪电梯门开关标志物选定电梯门定位标志物，使用Kernelized Correlation Filter(KCF)跟踪算法对其进行跟踪，通过计算标志物的位置检测电梯门开关情况，标志物跟踪算法如下：输入：电梯视频数据输出：电梯门标志物实时位置信息步骤：StepS1:选定电梯门定位标志物，如常见的警示牌，将标志物起始位置作为视频图像跟踪的参考位置；StepS2:将起始参考位置设为目标检测Target的标准boxx；StepS3:设置padding boxx得到下一帧目标可能存在的预测区域；StepS4:训练当前的padding boxx得到目标检测分类器的正样本；StepS5:将boxx循环位移得到负样本，并训练得到相应目标检测分类器；StepS6:对接下来的一帧图像，同样对上一帧padding bbox进行循环移位，对得到的样本bbox内的图像进行分类，选择响应最强的bbox作为当前帧目标所在的padding bbox；StepS7:根据当前帧padding bbox与上一帧padding bbox之间位置变化精确获得目标的位置变化并将其输出；StepS8:获得当前帧目标精确位置后，按照当前padding bbox进行循环移位得到负样本更新检测分类器，如此循环往复，实现目标的连续跟踪。(2.2)对跟踪对象进行自动修正在跟踪标志物的同时，由于电梯门的频繁开关与短时间内对标志物的遮挡，容易出现跟踪丢失的情况，因此，需要结合背景差分对跟踪目标作出实时修正，修正算法如下：输入：电梯门跟踪实时图像输出：修正后的电梯门跟踪图像步骤：StepT1:通过背景差分检测电梯门标志物与前景变化判断当前是否属于正常关闭状态；StepT2:若正常关闭，则对安全区内标志物的中心位置作出计算，判断当前偏移量；若电梯门正处于开启状态，则不做处理，正常检测；StepT3:判断偏移量是否达到阈值，阈值设定为安全区以内初始位置偏移5～15个像素点，若超过则目标偏移，需要修正跟踪位置；StepT4:若偏移量达到阈值，则将标志物跟踪位置重置为初始位置；若未达到阈值，则显示目标跟踪正常；(2.3)设定跟踪对象正常停留位置通过对电梯视频分析，设定电梯门标志物boxx的正常停留范围，当背景差分判断电梯门完全关闭时，记录此时标志物的位置作为电梯门标志物的初始位置，并取该位置周围1～2个像素作为标志物的安全区域；当标志物boxx进入安全区域时，判断电梯门已经关闭完全；如果boxx位置处于安全区域之外，则判断电梯门未完全关闭；(3)综合检测电梯门开关异常结合背景差分与目标检测两种方法综合检测电梯门开关是否存在异常：若电梯门区域的前景图像未达到差分像素阈值且标志物运行至安全区域内，则允许电梯运行；若前景图像的阈值超出正常值或标志物未进入安全区域，则电梯门未完全关闭，后台阻止电梯运行；若电梯门长时间处于未正常关闭状态，则发出预警。...

【技术特征摘要】
1.一种基于视频分析的电梯门开关异常检测方法，包括以下步骤：(1)基于背景差分的电梯门开关检测；首先，通过背景差分提取电梯门区域的前景变化，判断电梯门是否完全关闭，具体算法如下：输入：电梯视频数据输出：电梯门区域实时开关情况步骤：Step1:调取电梯摄像机的IP地址，将接收到的实时RTSP数据解析成为图片数据；Step2:调取图片数据生成对应的灰度图像；Step3:输入视频流第一帧，使用第一帧初始化前景与背景图像，并将其保存为背景图像缓存；Step4:获取视频流其余帧图像，得到当前帧图像灰度图，并将其转化为浮点数格式；Step5:获得缓存中的背景帧图像，并将其转化成浮点数格式；Step6:将当前帧与背景帧相减，通过阈值筛选得到差分后的前景图像并输出；Step7:复制前景图像并保存为新的背景图像；Step8:对电梯门区域的前景图像进行判断，当电梯门区域不再有图像变化且前景提取像素小于阈值，则判断得出此时电梯门已经关闭，此处的阈值根据实验结果得到；否则，则判断电梯门此时正在开关或尚未关紧；(2)基于目标跟踪的电梯门开关检测；(2.1)跟踪电梯门开关标志物选定电梯门定位标志物，使用KernelizedCorrelationFilter(KCF)跟踪算法对其进行跟踪，通过计算标志物的位置检测电梯门开关情况，标志物跟踪算法如下：输入：电梯视频数据输出：电梯门标志物实时位置信息步骤：StepS1:选定电梯门定位标志物，如常见的警示牌，将标志物起始位置作为视频图像跟踪的参考位置；StepS2:将起始参考位置设为目标检测Target的标准boxx；StepS3:设置paddingboxx得到下一帧目标可能存在的预测区域；StepS4:训练当前的paddingboxx得到目标检测分类器的正样本；StepS5:将boxx循环位移得到负样本，并训练得到相应目标检测分类器；StepS6:对接下来的一帧图像，同样对上一帧paddingbbox进行循环移位，对得到的样本...

【专利技术属性】
技术研发人员：张元鸣，肖刚，虞家睿，陆佳炜，高飞，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33