一种基于视觉智能识别实现电梯场景检测的方法技术

本发明专利技术公开了一种基于视觉智能识别实现电梯场景检测的方法，包括如下步骤：S1基于摄像设备获取电梯内的视频数据，建立电梯轿厢内开/关门的参数模型；S2基于摄像设备采集现场电梯内的视频数据，根据参数模型判断当前电梯轿厢内门的状态；S3根据上述步骤的判断结果进行报警或者其他人为处理。行报警或者其他人为处理。行报警或者其他人为处理。

【技术实现步骤摘要】
一种基于视觉智能识别实现电梯场景检测的方法


[0001]本专利技术属于电梯检测
，尤其是一种基于视觉智能识别实现电梯场景检测的方法。

技术介绍

[0002]电梯运行的工况复杂，需要通过众多的数据传感器进行数据采集工作，如电梯轿厢内的人员活动状态、电梯的开关门过程、门缝状态、楼层数值信息、上下行方向等。而数量众多的传感器使得电梯维护阶段，工作人员的工作量大增，同时，极大的增加了电梯故障的发生概率。因此，多功能集成的数据采集设备是电梯数据收集领域的主要研究方向，比如，使用电梯轿厢内必备的摄像设备完成上述电梯轿厢内的人员活动状态、电梯的开关门过程、门缝状态、楼层数值信息、上下行方向等数据采集工作。

技术实现思路

[0003]为解决上述技术问题，本专利技术提供一种基于视觉智能识别实现电梯场景检测的方法，包括如下步骤：S1基于摄像设备获取电梯内的视频数据，建立电梯轿厢内开/关门的参数模型；S2基于摄像设备采集现场电梯内的视频数据，根据参数模型判断当前电梯轿厢内门的状态；S3根据上述步骤的判断结果进行报警或者其他人为处理。
[0004]作为对本专利技术所述的一种基于视觉智能识别实现电梯场景检测的方法的进一步改进，开/关门的参数模型如下：首先，建立基于mobilenet
‑
ssd模型端对端One
‑
Stage的深度神经网络，专门针对电梯开/关门过程分析而定制优化的图像智能识别算法；其次，依据识别算法完成开/关门识别。
[0005]作为对本专利技术所述的一种基于视觉智能识别实现电梯场景检测的方法的进一步改进，识别算法的制定步骤如下：收集不同电梯的开/关门样本；采用“开门正常过程”和“关门正常过程”局部标定标准对样本进行标注；对样本数据进行旋转、变色、变形数据增强；将上述步骤处理后的图片的80％样本作为训练集、20％样本作为测试集，将样本归一化为1920*1080大小，并且制作成LMDB数据库文件；启动Caffe训练框架，加载mobilenet
‑
ssd模型对LMDB文件训练，进行迁移学习；调优训练超参数、测试超参数、学习率、子集设置、迭代次数、迭代间隔参数；使用测试集对训练模型进行数据分类测试；对训练模型输出进行优化，使得目标检测的评估指标mAP大于0.75以上；模型训练完成，对模型接口进行封装并生产算法库加载到智能终端。
[0006]作为对本专利技术所述的一种基于视觉智能识别实现电梯场景检测的方法的进一步改进，上述收集不同电梯的开/关门样本的步骤中，开/关门样本包括不同场景、不同角度、不同距离、不同分辨率、不同时间的若干段视频。
[0007]作为对本专利技术所述的一种基于视觉智能识别实现电梯场景检测的方法的进一步改进，所述采用“开门正常过程”和“关门正常过程”局部标定标准对样本进行标注的步骤如下：基于电梯门做完一个开/关门动作的时间x，将收集的视频数据截成若干段内容，每段内
容至少包括一个电梯轿厢门的开/关门动作，每段视频的时间长度为x；以每段关于开/关门动作的视频内容为基础，将其处理为图像数据，每组图像数据至少包括4张图片，上述图片至少500张；采用“开门正常过程”和“关门正常过程”局部标定标准对样本进行标注，“开门正常过程”和“关门正常过程”之外的所有数据均为“电梯开/关门异常”。
[0008]作为对本专利技术所述的一种基于视觉智能识别实现电梯场景检测的方法的进一步改进，所述“开门正常过程”包括如下四张图片：1号等待开门状态，2号正在开门Ⅰ状态，3号正在开门Ⅱ状态，4号完全开门状态；所述“关门正常过程”包括如下四张图片：5号等待关门状态，6号正在关门Ⅰ状态，7号正在关门Ⅱ状态，8号完全关门状态。
[0009]作为对本专利技术所述的一种基于视觉智能识别实现电梯场景检测的方法的进一步改进，文件训练步骤如下：针对“开门正常过程”和“关门正常过程”的图片样本进行训练，如摄像设备记录到电梯门出现1号图片和2号图片的场景，则以1号图片出现的时间为原点进行计数，若在x时间内，持续记录到3号图片和4号图片的场景，则为“开门正常过程”；若在x时间内，摄像头记录的数据无法匹配到3号图片和4号图片的场景，则视为“电梯开/关门异常”；若摄像设备记录到电梯门出现5号图片和6号图片的场景，则以5号图片出现的时间为原点进行计数，若在x时间内，持续记录到7号图片和8号图片的场景，则为“关门正常过程”；若在x时间内，摄像头记录的数据无法匹配到3号图片和4号图片的场景，则视为“电梯开/关门异常”。
[0010]作为对本专利技术所述的一种基于视觉智能识别实现电梯场景检测的方法的进一步改进，训练集和测试集采取随机选择分组测试和按照编码排序抽取相结合的方式循环测试；所述随机分组方式：选择数据库中前80％，或者是后80％，以及中间80％，其他为20％的三种方式：所述按照编码排序的抽取方式：A、抽取奇数序列的前80％，或者后80％，以及中间80％，其他为20％的三种方式；B、抽取偶数序列的前80％，或者后80％，以及中间80％，其他为20％的三种方式；C、抽取每10个序列中的前80％、或者后80％，以及中间80％，其他为20％的三种方式。
[0011]作为对本专利技术所述的一种基于视觉智能识别实现电梯场景检测的方法的进一步改进，依据识别算法完成开/关门识别步骤如下：对高清监控的视频码流进行解码，获取RGB格式的视频图像帧；视频图像帧统一调整为1920*1080大小；对图像的每个像素进行正则化处理，对每一个像素的值乘以0.007843倍乘因子，使像素值归一化到[0,1]区间；将预处理的数据输入到开/关门过程识别算法One
‑
Stage神经网络模型，进行特征分类计算；视频图像帧分析后，输出目标分类为：开门过程正常或者关门过程正常，以及置信度和检测目标在图像中的坐标值；综合置信度、目标大小判断是否为开门、关门的图像，从而判断这帧视频图像是否为开门正常过程或是关门过程正常。
[0012]本专利技术基于视觉智能识别适用于垂直电梯轿厢运行状态监测，具有自适应场景、自学习的智能功能，在实际工作中，通过对该电梯的具体场景条件和环境来不断修正对应的预值以便适应具体的电梯环境，确保视觉智能识别从75％的准确度提升到无限接近100％准确度。
附图说明
[0013]图1为基于mobilenet
‑
ssd模型端对端One
‑
Stage的深度神经网络针对电梯开/关
门过程分析的图像智能识别算法流程图；
[0014]图2为开/关门过程检测流程图；
[0015]图3为本专利技术的视觉识别设备安装和自动调试流程应用图；
[0016]图4为本专利技术开门过程识别流程应用图；
[0017]图5为本专利技术关门过程识别流程应用图；
[0018]图6为门缝状态识别和处置流程应用图。
具体实施方式
[0019]实施例1、图1～6给出了一种基于视觉设备智能识别实现电梯场景的方法，其包括如下硬件：摄像模块、主控板(含智能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉智能识别实现电梯场景检测的方法，其特征在于：包括如下步骤：S1基于摄像设备获取电梯内的视频数据，建立电梯轿厢内开/关门的参数模型；S2基于摄像设备采集现场电梯内的视频数据，根据参数模型判断当前电梯轿厢内门的状态；S3根据上述步骤的判断结果进行报警或者其他人为处理。2.根据权利要求1给出的一种基于视觉智能识别实现电梯场景检测的方法，其特征在于：开/关门的参数模型如下：首先，建立基于mobilenet
‑
ssd模型端对端One
‑
Stage的深度神经网络，专门针对电梯开/关门过程分析而定制优化的图像智能识别算法；其次，依据识别算法完成开/关门识别。3.根据权利要求2给出的一种基于视觉智能识别实现电梯场景检测的方法，其特征在于：识别算法的制定步骤如下：收集不同电梯的开/关门样本；采用“开门正常过程”和“关门正常过程”局部标定标准对样本进行标注；对样本数据进行旋转、变色、变形数据增强；将上述步骤处理后的图片的80％样本作为训练集、20％样本作为测试集，将样本归一化为1920*1080大小，并且制作成LMDB数据库文件；启动Caffe训练框架，加载mobilenet
‑
ssd模型对LMDB文件训练，进行迁移学习；调优训练超参数、测试超参数、学习率、子集设置、迭代次数、迭代间隔参数；使用测试集对训练模型进行数据分类测试；对训练模型输出进行优化，使得目标检测的评估指标mAP大于0.75以上；模型训练完成，对模型接口进行封装并生产算法库加载到智能终端。4.根据权利要求3给出的一种基于视觉智能识别实现电梯场景检测的方法，其特征在于：上述收集不同电梯的开/关门样本的步骤中，开/关门样本包括不同场景、不同角度、不同距离、不同分辨率、不同时间的若干段视频。5.根据权利要求3给出的一种基于视觉智能识别实现电梯场景检测的方法，其特征在于：所述采用“开门正常过程”和“关门正常过程”局部标定标准对样本进行标注的步骤如下：基于电梯门做完一个开/关门动作的时间x，将收集的视频数据截成若干段内容，每段内容至少包括一个电梯轿厢门的开/关门动作，每段视频的时间长度为x；以每段关于开/关门动作的视频内容为基础，将其处理为图像数据，每组图像数据至少包括4张图片，上述图片至少500张；采用“开门正常过程”和“关门正常过程”局部标定标准对样本进行标注，“开门正常过程”和“关门正常过程”之外的所有数据均为“电梯开/关门异常”。6.根据权利要求3给出的一种基于视觉智能识...

【专利技术属性】
技术研发人员：叶剑，郑成富，曹义峰，
申请(专利权)人：英飞拓杭州信息系统技术有限公司，
类型：发明
国别省市：