一种图像识别检测开关门的方法及装置制造方法及图纸

本发明专利技术公开了一种图像识别检测开关门的方法及装置，该方法包括如下具体步骤：步骤一，获取图像，通过公交车中摄像装置获取开关门图像或视频，并将图像或视频转换成对应的图像格式；步骤二，从步骤一中获取图像样本集，并对所述样本图像集进行开关门状态的人工分类，使用分类好的图像训练深度神经网络，得出深度神经网络开关门检测模型；步骤三，通过训练好的深度神经网络模型对所述获取图像进行分析，输出开关门状态的指令；步骤四，使用状态变换算法对当前的开关门状态和上述指令进行对比分析，通过连续数次的判断结果中是否存在超过一定比例阈值的需要转换状态，判断当前状态是否需要转换；步骤五，输出开关门状态转换信号。

【技术实现步骤摘要】
一种图像识别检测开关门的方法及装置
本专利技术涉及计算机视觉和智能公交领域，尤其是公交开关门智能检测的方法，具体涉及一种图像识别检测开关门的方法及装置。
技术介绍
近年来，公交系统是城市交通运输的重要组成部分，随着科学技术的发展，涌现出各种置于公交车内的智能终端，这些终端里面集成了许多算法，它通过计算机视觉技术进行一些计算，而相当一些算法需要根据公交车的开关门作为触发器，启动算法的运行。目前检测公交车开关门的主流方法是在公交车上安装门磁感应器，当车辆开关门时触发门磁感应器，进而通过发送开关门信号给智能终端，来启动算法的运行。但是使用门磁感应器存在许多缺点，在安装方面，安装门磁感应器需要在公交车内布线，在每个门上安装门磁感应器，将感应器的信号输入给智能终端，布线过程繁琐；在寿命方面，门磁感应器比较容易损坏，加上要通过线连接，中间有任何一个接线处接触不良或者断开，都会导致信号无法发送；在维修方面，维修门磁感应器需要检查各个环节，如果损坏要拆除更换坏的感应器或者线，费时费力；在成本方面，门磁感应器加上连接线，成本较高。开关门信号的发送是智能算法的开关，如果这个信号不能正确的触发，将直接导致算法运行错误，所以开关门信号至关重要。
技术实现思路
为了克服现有技术的不足，本专利技术的目的在于提供一种图像识别检测开关门的方法及装置，该方法对开关门识别率高，同时该方法借助于公交车内已经安装的摄像头，并不需要增加额外的硬件设备，节省了成本。为达到上述目的，本专利技术是通过以下的技术方案来实现的。步骤一，获取图像，通过公交车中摄像装置获取开关门图像，并将图像转换成对应的图像格式，其中摄像装置包括公交车内摄像头，进一步，所述获取的开关门图像分布在不同车型，不同时间，不同天气、不同摄像头位置和角度。步骤二，从步骤一中获取图像样本集，并对所述样本图像集进行开关门状态的人工分类，使用分类好的图像训练深度神经网络，得出深度神经网络开关门检测模型。所述深度神经网络模型包括预处理过程、若干卷积层、若干全连接层、softmax层，其中通过所述预处理过程，使得图片保持一定的结构，输入到所述卷积层中，所述卷积层提取图像的特征输入到所述全连接层，所述全连接层使用提取的图像特征对图像进行分类并输入到所述softmax层，所述softmax层是把全连接层的输出进行规范，以概率总和为1的形式对各个类别的预测概率进行计算。步骤三，从摄像装置获取一帧图像后，通过程序将图像转换成相应的图像格式，通过训练好的深度神经网络模型对所述获取图像进行分析，输出开关门状态的指令。步骤四，为了避免神经网络判断图像会有假景的存在，所以不能以一次的状态指令就转换当前的状态；其中所述状态包换四种情况：开门状态，开到关转换状态、关门状态、关到开转换状态，其中开到关转换状态和关到开转换状态统称为转换状态。使用状态变换算法对当前的开关门状态和上述指令进行对比分析，通过连续数次的判断结果中是否存在超过一定比例阈值的需要转换状态，判断当前状态是否需要转换；优选的，当所述连续数次大于4次，当超过55%的判断结果是需要转换状态时，当前的开关门状态模式为转换状态，例如如果连续的7次的判断结果中有4次都是需要转换状态，则当前的状态模式为状态转换状态。步骤五，输出状态转换信号。优选的，输出方式可以通过计算机可读取方式发送，如TCP协议、串口等方式，上述方法可发送到软件程序、车载计算机平台、车载智能终端上、服务器上等。本专利技术还提供了一种图像识别检测开关门的装置，包含获取单元、开关门检测单元、判断单元、输出单元，以上单元依次按顺序电连接；所述获取单元，用于获取图像，通过公交车中摄像装置获取开关门图像或视频，并将图像或视频转换成对应的图像格式；所述获取的开关门图像分布在不同车型，不同时间，不同摄像头位置和角度。所述开关门检测单元，用于对从获取单元获取的图像样本集进行开关门状态的人工分类，再使用分类好的图像训练深度神经网络，得出深度神经网络开关门检测模型，通过训练好的深度神经网络模型对所述获取图像进行分析，输出开关门状态的指令；所述判断单元，用于通过使用状态变换算法对当前的开关门状态和上述指令进行对比分析，通过连续数次的判断结果中是否存在超过一定比例阈值的需要转换状态，判断当前状态是否需要转换；当所述连续数次大于4次，当超过55%的判断结果是需要转换状态时，当前的开关门状态模式为转换状态，例如如果连续的7次的判断结果中有4次都是需要转换状态，则当前的状态模式为状态转换状态。所述输出单元，输出开关门状态转换信号。输出方式可以通过计算机可读取方式发送，如TCP协议、串口等方式，上述方法可植入于软件程序、车载计算机平台、车载智能终端上、服务器上等。与现有技术相比，本专利技术具有如下有益效果：对开关门识别率高，目前开关门识别率可以达到99%，通过后期的不断训练，识别率会接近百分之百；同时该方法借助于公交车内已经安装的摄像头，并不需要增加额外的硬件设备，使用寿命高，节省了成本。附图说明图1为本专利技术的图像识别检测开关门方法流程图。图2为本专利技术的开关门检测模型训练示意图。图3为本专利技术的图像识别检测开关门装置示意图。图4为本专利技术一实施例的深度神经网络结构示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步的详细说明，目的是使得本领域的技术人员对本专利技术的构思、技术方案有更完整、准确和深入的理解。本专利技术技术采用计算机视觉技术，通过深度神经网络，用摄像头拍摄公交车上开关门图片，通过状态变换算法进一步识别出开关门状态，作为开关门触发器，并发送输出信号。附图1为本专利技术的图像识别检测开关门方法流程图，附图2为开关门检测模型训练示意图，结合这两幅图，该方法主要包括以下步骤：步骤一，获取图像，通过公交车中已有的摄像头或者重新部署摄像头，摄像头安装在公交车车门上方，为避免遮挡的影响，摄像头的朝向与垂直方向的夹角应小于45度，摄像头镜头的焦距一般应小于2.8mm，摄像头图像的中间位置需要对齐车门门缝。获取开关门图像或者视频，并将图像或者视频转换成rgb24格式，大小为320*288，作为深度神经网络模型的输入。步骤二，获取分布在不同车型，不同时间，不同天气、不同摄像头位置和角度的已有的开关门图像，作为对深度神经网络进行训练的样本图像集，对所述样本图像集进行开关门状态的人工分类，使用分类好的图像训练深度神经网络，得出深度神经网络开关门检测模型。步骤三，从摄像装置获取一帧图像后，通过程序将图像转换成并将图像或者视频转换成rgb24格式，大小为320*288，通过训练好的深度神经网络模型对所述获取图像进行分析，输出开关门状态的指令；深度神经网络结构如图4所示。步骤四，为了避免神经网络判断图像会有假景的存在，所以不能以一次的状态指令就转换当前的状态；其中所述状态包换四种情况：开门状态，开到关转换状态、关门状态、关到开转换状态，其中开到关转换状态和关到开转换状态统称为转换状态。使用状态变换算法对当前的开关门状态和上述指令进行对比分析，通过连续数次的判断结果中是否存在超过一定比例阈值的需要转换状态，判断当前状态是否需要转换；这里选用连续的7次的判断结果中有4次都是需要转换状态，则当前的状态模式为状态转换状态，当然如果判断次数不足7次时，可满足有4本文档来自技高网...

【技术保护点】
1.一种图像识别检测开关门的方法，其特征在于，包括如下具体步骤：步骤一，获取图像，通过公交车中摄像装置获取开关门图像或视频，并将图像或视频转换成对应的图像格式；步骤二，从步骤一中获取图像样本集，并对所述样本图像集进行开关门状态的人工分类，使用分类好的图像训练深度神经网络，得出深度神经网络开关门检测模型；步骤三，通过训练好的深度神经网络模型对所述获取图像进行分析，输出开关门状态的指令；步骤四，使用状态变换算法对当前的开关门状态和上述指令进行对比分析，通过连续数次的判断结果中是否存在超过一定比例阈值的需要转换状态，判断当前状态是否需要转换；步骤五，输出开关门状态转换信号。

【技术特征摘要】
1.一种图像识别检测开关门的方法，其特征在于，包括如下具体步骤：步骤一，获取图像，通过公交车中摄像装置获取开关门图像或视频，并将图像或视频转换成对应的图像格式；步骤二，从步骤一中获取图像样本集，并对所述样本图像集进行开关门状态的人工分类，使用分类好的图像训练深度神经网络，得出深度神经网络开关门检测模型；步骤三，通过训练好的深度神经网络模型对所述获取图像进行分析，输出开关门状态的指令；步骤四，使用状态变换算法对当前的开关门状态和上述指令进行对比分析，通过连续数次的判断结果中是否存在超过一定比例阈值的需要转换状态，判断当前状态是否需要转换；步骤五，输出开关门状态转换信号。2.根据权利要求1所述的一种图像识别检测开关门的方法，其特征在于，步骤二中所述样本图像集中的图像包含了在不同车型，不同时间，不同天气、不同摄像头位置和角度的图像。3.根据权利要求1所述的一种图像识别检测开关门的方法，其特征在于，所述输出方式可以通过计算机可读取方式发送。4.根据权利要求1所述的一种图像识别检测开关门的方法，其特征在于，所述深度神经网络模型包括预处理过程、若干卷积层、若干全连接层、softmax层，其中通过所述预处理过程，使得图片保持一定的结构，输入到所述卷积层中，所述卷积层提取图像的特征输入到所述全连接层，所述全连接层使用提取的图像特征对图像进行分类并输入到所述softmax层，所述softmax层是把全连接层的输出进行规范，以概率总和为1的形式对各个类别的预测概率进行计算。5.根据权利要求1-4所述的任一种图像识别检测开关门的方法，其特征在于，步骤四中...

【专利技术属性】
技术研发人员：林坚，李军，王乾宇，曹海涛，周金明，周宇，
申请(专利权)人：南京行者易智能交通科技有限公司，
类型：发明
国别省市：江苏,32