一种公交车车门开闭状态检测的模型训练方法、检测方法、装置，及移动端设备制造方法及图纸

本发明专利技术公开了一种公交车车门开闭状态检测的模型训练方法、检测方法、装置，及移动端设备，其中模型训练方法包括步骤1，收集公交车门位置，在时间和位置上同步的RGB彩色图像和深度图像，形成图像组合；步骤2，将RGB彩色图像和深度图像进行融合，并使用融合后的图像作为分类神经网络的输入，训练神经网络直至收敛；步骤3，对分类神经网络增加深度预测分支结构，形成神经网络B，将RGB彩色图像作为神经网络B的输入，计算深度预测的损失，同时计算车门状态预测的损失，训练神经网络B直至损失收敛。通过融合使用TOF深度图像和RGB彩色图像数据，提高了模型的收敛速度和泛化能力。训练得到内嵌图像深度信息的神经网络模型，有效提升了公交车车门状态预测的准确率。车门状态预测的准确率。

【技术实现步骤摘要】
一种公交车车门开闭状态检测的模型训练方法、检测方法、装置，及移动端设备


[0001]本专利技术涉及计算机视觉和智能公交领域，尤其是公交车车门开闭状态检测方法，具体涉及一种公交车车门开闭状态检测的模型训练方法、检测方法、装置，及移动端设备。

技术介绍

[0002]有效精准的客流统计对公交的智能排班、智能调度、线网优化等有着非常重要的意义，客流统计的准确率往往依赖于公交开关门检测的准确率，当公交处于开门状态时检测到的上、下车客流才属于有效客流，站点客流统计功能的准确实现和公交车车门开闭状态的有效检测紧密相关。现有的公交车车门开闭状态的检测，常用的技术手段有采集车辆自身的开关门信号、在车门处安装门磁装置并采集门磁连通和断开的信号、采集车辆GPS位置判断车辆是否进站以及采集车门图像直接进行判断。
[0003]在实现本专利技术的过程中，专利技术人发现现有技术至少存在如下问题：
[0004]采集车辆自身的开关门信号：车载终端通过和车辆提供的通讯接口进行对接，获取到车辆的开关门信号，实现车门开闭状态的检测。但是在终端实际安装部署过程中，不同厂家不同型号的车辆，其接口的位置都存在差异，部署和调试困难，严重拖慢了终端安装部署的周期。
[0005]在车门处安装门磁装置并采集门磁连通和断开的信号：将门磁装置的两个部分分别安装在公交车车门和车门旁的立柱上，在实际安装部署中，在公交车上安装门磁装置需要在车门立柱和车门上开孔，为了保证门磁效果，对门磁的安装要求比较高，安装调试困难。在使用一段时候后，门磁检测的灵敏度会逐渐下降，故障率较高，严重增加了维护的成本。
[0006]采集车辆GPS位置判断车辆是否进站：当检测到车辆进入站点则判断车门当前处于开启状态，检测到车辆离站则判断车门当前处于关闭状态。这种间接判断车门开启关闭的方法，在实际使用中，存在较大的误差，对客流数据的采集产生比较大的影响。
[0007]采集车门图像直接进行判断：基于摄像头拍摄到的图片，采用图像处理算法，直接判断车门当前的开闭状态。直接采用图像处理的方法，容易受到外界光照、其它车辆和物体等因素的干扰，在车门开闭状态检测的准确性上很难得到保证，不易实现产业化。
[0008]TOF相机可以获取到深度图像，即相机有效拍摄范围内，各个物体距离相机的距离，同时由于其基于主动近红外测算距离的原理，其成像不易受到外界光线的干扰。对于相机下存在乘客的情况，基于TOF深度图像可以分析出乘客的头部位置，间接判断车门当前处于开启状态。但是，在实际客流较大的场景下，经常出现车门还未开，乘客就站在下车区域，即在摄像头下方位置的情况，还经常出现当车门打开后，乘客没有及时下车或没有乘客下车的情况，此时仅基于TOF图像，易出现开门状态检测提早或延迟，或不能正确判断出公交车车门状态的情况。
[0009]基于RGB彩色图像，对于摄像头下站有乘客、车门关闭的情况，以及车门开启但是
没有乘客的情况，均能够有比较好的判断。但RGB彩色图像容易受到外界光线的干扰，譬如，当车门处光线比较强时候，容易将车门关闭状态误判为车门开启的状态。

技术实现思路

[0010]为了克服现有技术的不足，本公开实施例提供了一种公交车车门开闭状态检测的模型训练方法、检测方法、装置，及移动端设备，合理融合TOF深度图像和彩色图像两者的优势，有效提升公交车车门状态判断的准确率。技术方案如下：
[0011]第一方面，提供了一种公交车车门开闭状态检测的模型训练方法，该方法包括如下步骤：
[0012]步骤1，在公交车车门处，收集时间和位置上同步的RGB彩色图像和深度图像，形成图像组合，并标注出对应的车门状态，形成训练数据集；所述车门状态包括开启和关闭；
[0013]步骤2，选用分类神经网络A，将RGB彩色图像和深度图像进行融合，并使用融合后的图像作为分类神经网络A的输入，预测车门的状态，通过预测值和真实值之间的分类损失，训练神经网络直至收敛；
[0014]步骤3，在步骤2的分类神经网络A结构基础之上，增加深度预测分支结构，形成神经网络B，将RGB彩色图像作为神经网络B的输入，预测RGB彩色图像各个像素所对应的深度值，同时预测RGB彩色图像对应的车门状态；计算深度预测的损失，即计算各个像素所预测的深度值和深度图像中获取到的真实深度值之间的距离，同时计算车门状态预测的损失，即计算预测状态值和真实状态值之间的分类损失，使用随机梯度下降优化策略，训练神经网络B直至损失收敛。
[0015]优选的，步骤1具体方法为：通过在公交车上安装车载终端，车载终端同时连接TOF摄像头和单目摄像头，预先收集公交车门位置的不同场景、不同时间段的图像数据集，在时间和位置上同步后，形成图像组合；标注出每个图像组合对应的车辆车门状态，形成训练数据集。
[0016]优选的，步骤2中选用分类神经网络A具体方法为：根据车载终端的计算资源和能力，选择算法复杂度相匹配的分类神经网络模型。
[0017]优选的，步骤2中所述将RGB彩色图像和深度图像进行融合，具体方法为：对数据集中的每一个图像组合，将RGB彩色图像和深度图像首先统一缩放到相同的尺寸，并将彩色图像和深度图像分别归一化到[0，1]的取值范围，对RGB三通道彩色图像，随机选择一个通道，替换成深度图像的数据，融合而成神经网络模型所需要的三通道图像。
[0018]优选的，步骤3中所述深度预测分支结构，具体是：采用特征金字塔的方式，融合分类神经网络不同层次的特征，并以最底层的融合结果作为各个像素深度的预测值。
[0019]优选的，在对神经网络B进行训练时，其权重参数的初始化值采用步骤2中的训练结果初始化分类部分的权重，深度预测分支部分的权重使用Xavier方法进行初始化。
[0020]优选的，深度预测的损失计算方法具体为：计算各个像素所预测的深度值和深度图像中获取到的真实深度值之间的L2距离，并将所有像素的L2距离进行累加求取平均值，计算得到深度预测损失值。
[0021]第二方面：提供了一种公交车车门开闭状态检测的方法，该方法包括：
[0022]通过公交车原有单目摄像头获取公交车门位置的RGB彩色图像；
[0023]根据所有可能的实现方式中任一项所述的一种公交车车门开闭状态检测的模型训练方法，训练得到的神经网络B，采用神经网络B中的分类神经网络A部分做开关门检测，将RGB彩色图像作为输入，直接预测出公交车车门开闭状态。
[0024]第三方面，本公开实施例提供了一种公交车车门开闭状态检测的装置，该装置包括训练模块和检测模块；
[0025]所述训练模块，用于执行所有可能的实现方式中任一项所述的一种公交车车门开闭状态检测的模型训练方法的步骤；
[0026]所述检测模块，用于执行所有可能的实现方式中任一项所述的一种公交车车门开闭状态检测的方法的步骤；
[0027]第四方面，本公开实施例提供了一种移动端设备，该移动端设备包括所有可能的实现方式中任一项所述一种公交车车门开闭状态检测的装置。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种公交车车门开闭状态检测的模型训练方法，其特征在于，该方法包括如下步骤：步骤1，在公交车车门处，收集在时间和位置上同步的RGB彩色图像和深度图像，形成图像组合，并标注出对应的车门状态，形成训练数据集；所述车门状态包括开启和关闭；步骤2，选用分类神经网络A，将RGB彩色图像和深度图像进行融合，并使用融合后的图像作为分类神经网络A的输入，预测车门的状态，通过预测值和真实值之间的分类损失，训练神经网络直至收敛；步骤3，在步骤2的分类神经网络A结构基础之上，增加深度预测分支结构，形成神经网络B，将RGB彩色图像作为神经网络B的输入，预测RGB彩色图像各个像素所对应的深度值，同时预测RGB彩色图像对应的车门状态；计算深度预测的损失，即计算各个像素所预测的深度值和深度图像中获取到的真实深度值之间的距离，同时计算车门状态预测的损失，即计算预测状态值和真实状态值之间的分类损失，使用随机梯度下降优化策略，训练神经网络B直至损失收敛。2.根据权利要求1所述的一种公交车车门开闭状态检测的模型训练方法，其特征在于，步骤1具体方法为：通过在公交车上安装车载终端，车载终端同时连接TOF摄像头和单目摄像头，预先收集公交车门位置的不同场景、不同时间段的图像数据集，在时间和位置上同步后，形成图像组合；标注出每个图像组合对应的车辆车门状态，形成训练数据集。3.根据权利要求2所述的一种公交车车门开闭状态检测的模型训练方法，其特征在于，步骤2中选用分类神经网络A具体方法为：根据车载终端的计算资源和能力，选择算法复杂度相匹配的分类神经网络模型。4.根据权利要求1-3任一项所述的一种公交车车门开闭状态检测的模型训练方法，其特征在于，步骤2中所述将RGB彩色图像和深度图像进行融合，具体方法为：对数据集中的每一个图像组合，将RGB彩色图像和深度图像首先统一缩放到相同的尺寸...

【专利技术属性】
技术研发人员：李军，周金明，
申请(专利权)人：南京行者易智能交通科技有限公司，
类型：发明
国别省市：