基于卷积神经网络的公交车内拥挤状态监测方法技术

本发明专利技术公开了一种基于卷积神经网络的公交车内拥挤状态监测方法，其实现的步骤为：1、制定图像标注准则；2、对采集的图像按照步骤1中的标注准则完成数据标注，并按照8:2划分为训练数据集和测试数据集；3、对训练数据集进行图像处理得到扩充后的训练数据集；4、设计基于卷积神经网络的公交车内拥挤状态监测模型。5、利用步骤3得到的扩充后的训练数据集对步骤4中设计的拥挤状态监测模型进行训练参数优化得到拥挤状态监测器；6、利用步骤2中得到的测试数据集对拥挤状态监测器进行测试。本发明专利技术在保证状态判定准确率的情况下，通过向后端服务器回传当前车辆的照片即可完成状态监测判定，利用车内现有的摄像头即可完成拥挤状态监测判定。

【技术实现步骤摘要】
基于卷积神经网络的公交车内拥挤状态监测方法
本专利技术涉及公交系统管理和电子信息领域，尤其涉及一种基于卷积神经网络的公交车内拥挤状态监测方法。
技术介绍
受生物视觉信息处理过程启发演化而来的卷积神经网络，卷积神经网络的基本单元之间的连接模式类似于动物的视觉皮层组织，使得卷积神经网络模型具备了处理复杂信息的能力。得益于卷积神经网络模型的优化发展，近年来推动人脸识别、自动驾驶、语音视频等领域有了长足的发展。随着城市人口的逐年增多，公交车内拥挤状态已是生活常态，交通运输管理部门需要更加精准快捷的手段完成公交车的调度任务。因此，及时的给交通运输管理部门提供准确的车内拥挤状态信息，是完成合理调度的前提条件。现有的公交车内拥挤监测系统是通过统计公交车在每个站点停靠时上下车人数来完成拥挤判定。该方法对上下车人数的统计需要假设，目标背景比较单一，其首先利用基于Haar-like特征的AdaBoost自适应算法训练出级联分类器，级联分类器用于监测乘客人头；然后基于经验数据画出目标移动的“九宫格”布局，并与哈希表相结合演化出基于哈希表目标追踪算法；最后通过对识别目标辨别出入方向，完成上下车人数的统计。由此可见，该方法需要对目标进行追踪从而辨别乘客的上下车状态，为了保证目标跟踪状态不会丢失目标，需要将每个站点的视频数据送回后端服务器完成计算，或者，在公交车上加装高性能的计算设备。若将大量的视频传送给后端服务器，就会对后端服务器的性能提出较高要求，若加装高性能的计算设备，也会给设备安装增加成本。此外，该方法需要在公交车的前后门处加装高清摄像头，无形中增加了安装成本。
技术实现思路
本专利技术的目的在于针对现有公交车内拥挤状态鉴定方法的不足，提出了一种简单有效的基于卷积神经网络的公交车内拥挤状态监测方法，保证了状态判定准确率的情况下，避免了现有方法对视频传输的高要求，通过向后端服务器回传当前车辆的照片即可完成状态监测判定，并且不需要额外安装摄像头，利用车内现有的摄像头即可完成拥挤状态监测判定。实现本专利技术目的的技术方案如下：基于卷积神经网络的公交车内拥挤状态监测方法，包括以下步骤：步骤一、使用车内现有的摄像头实时采集车内图像；步骤二、将所述步骤一实时采集的车内图像传输至监控系统，步骤三、将当前车内图像输入监控系统的拥挤状态监测模型，所述拥挤状态监测模型是基于卷积神经网络设计并训练的，所述拥挤状态监测模型输出拥挤状态的判定结果；其中，所述拥挤状态监测模型判定拥挤状态的准则为：符合以下全部条件，所述拥挤状态监测模型判定拥挤状态为“拥挤的”：a)抵消可见空余座位后，全车站立乘客数量≥10人；b)因站立乘客遮挡，全车无可见车厢地板，但是，因透视效应，虽无可见车厢地板，但推断实际存在可见车厢地板，不属于此类；符合以下全部条件，所述拥挤状态监测模型判定拥挤状态为“适中的”：a)抵消可见空余座位后，全车站立乘客数量≤5人；b)因站立乘客遮挡不完全，全车有可见车厢地板；或者，因为透视效应，虽无可见车厢地板，但推断实际存在可见车厢地板；符合以下全部条件，所述拥挤状态监测模型判定拥挤状态为“有空座位的”：既不符合判定为“适中的”的全部条件，也不符合判定为“拥挤的”的全部条件。本专利技术中的透视效应，是指利用摄像头拍摄的图像，近大远小，近宽远窄，近实远虚。作为本专利技术的进一步改进，当前车内图像输入拥挤状态监测模型后，按照先判定“拥挤的”、再判定“适中的”、最后判定“有空座位的”的顺序，判定正确则不再继续执行判定。作为本专利技术的进一步改进，所述拥挤状态监测模型表示为如下形式：CSMM=[I,C,R,DW1,DW2,DW3,DW4,DW5,DW6,AP,FC,L]其中，符号“[]”表示拥挤状态监测模型按照括号内的计算层顺序构建而成，I表示数据输入层，C表示普通卷积层，R表示激活函数层；DW1-DW6表示通道分离卷积层，AP表示平均池化层；FC表示全连接层，L表示损失函数层，得到状态判定的结果。作为本专利技术的进一步改进，所述普通卷积层由32个大小为3*3的卷积核构成,并包含了批归一化层。作为本专利技术的进一步改进，所述全连接层的参数为512*3。作为本专利技术的进一步改进，通道分离卷积层的表示形式为：DW=[DC,BN,R,PC,BN,R]；所述通道分离卷积层由空间卷积层DC、批归一化层BN，激活函数层R、融合卷积层PC、批归一化层BN、激活函数层R依次联合构成，空间卷积层DC是由大小为3*3的卷积核构成，融合卷积层PC由大小为1*1的卷积核构成。作为本专利技术的进一步改进，所述拥挤状态监测模型设计好之后需进行训练，所述训练的具体过程是：a）采集N张图片，N＞10，按照判定拥挤状态的准则标注N张图片的拥挤状态；b）将全部标注好的N张图片按照8:2的比例划分为训练数据集和测试数据集；c）扩充训练数据集，利用扩充的训练数据集训练拥挤状态监测模型。作为本专利技术的进一步改进，所述扩充训练数据集的方法为：（c11）通过随机水平镜像旋转图片，模拟摄像头安装位置不一致的工况；（c12）通过随机色彩抖动处理图片，模拟车内光照变化的工况；（c13）通过调整图像压缩率处理图像，来模拟车内摄像头型号不一致的工况；（c14）通过光照模拟函数处理图像，来模拟全天各种时段的工况；（c15）通过对色彩通道进行数值调整来模拟多种相机的成像效果，来模拟车内摄像头不一致的工况；（c16）通过对输入图像随机进行灰度化处理，来降低相机感光效果不易识别影响；（c17）通过对输入图像的归一化处理，降低成像噪声对监测模型的影响；（c18）通过高斯滤波对图像处理，降低图像噪声对监测模型的影响。作为本专利技术的进一步改进，所述训练拥挤状态监测模型的方法为：（c21）利用扩充后的训练数据集作为拥挤状态监测模型CSMM的输入，从全连接层FC的输出得到CSMM的判定结果；（c22）将步骤（c21）中的输出结果和输入图像的对应标注送入损失函数层L中计算得到损失数值；（c23）通过步骤（c22）中的标记，使用随机梯度下降法对CSMM中的参数进行更新迭代；（c24）判断当前的迭代次数是否到达预设的学习率调整点，到达预设调整点时，对学习率进行调整后返回步骤（c21）继续模型训练；（c25）当迭代次数达到最大设定值时，则停止迭代得到拥挤状态监测器CSMT。作为本专利技术的进一步改进，所述拥挤状态监测模型在训练好之后还需进行测试，所述拥挤状态监测模型测试的方法为：（1）将标注好的所述测试数据集输入到拥挤状态监测器CSMT中，从全连接层FC中得到对应的输出判定结果output；（2）将判定结果output和测试数据对应的标注文件比对计算得到当前拥挤状态监测器的准确率。与现有技术相比，本专利技术的有益效果是：1、本专利技术保证了状态判定准确率的情况下，避免本文档来自技高网...

【技术保护点】
1.基于卷积神经网络的公交车内拥挤状态监测方法，其特征在于，包括以下步骤：/n步骤一、使用车内现有的摄像头实时采集车内图像；/n步骤二、将所述步骤一实时采集的车内图像传输至监控系统，/n步骤三、将当前车内图像输入监控系统的拥挤状态监测模型，所述拥挤状态监测模型是基于卷积神经网络设计并训练的，所述拥挤状态监测模型输出拥挤状态的判定结果；/n其中，所述拥挤状态监测模型判定拥挤状态的准则为：/n符合以下全部条件，所述拥挤状态监测模型判定拥挤状态为“拥挤的”：a)抵消可见空余座位后，全车站立乘客数量≥10人；b)因站立乘客遮挡，全车无可见车厢地板，但是，因透视效应，虽无可见车厢地板，但推断实际存在可见车厢地板，不属于此类；/n符合以下全部条件，所述拥挤状态监测模型判定拥挤状态为“正常的”：a)抵消可见空余座位后，全车站立乘客数量≤5人；b)因站立乘客遮挡不完全，全车有可见车厢地板；或者，因透视效应，虽无可见车厢地板，但推断实际存在可见车厢地板；/n符合以下全部条件，所述拥挤状态监测模型判定拥挤状态为“有空座位的”：既不符合判定为“正常的”的全部条件，也不符合判定为“拥挤的”的全部条件。/n

【技术特征摘要】
1.基于卷积神经网络的公交车内拥挤状态监测方法，其特征在于，包括以下步骤：
步骤一、使用车内现有的摄像头实时采集车内图像；
步骤二、将所述步骤一实时采集的车内图像传输至监控系统，
步骤三、将当前车内图像输入监控系统的拥挤状态监测模型，所述拥挤状态监测模型是基于卷积神经网络设计并训练的，所述拥挤状态监测模型输出拥挤状态的判定结果；
其中，所述拥挤状态监测模型判定拥挤状态的准则为：
符合以下全部条件，所述拥挤状态监测模型判定拥挤状态为“拥挤的”：a)抵消可见空余座位后，全车站立乘客数量≥10人；b)因站立乘客遮挡，全车无可见车厢地板，但是，因透视效应，虽无可见车厢地板，但推断实际存在可见车厢地板，不属于此类；
符合以下全部条件，所述拥挤状态监测模型判定拥挤状态为“正常的”：a)抵消可见空余座位后，全车站立乘客数量≤5人；b)因站立乘客遮挡不完全，全车有可见车厢地板；或者，因透视效应，虽无可见车厢地板，但推断实际存在可见车厢地板；
符合以下全部条件，所述拥挤状态监测模型判定拥挤状态为“有空座位的”：既不符合判定为“正常的”的全部条件，也不符合判定为“拥挤的”的全部条件。


2.根据权利要求1所述的公交车内拥挤状态监测方法，其特征在于，当前车内图像输入拥挤状态监测模型后，按照先判定“拥挤的”、再判定“适中的”、最后判定“有空座位的”的顺序，判定正确则不再继续执行判定。


3.根据权利要求1所述的公交车内拥挤状态监测方法，其特征在于，所述拥挤状态监测模型表示为如下形式：
CSMM=[I,C,R,DW1,DW2,DW3,DW4,DW5,DW6,AP,FC,L]
其中，符号“[]”表示拥挤状态监测模型按照括号内的计算层顺序构建而成，I表示数据输入层，C表示普通卷积层，R表示激活函数层；DW1-DW6表示通道分离卷积层，AP表示平均池化层；FC表示全连接层，L表示损失函数层，得到状态判定的结果。


4.根据权利要求3所述的公交车内拥挤状态监测方法，其特征在于，所述通道分离卷积层的表示形式为：DW=[DC,BN,R,PC,BN,R]；
所述通道分离卷积层由空间卷积层DC、批归一化层BN，激活函数层R、融合卷积层PC、批归一化层BN、激活函数层R依次联合构成，空间卷积层DC是由大小为3*3的卷积核构成，融合卷积层PC由大小为1*1的卷积核构成。


5.根据权利要求3或...

【专利技术属性】
技术研发人员：李锋林，宋晓伟，刘雄，刘彬，
申请(专利权)人：艾索信息股份有限公司，
类型：发明
国别省市：陕西;61