基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法技术

本发明专利技术公开了一种基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，首先对待检测视频进行预处理，分段并提取运动残差图像，将原始图像与运动残差图像组合作为卷积神经网络算法的输入，建立至少包含一个卷积层和最大池化层的特征提取块，处理并计算原始图像和运动残差图像中包含的人群状态特征，再将人群状态特征和运动特征结合，构建至少包含一个卷积层、最大池化层和全连接层的特征融合块，进行融合处理，同时构建分类器，使用预制的带有拥挤程度标签的训练集对卷积神经网络进行训练，使分类器对待测视频中的乘客拥挤程度进行正确检测，更加全面的表征监控视频中的客流状况，实现拥挤程度的检测，提高了算法检测的准确率。

Detection Method of Urban Rail Transit Passenger Congestion Based on Convolutional Neural Network

The invention discloses a method for detecting passenger congestion degree of Urban Rail Transit Based on convolution neural network. Firstly, the video to be detected is preprocessed, segmented and the motion residual image is extracted. The original image and the motion residual image are combined as input of the convolution neural network algorithm, and a feature extraction block including at least one convolution layer and the largest pooling layer is established, and processed and designed. By calculating the crowd state features contained in the original image and the motion residual image, and combining the crowd state features with the motion features, a feature fusion block including at least one convolution layer, maximum pooling layer and full connection layer is constructed for fusion processing. At the same time, a classifier is constructed, and the convolution neural network is trained by using the pre-prepared training set with the crowding degree label to make the classifier. To correctly detect the degree of passenger congestion in the video, more comprehensive characterization of the status of passenger flow in the surveillance video, achieve the detection of the degree of congestion, improve the accuracy of the algorithm detection.

【技术实现步骤摘要】
基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法所属领域本专利技术属于轨道交通运输
，具体涉及基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法。
技术介绍
伴随着城市化进程的不断加快和轨道交通线网格局逐渐完善，城市轨道交通成为城市公共交通的主要承担者。快速增长客流对日常的运营管理水平提出了更高的要求。一方面，为了制定合理的行车计划和客流组织方案，高效率的利用运营资源和满足大规模线网上快速变化的乘客出行需求，需要精确的掌握客流状态和客流数据；另一方面，由于轨道交通车站通常位于封闭的地下或轨道高架，站厅面积较为有限，在客流高峰到来时，大量的客流涌入极易造成站厅拥挤和通道堵塞。大密度的人群不仅造成客流疏导困难，更容易引起大规模的群体安全事故，造成不良的社会影响。因此需要一种便捷、高效的方法实时获取客流分布、监测车站客流状态，为客流组织提供强有力的技术支持，保障乘客的安全和轨道交通的正常运营。现有的城市轨道交通车站普遍安装有完备的视频监控系统，监控视频的内容清晰反映了监控范围内的客流拥挤程度，包含大量有效的客流信息。以往由于技术的局限性，视频图像中信息的获取速度和精确程度难以满足实际应用的需求。伴随着图像处理技术、机器学习以及计算机性能等领域的不断发展，智能的图像识别技术应运而生。通过将图像识别技术与公共场合安装的视频监控系统结合起来，利用计算机对监控摄像头获取图像中包含的乘客目标进行处理，对客流状态进行自动的检测、研判，在发现异常目标和异常场景时及时发出警报，实现对城市轨道交通客流拥挤程度自动化、智能化的检测监控。由于人群存在明显的视觉特征，因此早期的人群密度估计方法大多通过提取人群聚集的后的视觉特征来反映人群的拥挤程度，这类方法包括两大类：基于像素和基于纹理。基于像素的检测方法原理简单，在人群密度适中的场景取得了较好的识别效果，但在车站、商场等人流密集的场所，由于人群密度过大导致严重的相互遮挡，性能下降较为明显；基于纹理类特征在实时性上表现不佳，两种方法在实际操作和运用中都不甚如意，因此，需要一种性能更佳的方法来实现城市轨道交通客流拥挤程度的检测。
技术实现思路
本专利技术正是针对现有技术中的问题，提供了一种基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，克服了现有技术中测量误差大，实时性不强的问题，以视频监控系统采集到的监控视频为基础，利用卷积神经网络强大的图像识别能力，通过构建多级的卷积神经网络提取人群图像和运动残差图像的混合特征，更加全面的表征监控视频中的客流状况，实现拥挤程度的检测，提高了算法检测的准确率。为了实现上述目的，本专利技术采用的技术方案是：基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，包括如下步骤：S1，获取交通监控待检测视频，对待检测视频进行预处理，分段并提取运动残差图像；S2，将原始图像与运动残差图像组合作为卷积神经网络算法的输入，建立至少包含一个卷积层和最大池化层的特征提取块，处理原始图像和运动残差图像，分别计算原始图像和运动残差图像中包含的人群状态特征；S3，将人群状态特征和运动特征结合，构建至少包含一个卷积层、最大池化层和全连接层的特征融合块，对步骤S2中获取的特征图进行融合处理：S4，构建包含拥挤程度等级的分类器；S5，使用预制的带有拥挤程度标签的训练集对卷积神经网络进行训练，使分类器对待测视频中的乘客拥挤程度进行正确检测。作为本专利技术的一种改进，所述步骤S1进一步包括，S11，获取交通监控待检测视频；S12，设定检测周期T，依据检测周期T将待检测视频划分为长度为T的视频片段，所述视频片段的第一帧图像为基准图像；S13，取视频片段中其他图像，分别与基准图像做差，得到运动残差图像。作为本专利技术的一种改进，所述步骤S2中各个特征提取块的数量为1，所述卷积层与与池化层的连接方式为交替连接。作为本专利技术的另一种改进，所述步骤S3中特征融合块以特征提取块输出的特征图为输入，所述特征融合块数量为1。作为本专利技术的另一种改进，所述步骤S3中全连接层数量为3，且为最后三层，所述卷积层与池化层的连接方式为交替连接，且均位于全连接层前。作为本专利技术的又一种改进，所述步骤S4中分类器等级分为十层，分别为宽敞：0-2级；舒适：3-5级；拥挤：5-8级；危险：9-10级。作为本专利技术的更进一步改进，所述步骤S5对卷积神经网络进行训练中，采用随机梯度下降算法对卷积神经网络中的参数进行修正，所述随机梯度下降法公式如下：g(θ)＝∑θxi其中，g(θ)表示网络假设函数，θ表示卷积神经网络的参数权值，h(θ)表示损失函数，yi表示第i个样本的样本值，m表示算法迭代的总次数，σ表示惩罚系数，表示梯度，η表示梯度下降中的学习率。作为本专利技术的更进一步改进，所述步骤S5中，当检测的结果低于实际拥挤程度时，惩罚系数η＝1+log(yi-gθ(xi))，否则η＝1。与现有技术相比，本专利技术提出了一种基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，具有的有益效果是：基于卷积神经网络的轨道交通客流，拥挤程度检测方法结合视频监控系统采集到的图像，检测结果能够实时、有效的反映监控范围内实际客流状况；拥挤程度的划分标准结合实际场景，符合使用地的运营需求；实时的检测能够最大程度的减少人工查看监控视频的工作量并指导客流管控工作，提高城市轨道交通运营的安全性和服务质量。附图说明图1为本专利技术的检测方法步骤示意图；图2为本专利技术实施例2中卷积层及最大池化层的连接方式示意图；图3为本专利技术实施例3特征融合块中卷积层、最大池化层和全连接层的连接方式。具体实施方式以下将结合附图和实施例，对本专利技术进行较为详细的说明。实施例1基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，如图1所示，包括如下步骤：S1，获取交通监控待检测视频，对待检测视频进行预处理，分段并提取运动残差图像；S11，获取交通监控待检测视频；S12，设定检测周期T，依据检测周期T将待检测视频划分为长度为T的视频片段，所述视频片段的第一帧图像为基准图像，记为p1；S13，取视频片段中其他图像，例如分别取检测单元中1/3T，2/3T和T处的一帧图像，记为p2，p3，p4，将p2，p3，p4分别与基准图像p1做差，获取待检测视频片段中人群的运动残差图像，记为p12，p13，p14。S2，将基准图像p1与运动残差图像p12,p13,p14组合成一组作为乘客拥挤程度卷积神经网络算法的输入，针对输入的基准图像p1和运动残差图像p12，p13，p14，构建第一、第二、第三、第四特征提取块对应处理输入的四幅图像，计算基准图像中包含的人群特征和残差图像中包含的运动特征，所述特征提取块至少包含一个卷积层和最大池化层；第一、第二、第三、第四特征提取块为卷积神经网络的输入，第一、第二、第三、第四处理块的数量为1，所述卷积层与最大池化层的连接方式为交替连接。S3，将人群状态特征和运动特征结合，构建至少包含一个卷积层、最大池化层和全连接层的特征融合块，对步骤S2中获取的特征图进行融合处理，所述融合方法是将第一、第二、第三、第四处理块输出的特征图进行数量上的相加，再输入到融合块中进行卷积运算。特征融合块以第一、第二、第三、第四特征提取块输出的特征图为输入，特征融合块数量为1，全连接层数量为3，且为最后三层，所述本文档来自技高网...

【技术保护点】
1.基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于，包括如下步骤：S1，获取交通监控待检测视频，对待检测视频进行预处理，分段并提取运动残差图像；S2，将原始图像与运动残差图像组合作为卷积神经网络算法的输入，建立至少包含一个卷积层和最大池化层的特征提取块，处理原始图像和运动残差图像，分别计算原始图像和运动残差图像中包含的人群状态特征；S3，将人群状态特征和运动特征结合，构建至少包含一个卷积层、最大池化层和全连接层的特征融合块，对步骤S2中获取的特征图进行融合处理：S4，构建包含拥挤程度等级的分类器；S5，使用预制的带有拥挤程度标签的训练集对卷积神经网络进行训练，使分类器对待测视频中的乘客拥挤程度进行正确检测。

【技术特征摘要】
1.基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于，包括如下步骤：S1，获取交通监控待检测视频，对待检测视频进行预处理，分段并提取运动残差图像；S2，将原始图像与运动残差图像组合作为卷积神经网络算法的输入，建立至少包含一个卷积层和最大池化层的特征提取块，处理原始图像和运动残差图像，分别计算原始图像和运动残差图像中包含的人群状态特征；S3，将人群状态特征和运动特征结合，构建至少包含一个卷积层、最大池化层和全连接层的特征融合块，对步骤S2中获取的特征图进行融合处理：S4，构建包含拥挤程度等级的分类器；S5，使用预制的带有拥挤程度标签的训练集对卷积神经网络进行训练，使分类器对待测视频中的乘客拥挤程度进行正确检测。2.如权利要求1所述的基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于所述步骤S1进一步包括，S11，获取交通监控待检测视频；S12，设定检测周期T，依据检测周期T将待检测视频划分为长度为T的视频片段，所述视频片段的第一帧图像为基准图像；S13，取视频片段中其他图像，分别与基准图像做差，得到运动残差图像。3.如权利要求1或2所述的基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法，其特征在于所述步骤S2中各个特征提取块的数量为1，所述卷积层与与池化层的连接方式为交替连接。4.如权利要求3所述的基于卷积...

【专利技术属性】
技术研发人员：张宁，陈毓伟，何铁军，裴顺鑫，黎庆，王健，李勇，汪理，孙舒淼，娄永梅，陈亮，吴昊，
申请(专利权)人：南京地铁集团有限公司，南京地铁建设有限责任公司，东南大学，北京全路通信信号研究设计院集团有限公司，
类型：发明
国别省市：江苏,32