基于深度学习的城市轨道交通全景监控视频故障检测方法技术

一种基于深度学习的城市轨道交通全景监控视频故障检测方法，包括数据集构建过程和模型训练生成过程、图片分类识别过程，数据集构建过程对城市轨道交通全景监控视频中的清晰度异常视频、色偏异常视频以及正常视频进行处理，划分训练集和测试集；模型训练生成过程，包括模型训练和模型测试，所述模型训练包括对基于卷积神经网络的故障视频图像识别模型进行训练，所述卷积神经网络包括多个卷积层和多个全连接层；所述模型测试包括计算测试的准确率，如果没有达到预期，则优化故障视频图像识别模型；图片分类识别过程，包括将待识别的单帧图片输入模型，故障视频图像识别模型输出图片的分类结果，完成实现城市轨道交通全景监控视频故障图片检测。

Video surveillance of Urban Rail Transit Based on depth learning

Based on deep learning of city rail traffic monitoring video panorama fault detection method, including data set classification model training process and generating process, image process, data set processing of high-definition video, panoramic view of city rail traffic anomaly in video surveillance and video color abnormal normal video, divided into training set and test set model; training the generation process, including model training and model test, the model of training including training on fault video image recognition model based on convolutional neural network, the convolution neural network includes a plurality of coils and a plurality of laminated connecting layer; the test model including the calculation accuracy of the test, if not reached it is expected to optimize the fault video image recognition model; image recognition process, including the single frame to be identified The video input model, the fault video image recognition model, and the output image classification results are used to realize the panoramic monitoring of urban rail traffic, and the video failure picture detection.

【技术实现步骤摘要】
基于深度学习的城市轨道交通全景监控视频故障检测方法
本专利技术属于深度学习领域，具体涉及基于深度学习的城市轨道交通全景监控视频故障检测方法。
技术介绍
近几年随着私家汽车数量的增长，城市交通阻塞问题成为都市生活面临的大问题，而且交通事故的发生也越来越多，这些问题越来越影响到普通城市人民的正常生活。因此城市轨道交通全景监控视频的正常运行显得尤为重要，这就要求能够实时对城市轨道交通全景监控视频的运行状态进行检查，及时识别相应的故障并进行及时检修。其中全景指的是多个监控视频和区域三维模型融合拼接后的图像或者全景监控系统中的单个监控视频，而城市轨道交通全景监控视频即指全景监控系统中的单个监控视频。城市轨道交通全景监控的图片属于数字图像，具有数字图像的像素表示的特性，可以由计算机存储和处理的特点。而对城市轨道交通全景监控视频故障的检测可以转化为对视频质量的检测与诊断。对视频质量的检测与诊断即是对数字图像质量的评价，而数字图像质量的评价也即是对失真和降质图像的识别与诊断。图像质量下降通常表现为图像清晰度异常(图像模糊)、色偏、雪花(噪点)、画面出现条纹等情况。传统的故障图像客观评价方法主要思路都是依靠人工经验来提取和分析图像的特征，通过对比故障图片和正常图片之间的差异，特别是像素点的差异来确定是否为故障图片。这些算法在应用的过程中，图片特征的选择和定义的好坏决定了检测结果的优劣程度，具有很大的局限性。
技术实现思路
为了克服现有技术在实际应用中大量人工提取特征所造成的时间和精力上的浪费，本专利技术提出一种基于深度学习的城市轨道交通全景监控视频故障检测方法。该方法包括数据集构建、模型训练及生成、图片分类识别三个部分。首先将现有的视频转化为帧图像构建图像数据集，对图像数据进行训练获得卷积神经网络模型，然后利用训练得到的网络模型对图像进行分类，输出测试的图片类别以及识别的准确率。本专利技术技术方案提供一种基于深度学习的城市轨道交通全景监控视频故障检测方法，包括数据集构建过程和模型训练生成过程、图片分类识别过程，所述数据集构建过程，包括对城市轨道交通全景监控视频中的清晰度异常视频、色偏异常视频以及正常视频进行处理，将视频转化为单帧图像，并对图片尺寸进行归一化处理，构建清晰度异常图像数据集、偏色异常图像数据集和正常图像数据集，从中任意抽取图像划分为训练集和测试集，获取所需的图像数据集；所述模型训练生成过程，包括模型训练和模型测试，所述模型训练，包括对基于卷积神经网络的故障视频图像识别模型进行训练，所述卷积神经网络包括多个卷积层和多个全连接层；训练方式如下，将训练集中的图片经过数据格式转换后作为底层数据输入到卷积神经网络，多个卷积层级联，对输入的图像数据进行卷积运算，抽取图像特征，生成多个特征图；最后一个卷积层的输出作为输入，传入全连接层，经过各全连接层将特征完全转化成一维向量输出；确定实际输出值与期望值之间的误差，对网络进行反向传播，调整网络参数；然后判断训练误差是否收敛，若否则返回训练起始端输入图片进行特征学习，若是则判断模型训练迭代次数是否达到预定的迭代次数，当达到预定的迭代次数时，模型训练结束，否则返回训练起始端输入图片继续训练；训练结束后获得基于卷积神经网络的故障视频图像识别模型；所述模型测试，包括将测试集中的图片输入模型训练所得故障视频图像识别模型的网络底层，故障视频图像识别模型输出图片的分类结果，包括有质量正常和质量异常两种类别，最后与测试集中已设置的相应标签进行比对，计算测试的准确率，如果没有达到预期，则优化故障视频图像识别模型，直到达到预期，得到最终的故障视频图像识别模型；所述图片分类识别过程，包括将待识别的单帧图片输入模型训练生成过程得到的故障视频图像识别模型的网络底层，故障视频图像识别模型输出图片的分类结果，完成实现城市轨道交通全景监控视频故障图片检测。而且，所述优化故障视频图像识别模型，包括进行图像数据集的扩展。而且，所述优化故障视频图像识别模型，包括增加卷积层的个数，减少全连接层的个数。而且，原始的故障视频图像识别模型，所述卷积神经网络包括3个卷积层和3个全连接层。而且，原始的故障视频图像识别模型包括输入、卷积层C1、降采样层S1、卷积层C2、降采样层S2、卷积层C3、降采样层S3、全连接层fc4、全连接层fc5、全连接层fc6和输出层。而且，优化故障视频图像识别模型时，所述将卷积神经网络改为包括4个卷积层和2个全连接层。而且，优化故障视频图像识别模型时，将卷积神经网络改为包括输入、卷积层C1、降采样层S1、卷积层C2、降采样层S2、卷积层C3、降采样层S3、卷积层C4、降采样层S4、全连接层fc5、全连接层fc6和输出层。而且，所述优化故障视频图像识别模型，包括进行模型网络参数的调整。而且，所述判断训练误差是否收敛，基于误差损失函数实现。本专利技术的优点在于：与原始方法相比，基于深度学习的城市轨道交通全景监控视频故障检测方法在图像分类识别时，是从大数据中自动学习特征，而非采用手工设计的特征模型。手工设计的特征主要依靠设计者的经验知识，很难利用大数据的优势，特征的设计中只允许出现少量参数，而深度学习可以包含成千上万的参数，用来训练深度学习的数据越多，深度学习算法的鲁棒性、泛化能力就越强。另一方面，深度学习不是显式的特征抽取，而是隐式地从训练样本学习特征，因此，除非要求无需关注每层权值和特征表示的变化。权值共享特性有效的减少权值的数量级，也降低了训练的难度。样本可以直接作为深度学习模型的输入，无需另外使用算法对样本图像进行复杂的特征选择和提取。因此，本专利技术在保证准确率的同时自动化程度高，具有重要的市场价值。附图说明图1是本专利技术实施例的总体处理流程图图2是本专利技术实施例的模型训练过程流程图图3是本专利技术实施例的模型测试过程流程图图4是本专利技术实施例的故障视频图像识别的卷积神经网络网络模型图5是本专利技术实施例的故障视频图像识别的卷积神经网络结构图图6是本专利技术实施例的故障视频图像识别的卷积神经网络网络优化模型图7是本专利技术实施例的故障视频图像识别的卷积神经网络网络优化结构图图8是本专利技术实施例的优化后的卷积神经网络模型与基础卷积神经网络模型识别准确率比较图图9是本专利技术实施例的故障视频图像识别的卷积神经网络的激活函数图具体实施方法以下结合附图和实施案例详细说明本专利技术的具体实施方法。本专利技术所提供方法是通过对组成视频的单帧图像的质量进行检测而实现的。因为数字图像的质量检测与诊断是建立在对特征提取的基础上进行的，而对图像的特征提取与分类又可以归结到对构成图像的像素的提取和分析。因此深入学习图像分类识别相关的知识相当重要。深度学习(deeplearning，即DL)算法是用来建立与模拟人脑进行分析学习的神经机制，构建多隐层的网络结构模型，通过对大量数据进行训练，获得具有代表性的特征信息，实现对图像、声音、文本等数据的解释和预测，提高分类和预测的准确性。而在图像识别领域，基于深度学习模型特别是卷积神经网络(convolutionneuralnetworks，简称CNN)模型，应用比较广泛。因此本专利技术首创提出将深度学习模型中的卷积神经网络模型应用于城市轨道交通全景监控视频故障图像识别领域检测，不仅大幅度提高了识别的准确性，同时也避免了传统本文档来自技高网...

【技术保护点】
一种基于深度学习的城市轨道交通全景监控视频故障检测方法，其特征在于：包括数据集构建过程和模型训练生成过程、图片分类识别过程，所述数据集构建过程，包括对城市轨道交通全景监控视频中的清晰度异常视频、色偏异常视频以及正常视频进行处理，将视频转化为单帧图像，并对图片尺寸进行归一化处理，构建清晰度异常图像数据集、偏色异常图像数据集和正常图像数据集，从中任意抽取图像划分为训练集和测试集，获取所需的图像数据集；所述模型训练生成过程，包括模型训练和模型测试，所述模型训练，包括对基于卷积神经网络的故障视频图像识别模型进行训练，所述卷积神经网络包括多个卷积层和多个全连接层；训练方式如下，将训练集中的图片经过数据格式转换后作为底层数据输入到卷积神经网络，多个卷积层级联，对输入的图像数据进行卷积运算，抽取图像特征，生成多个特征图；最后一个卷积层的输出作为输入，传入全连接层，经过各全连接层将特征完全转化成一维向量输出；确定实际输出值与期望值之间的误差，对网络进行反向传播，调整网络参数；然后判断训练误差是否收敛，若否则返回训练起始端输入图片进行特征学习，若是则判断模型训练迭代次数是否达到预定的迭代次数，当达到预定的迭代次数时，模型训练结束，否则返回训练起始端输入图片继续训练；训练结束后获得基于卷积神经网络的故障视频图像识别模型；所述模型测试，包括将测试集中的图片输入模型训练所得故障视频图像识别模型的网络底层，故障视频图像识别模型输出图片的分类结果，包括有质量正常和质量异常两种类别，最后与测试集中已设置的相应标签进行比对，计算测试的准确率，如果没有达到预期，则优化故障视频图像识别模型，直到达到预期，得到最终的故障视频图像识别模型；所述图片分类识别过程，包括将待识别的单帧图片输入模型训练生成过程得到的故障视频图像识别模型的网络底层，故障视频图像识别模型输出图片的分类结果，完成实现城市轨道交通全景监控视频故障图片检测。...

【技术特征摘要】
1.一种基于深度学习的城市轨道交通全景监控视频故障检测方法，其特征在于：包括数据集构建过程和模型训练生成过程、图片分类识别过程，所述数据集构建过程，包括对城市轨道交通全景监控视频中的清晰度异常视频、色偏异常视频以及正常视频进行处理，将视频转化为单帧图像，并对图片尺寸进行归一化处理，构建清晰度异常图像数据集、偏色异常图像数据集和正常图像数据集，从中任意抽取图像划分为训练集和测试集，获取所需的图像数据集；所述模型训练生成过程，包括模型训练和模型测试，所述模型训练，包括对基于卷积神经网络的故障视频图像识别模型进行训练，所述卷积神经网络包括多个卷积层和多个全连接层；训练方式如下，将训练集中的图片经过数据格式转换后作为底层数据输入到卷积神经网络，多个卷积层级联，对输入的图像数据进行卷积运算，抽取图像特征，生成多个特征图；最后一个卷积层的输出作为输入，传入全连接层，经过各全连接层将特征完全转化成一维向量输出；确定实际输出值与期望值之间的误差，对网络进行反向传播，调整网络参数；然后判断训练误差是否收敛，若否则返回训练起始端输入图片进行特征学习，若是则判断模型训练迭代次数是否达到预定的迭代次数，当达到预定的迭代次数时，模型训练结束，否则返回训练起始端输入图片继续训练；训练结束后获得基于卷积神经网络的故障视频图像识别模型；所述模型测试，包括将测试集中的图片输入模型训练所得故障视频图像识别模型的网络底层，故障视频图像识别模型输出图片的分类结果，包括有质量正常和质量异常两种类别，最后与测试集中已设置的相应标签进行比对，计算测试的准确率，如果没有达到预期，则优化故障视频图像识别模型，直到达到预期，得到最终的故障视频图像识别模型；所述图片分类识别过程，包括将待识别的单帧图片输入模型训练生成过程得到的故障视频图像识别模型的网络底层，故障视频图像识...

【专利技术属性】
技术研发人员：赵刚，刘闪，徐丽华，陈亚雯，张傲，
申请(专利权)人：华中师范大学，武汉烽火信息集成技术有限公司，
类型：发明
国别省市：湖北,42