一种基于深度学习的交通图像多类型车辆检测方法技术

本发明专利技术公开了一种基于深度学习的交通图像多类型车辆检测方法，首先将神经网络的特征与区域生成算法结合起来，使用神经网络的卷积层同时实现了区域生成与区域判定两个过程，然后使用背景模型进行针对特定场景的离散序列图像的运动区域判定为区域生成提供了额外的参考依据，并结合车辆检测结果对背景模型进行了分情况的更新修正，此外，还提出了网络模型压缩方案进行模型参数与计算时间的缩减，并提出了新的基于分组误差计算的检测结果优化手段替换常规的非极大值抑制方案，提高总体的检测精度。

【技术实现步骤摘要】

本专利技术涉及车辆检测
，具体是一种基于深度学习的交通图像多类型车辆检测方法。
技术介绍
随着社会的发展，人们的生活水平在“衣食住行”各个方面都有了较大提高，体现在“行”上就是各地的道路基础设施建设愈加完善与社会的汽车总数量也快速增加。但是道路建设是一个长期的过程，需要长时间的积累才能达到成效，因此往往跟不上各地机动车辆的增长速度，难题的解决方案是采用更加科学的技术手段来管理道路交通，这就是智能交通系统。智能交通系统可以统计道路上车辆的流量、识别车辆的行驶路线，然后通过调整路线上的红绿灯时间、设置专门的单行道、限制道路的可通行车辆类型等手段来改善道路的通行状况。而在这之中，车辆检测技术是智能交通最重要的组成部分，它是后续相关处理的基础。在检测车辆的同时，将直观反映路线上的人员与货物运输量的车辆类型与车辆检测结合起来，形成一个多类型车辆的检测系统，可以完成基本的道路交通的管理任务，为后续处理提供更加丰富的数据信息。现有的车辆检测技术的处理对象主要有两个，即视频与图像。针对视频，一般通过使用背景建模算法实现实时的运动车辆检测，得到图像中的车辆运动区域，然后利用阴影信息、车灯信息或者车窗信息得到最终的车辆部分图像，完成基于视频的车辆检测过程。相关背景建模算法主要有混合高斯模型、ViBe算法或者直接设定背景图像，这些方案处理对象为连续的视频图像序列，存在的主要问题是模型容易受到光照、天气等各种外部条件的影响而导致准确度降低，并且系统的持续执行将带来大量的数据与能耗。针对图像的车辆检测工作，主要涉及特征设计与分类器选择两个方面。车辆的特征用于描述车辆的外观信息，使用合适特征可以得到车辆区别于其他类型物体的特有外观信息。现在经常使用的特征主要是人工设计的，有Haar-like特征、SIFT特征、HOG特征、LBP特征、Gabor特征以及他们的改进等等。而车辆分类器则实现对于车辆区域与背景区域的判断，后续还可以实现具体车辆类型的判断。现在常用的分类器主要有SVM、AdaBoost、KNN等等。还有一类基于匹配的算法实现车辆的检测，主要利用图像区域与模板之间特征的匹配程度进行判断，而实际上匹配与分类两者是相似度判断的不同实现方式，所以可以看作是相类似的处理方法。近年来深度神经网络的使用促进了计算机视觉领域各种应用的快速发展，其在车辆检测上的应用方式大多与目标检测的算法相同，即通过基于图像底层信息的区域生成加上基于卷积神经网络的类别判断实现基于深度学习的车辆检测。总之，现有的基于图像的车辆检测技术手段或者需要使用手工设计的复杂特征提供判断依据，或者需要基于图像底层信息的区域生成技术提供数据源，不足以应对大规模图像数据的处理要求，所以需要一种针对多场景的大规模图像数据的准确而又快速的车辆检测方法。
技术实现思路
本专利技术要解决的技术问题是提供一种基于深度学习的交通图像多类型车辆检测方法。本专利技术的技术方案为：一种基于深度学习的交通图像多类型车辆检测方法，包括有训练过程和测试过程：所述的训练过程具有包括有以下步骤：(1)、车辆信息标注：收集不同图像采集终端得到的所有原始图像进行处理，标注出图像中车辆的位置坐标信息，并添加车辆类型的简单判断结果与车头的大致方向信息，并将所有图像和上述所有标注信息存储于数据库中；(2)、背景模型建立：针对不同的图像采集终端，分别收集训练数据形成相邻帧之间非连续变化的图像序列，然后根据图像整体明暗程度的差异，将其划分为白天与黑夜两种情况，分别使用高斯混合模型建立背景模型；(3)、训练区域生成初始模型：使用深度学习算法对所有训练图像进行图像的分割，得到图像中出现的所有物体的分割数据，利用得到的分割数据对传统的区域生成的LPO算法进行在步骤(1)中数据库上的调整，得到区域生成初始模型；(4)、训练车辆判定网络：利用卷积神经网络与区域生成初始模型的结果，以车辆位置坐标、车辆类型信息与车头角度信息作为网络的输出，进行车辆判定网络的多任务联合学习，得到多类型的车辆判定网络；(5)、训练区域生成网络：利用车辆判定网络的卷积层作为特征，进行基于滑动窗口的有车无车二分类判定与坐标优化网络的训练，得到适用于区域生成的卷积神经网络，即区域生成网络，将其与车辆判定网络结合得到多类型的车辆检测网络；(6)、网络结构压缩：利用矩阵分解手段对多类型的车辆检测网络的区域生成部分与区域判定部分的结构进行优化压缩，具体是对卷积层进行卷积核的低维分解、对全联接层则使用SVD算法减少参数数量，最终降低模型的复杂程度，减少测试过程中的计算量；(7)、训练检测结果优化模型：通过将所有的检测结果分组，形成各自对应于真实检测结果的组合，然后计算得到各组的基于权重的相对偏差均值与真实的偏差值，利用输入节点数量为4、隐含层节点数量为6、输出节点数量为4的神经网络建立两者之间的联系作为检测结果优化模型；所述的测试过程具有包括有以下步骤：(8)、背景模型应用：通过图像采集信息和图像明暗度的判断确定图像采集的时间段，然后根据场景信息选择相应的背景模型，对当前测试图像进行前景分析，确定出现运动物体的区域，通过形态学处理得到闭合的连通域作为当前图像中车辆出现位置的运动检测结果，为区域生成部分提供外部约束信息；(9)、车辆检测网络区域生成部分测试：利用背景模型应用得到的运动检测结果，在运动区域使用特定的滑动窗口模式生成大量的方框区域，然后使用步骤(5)得到的区域生成网络得到这些方框区域的车辆存在与否判断的二分类得分与位置优化结果，选择其中得分较高的区域作为包含有车辆的候选区域，接着使用非极大值抑制方法降低生成的候选区域的数量；(10)、车辆检测网络区域判定部分测试：利用步骤(5)得到的区域生成网络输出的卷积层的特征，通过车辆检测网络的区域判定部分对所有包含有车辆的候选区域进行处理，确定区域是否为车辆并得到具体的车辆位置坐标、车辆类型结果与车头角度信息；(11)、检测结果优化：针对多个检测结果之间出现相互交叉的情况，使用基于神经网络的位置偏差估计模型进行处理，得到最优的判断结果，提高检测方法的准确性；(12)、背景模型在线更新：利用判断结果对步骤(2)得到的背景模型的正确性进行判断，然后对其进行选择性的更新，提高模型对背景描述的准确性。所述的步骤(1)中的车辆类型是根据车辆的车头大小、车辆轴数以及整体结构信息的差异，将车辆划分为轿车、巴士、轻卡、中型卡车、重型卡车、商务车、运动型多用途汽车和工程车八个类别；所述的车头的大致方向信息包括有左侧、左前、正前、右前和右侧五个方向信息；所述的步骤(3)中的区域生成初始模型，首先使用全卷积网络模型对训练图像进行分割，得到图像中出现的所有物体的轮廓位置信息，作为LPO算法在训练过程中物体的分割标注，且在区域生成初始模型训练完成之后，使用部分训练图像作为验证数据库，进行LPO算法相关参数的调整，降低区域生成过程所需要的资源占用量与时间花费。所述的步骤(4)中训练车辆判定网络的具体步骤是，利用已有的卷积神经网络架构，在车辆类型与车头方向两个输出中各自添加了一个背景类别，即设置车辆类型信息判断的输出数目为车辆类型数八加一即九、角度信息判断的输出数目设置为车辆角度类型数五加一即六，训练时将与真实车辆区域的IOU小于0.本文档来自技高网...

【技术保护点】
一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：包括有训练过程和测试过程：所述的训练过程具有包括有以下步骤：(1)、车辆信息标注：收集不同图像采集终端得到的所有原始图像进行处理，标注出图像中车辆的位置坐标信息，并添加车辆类型的简单判断结果与车头的大致方向信息，并将所有图像和上述所有标注信息存储于数据库中；(2)、背景模型建立：针对不同的图像采集终端，分别收集训练数据形成相邻帧之间非连续变化的图像序列，然后根据图像整体明暗程度的差异，将其划分为白天与黑夜两种情况，分别使用高斯混合模型建立背景模型；(3)、训练区域生成初始模型：使用深度学习算法对所有训练图像进行图像的分割，得到图像中出现的所有物体的分割数据，利用得到的分割数据对传统的区域生成的LPO算法进行在步骤(1)中数据库上的调整，得到区域生成初始模型；(4)、训练车辆判定网络：利用卷积神经网络与区域生成初始模型的结果，以车辆位置坐标、车辆类型信息与车头角度信息作为网络的输出，进行车辆判定网络的多任务联合学习，得到多类型的车辆判定网络；(5)、训练区域生成网络：利用车辆判定网络的卷积层作为特征，进行基于滑动窗口的有车无车二分类判定与坐标优化网络的训练，得到适用于区域生成的卷积神经网络，即区域生成网络，将其与车辆判定网络结合得到多类型的车辆检测网络；(6)、网络结构压缩：利用矩阵分解手段对多类型的车辆检测网络的区域生成部分与区域判定部分的结构进行优化压缩，具体是对卷积层进行卷积核的低维分解、对全联接层则使用SVD算法减少参数数量，最终降低模型的复杂程度，减少测试过程中的计算量；(7)、训练检测结果优化模型：通过将所有的检测结果分组，形成各自对应于真实检测结果的组合，然后计算得到各组的基于权重的相对偏差均值与真实的偏差值，利用输入节点数量为4、隐含层节点数量为6、输出节点数量为4的神经网络建立两者之间的联系作为检测结果优化模型；所述的测试过程具有包括有以下步骤：(8)、背景模型应用：通过图像采集信息和图像明暗度的判断确定图像采集的时间段，然后根据场景信息选择相应的背景模型，对当前测试图像进行前景分析，确定出现运动物体的区域，通过形态学处理得到闭合的连通域作为当前图像中车辆出现位置的运动检测结果，为区域生成部分提供外部约束信息；(9)、车辆检测网络区域生成部分测试：利用背景模型应用得到的运动检测结果，在运动区域使用特定的滑动窗口模式生成大量的方框区域，然后使用步骤(5)得到的区域生成网络得到这些方框区域的车辆存在与否判断的二分类得分与位置优化结果，选择其中得分较高的区域作为包含有车辆的候选区域，接着使用非极大值抑制方法降低生成的候选区域的数量；(10)、车辆检测网络区域判定部分测试：利用步骤(5)得到的区域生成网络输出的卷积层的特征，通过车辆检测网络的区域判定部分对所有包含有车辆的候选区域进行处理，确定区域是否为车辆并得到具体的车辆位置坐标、车辆类型结果与车头角度信息；(11)、检测结果优化：针对多个检测结果之间出现相互交叉的情况，使用基于神经网络的位置偏差估计模型进行处理，得到最优的判断结果，提高检测方法的准确性；(12)、背景模型在线更新：利用判断结果对步骤(2)得到的背景模型的正确性进行判断，然后对其进行选择性的更新，提高模型对背景描述的准确性。...

【技术特征摘要】
1.一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：包括有训练过程和测试过程：所述的训练过程具有包括有以下步骤：(1)、车辆信息标注：收集不同图像采集终端得到的所有原始图像进行处理，标注出图像中车辆的位置坐标信息，并添加车辆类型的简单判断结果与车头的大致方向信息，并将所有图像和上述所有标注信息存储于数据库中；(2)、背景模型建立：针对不同的图像采集终端，分别收集训练数据形成相邻帧之间非连续变化的图像序列，然后根据图像整体明暗程度的差异，将其划分为白天与黑夜两种情况，分别使用高斯混合模型建立背景模型；(3)、训练区域生成初始模型：使用深度学习算法对所有训练图像进行图像的分割，得到图像中出现的所有物体的分割数据，利用得到的分割数据对传统的区域生成的LPO算法进行在步骤(1)中数据库上的调整，得到区域生成初始模型；(4)、训练车辆判定网络：利用卷积神经网络与区域生成初始模型的结果，以车辆位置坐标、车辆类型信息与车头角度信息作为网络的输出，进行车辆判定网络的多任务联合学习，得到多类型的车辆判定网络；(5)、训练区域生成网络：利用车辆判定网络的卷积层作为特征，进行基于滑动窗口的有车无车二分类判定与坐标优化网络的训练，得到适用于区域生成的卷积神经网络，即区域生成网络，将其与车辆判定网络结合得到多类型的车辆检测网络；(6)、网络结构压缩：利用矩阵分解手段对多类型的车辆检测网络的区域生成部分与区域判定部分的结构进行优化压缩，具体是对卷积层进行卷积核的低维分解、对全联接层则使用SVD算法减少参数数量，最终降低模型的复杂程度，减少测试过程中的计算量；(7)、训练检测结果优化模型：通过将所有的检测结果分组，形成各自对应于真实检测结果的组合，然后计算得到各组的基于权重的相对偏差均值与真实的偏差值，利用输入节点数量为4、隐含层节点数量为6、输出节点数量为4的神经网络建立两者之间的联系作为检测结果优化模型；所述的测试过程具有包括有以下步骤：(8)、背景模型应用：通过图像采集信息和图像明暗度的判断确定图像采集的时间段，然后根据场景信息选择相应的背景模型，对当前测试图像进行前景分析，确定出现运动物体的区域，通过形态学处理得到闭合的连通域作为当前图像中车辆出现位置的运动检测结果，为区域生成部分提供外部约束信息；(9)、车辆检测网络区域生成部分测试：利用背景模型应用得到的运动检测结果，在运动区域使用特定的滑动窗口模式生成大量的方框区域，然后使用步骤(5)得到的区域生成网络得到这些方框区域的车辆存在与否判断的二分类得分与位置优化结果，选择其中得分较高的区域作为包含有车辆的候选区域，接着使用非极大值抑制方法降低生成的候选区域的数量；(10)、车辆检测网络区域判定部分测试：利用步骤(5)得到的区域生成网络输出的卷积层的特征，通过车辆检测网络的区域判定部分对所有包含有车辆的候选区域进行处理，确定区域是否为车辆并得到具体的车辆位置坐标、车辆类型结果与车头角度信息；(11)、检测结果优化：针对多个检测结果之间出现相互交叉的情况，使用基于神经网络的位置偏差估计模型进行处理，得到最优的判断结果，提高检测方法的准确性；(12)、背景模型在线更新：利用判断结果对步骤(2)得到的背景模型的正确性进行判断，然后对其进行选择性的更新，提高模型对背景描述的准确性。2.根据权利要求1所述的一种基于深度学习的交通图像多类型车辆检测方法，其特征在于：所述的步骤(1)中的车辆类型是根据车辆的车头大小、车辆轴数以及整体结构信息的差异，将车辆划分为轿车、巴士、轻卡、中型卡车、重型卡车、商务车、运动型多用途汽车和工程车八个类别；所述的车头的大致方向信息包括有左侧、左前、正前、右前和右侧五个方向信息；所述的步骤(3)中的区域生成初始模型，首先使用全卷积网络模型对训练图像进行分割，得到图像中出现的所有物体的轮廓位置信息，作为LPO算法在训练过...

【专利技术属性】
技术研发人员：程鹏，
申请(专利权)人：安徽省云力信息技术有限公司，
类型：发明
国别省市：安徽;34