车载环境下基于深度学习的车辆与车牌检测方法技术

本发明专利技术使用SSD作为基础网络进行改进，并提出了一个端到端的网络，用于在给定的图像中同时检测车辆和车牌。该网络具有两个独立的分支，分别设计有不同的卷积层来用于车辆和车牌的检测。最后，我们基于SSD的策略重新改进并设计我们的网络，并使用从真实场景中收集到的视频验证其有效性。同时，我们提出了一种不侵犯隐私的车牌数据增强方法，这对进一步的研究是很有意义的。此外，我们使用注意力机制来提高检测系统的召回率，实验证明它可以提高目标检测的性能。而且，我们针对车辆和车牌的检测采用了若干特定于任务的策略，以实现视频中的实时和高效检测。

【技术实现步骤摘要】
车载环境下基于深度学习的车辆与车牌检测方法
本专利技术涉及计算机视觉领域的目标检测方法，主要是提出了一种端到端的深度神经网络，以SSD为基础网络进行改进，用于同时检测给定图像中的车辆和车牌。
技术介绍
自动车辆和车牌检测是智能交通系统的重要组成部分。它可以应用于许多应用，例如交通监控和管理。到目前为止，它已经引起了相当多的研究关注，并提出了许多方法。由于近些年以来机器学习（如CNN等深度神经网络）迅速发展，通过在很多领域进行的尝试和改进，这种方法都表现出了良好的性能。然而，由于自然场景道路图像中有许多不同的目标，仍然会受到很大的干扰，还需要采取一定的措施来减少误检，提升我们的检测性能。而实时车辆和车牌检测在智能交通系统中是发挥着重要作用的，所以在实际应用中，解决这项具有挑战性的任务面临的很多问题是非常必要的。本专利技术就是研究如何解决复杂自然场景下具有挑战性的车辆与车牌检测问题。对于检测框架来说，在过去的几十年中一直使用的是传统目标检测方法，这一般分为三个阶段：首先在给定的图像上选择一些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。但是传统方法存在两个非常重要的问题：一个是基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余；二是手工设计的特征对于多样性的变化并没有很好的鲁棒性。近年来，深度神经网络由于其特征表示和鲁棒性的能力而推动了目标检测的进步，并且基于DNN的方法已经实现了非常好的性能。在这些方法中，基于区域的检测方法被广泛使用。R-CNN（Region-basedConvolutionalNeuralNetwork）（RossB.Girshick,JeffDonahue,TrevorDarrell,andJitendraMalik.2014.RichFeatureHierarchiesforAccurateObjectDetectionandSemanticSegmentation.InCVPR’14Proceedingsofthe2014IEEEConferenceonComputerVisionandPatternRecognition.580–587.）是一种经典的区域检测方法。R-CNN用selectivesearch算法在图像中提取侯选框，并将归一化后的候选区域输入到CNN网络中，进行特征的提取。对于CNN特征，再用SVM分类来做识别，用线性回归来微调边框位置与大小。但是，R-CNN相当耗时，因为这些候选框都需要进行CNN操作，计算量依然很大，其中有不少其实是重复计算。之后出现的比较好的方法就是SPP-Net（空间金字塔池），FastR-CNN和FasterR-CNN（ShaoqingRen,KaimingHe,RossB.Girshick,andJianSun.2015.FasterR-CNN:towardsreal-timeobjectdetectionwithregionproposalnetworks.InNIPS’15Proceedingsofthe28thInternationalConferenceonNeuralInformationProcessingSystems-Volume1,Vol.2015.91–99.）。FasterR-CNN最大的贡献就是RPN(RegionProposalNetworks)网络，RPN的核心思想是使用卷积神经网络直接产生regionproposal候选框，使用的方法本质上是滑动窗口。借助RPN，FasterR-CNN成为一个两阶段的端到端检测框架，通过降低时间消耗实现性能提升。MultiBox、YOLO和SSD（SingleShotMultiBoxDetector）（WeiLiu,DragomirAnguelov,DumitruErhan,ChristianSzegedy,ScottE.Reed,Cheng-YangFu,andAlexanderC.Berg.2016.SSD:SingleShotMultiBoxDetector.europeanconferenceoncomputervision(2016),21–37.）可以使用端到端网络直接预测/回归目标的边界框。这些方法计算复杂度较少，简化了整个目标检测流程，速度的提升也很大。SSD利用多尺度特征来进行检测，但并没有充分利用到高层特征图的信息，其实这对于小目标的检测是非常重要的。为了解决这个问题，提出了FPN（FeaturePyramidNetworks）和DSSD（DeconvolutionalSingleShotDetector）的方法，可以结合利用语义强大的低层特征与高层特征。另外，FCN（全卷积网络）和MaskR-CNN可以生成一个高质量的分割模板，用于实例分割。在各种检测框架的背后，基础网络CNN的发展起着重要作用。从1998年起，LeNet，AlexNet，VGGNet，GoogleNet和ResNet陆续出现。这些网络（LeNet除外）不断在ImageNet分类挑战中表现出非常好的性能。而且目前的主要趋势是更深的网络、更大的参数和更强大的卷积模块。同时，其他的多种技术，比如Adam，PReLU和FocalLoss等方法，都是为了更好地提高DNN的性能而提出的。Negri和Han（SungjiHan,YoungjoonHan,andHernsooHahn.2009.VehicleDetectionMethodusingHaar-likeFeatureonRealTimeSystem.WorldAcademyofScience,EngineeringandTechnology,InternationalJournalofElectrical,Computer,Energetic,ElectronicandCommunicationEngineering3,11(2009),1957–1961.）等人提出了使用纹理特征来进行车辆检测。Chabot等人提出了很多车辆分析的任务。该架构基于新的从粗到细的目标方案来提高车辆检测和局部定位。Zhou等人提出了一种基于字符的车牌检测方法，他们使用BoW模型来提取局部特征。Kim等人提出了一种使用车辆区域进行提取的车牌检测方法，他们利用R-CNN生成车辆候选，然后对每个车辆区域的车牌进行定位。然而，网络是一个单独的两阶段方法，必须经过两个独立的阶段进行训练。Fu[6]等人提出了一种用于车牌检测的级联卷积神经网络，首先它应用RPN生成车辆候选，然后检测每个候选框中的车牌。该框架是一种端到端的方法，但由于两阶段推理，所以具有较大的计算成本。而且这种方法在车辆定位失败时会导致更多的车牌的错误。Li等人提出了一种统一的端到端可训练的DNN网络，用于自然场景图像中同时进行文本检测和识别。Liu等人提出了一种统一的端到端可训练快速定向文本识别（FOTS）网络，用于同时检测和识别，在两项互补任务中共享计算和视觉信息。
技术实现思路
（1）本专利技术的目的（解决的技术问题）本专利技术所要解决的关键技术问题是，解决复杂自然场景下具有挑战性的车辆与车牌检测问题。在自然环境下的道路场景图像中，背景杂波是很常见的现象，并且检测车牌仅仅本文档来自技高网...

【技术保护点】
1.一个端到端的检测网络，其特征在于可以同时检测给定图像中的车辆和车牌，其中为车辆检测和车牌检测分别设计具有不同卷积层的两个独立分支，同时为提高检测系统的召回率，添加Attention注意力机制来对每个检测分支进行加强，除此之外，针对视频中的实时和有效的目标检测任务，应用几种特定于任务的策略。

【技术特征摘要】
1.一个端到端的检测网络，其特征在于可以同时检测给定图像中的车辆和车牌，其中为车辆检测和车牌检测分别设计具有不同卷积层的两个独立分支，同时为提高检测系统的召回率，添加Attention注意力机制来对每个检测分支进行加强，除此之外，针对视频中的实时和有效的目标检测任务，应用几种特定于任务的策略。2.根据权利要求1中所述的方法，其特征在于，在设计不同的检测分支时，通过低层特征进行车牌的检测，同时使用高层的特征来定位车辆的位置，使用SSD作为基础网络，车辆检测模型和车牌检测模型都是独立进行训练的，都利用了两个检测分支的所有多尺度特征，网络可以在给定的图像上同时检测...

【专利技术属性】
技术研发人员：殷绪成，任红萍，陈松路，杨春，
申请(专利权)人：珠海亿智电子科技有限公司，
类型：发明
国别省市：广东,44