基于迁移学习实现跨场景冷启动的车型识别装置与方法制造方法及图纸

一种基于迁移学习实现跨场景冷启动的车型识别装置与方法，该车型识别装置设有三个组成部件：数据处理单元，网络训练单元和识别应用单元，本发明专利技术是在目标域只有少量已标注车型信息的车辆图像数据时，采用迁移学习的域适应方法，减少旧车型识别场景的源域和新车型识别场景的目标域之间的车型识别卷积神经网络模型的参数差异性，实现从旧车型识别场景到新车型识别场景的车型识别卷积神经网络模型的参数迁移，实现跨场景冷启动的车型识别。本发明专利技术能够用于实际智慧交通工程的初始阶段，在缺乏实际车型识别场景的已标注车型信息的车辆图像数据的条件下，使得卷积神经网络模型在车型识别任务上达到一个较高的准确率，具有较好的应用前景。

Vehicle Type Recognition Device and Method for Cross-Scene Cold Start Based on Transfer Learning

A vehicle type recognition device and method based on migration learning to realize cross-scene cold start is presented. The vehicle type recognition device consists of three components: data processing unit, network training unit and recognition application unit. The present invention adopts the domain adaptation method of migration learning to reduce the source of the old vehicle type recognition scene when there is only a small amount of vehicle image data in the target domain with marked vehicle type information. The parameter difference of the convolution neural network model of vehicle type recognition between the domain and the target domain of the new vehicle type recognition scene can realize the parameter migration of the convolution neural network model of vehicle type recognition from the old vehicle type recognition scene to the new vehicle type recognition scene, and realize the vehicle type recognition of cross-scene cold start. The invention can be used in the initial stage of practical intelligent traffic engineering, and can achieve a high accuracy of the convolutional neural network model in vehicle type recognition task under the condition of lacking the vehicle image data of the tagged vehicle type information in the actual vehicle type recognition scene, thus having a good application prospect.

【技术实现步骤摘要】
基于迁移学习实现跨场景冷启动的车型识别装置与方法
本专利技术涉及一种基于迁移学习实现跨场景冷启动的车型识别装置与方法，属于计算机视觉和图像处理的

技术介绍
首先介绍与说明本专利技术所涉及的下述专业术语的含义：微调(fine-tune)是迁移学习的一种方法：在一个已经训练完成的模型基础上继续训练新任务的模型。通常认为卷积神经网络CNN(ConvolutionalNeuralNetwork)(若不特别说明，本专利技术的网络均为卷积神经网络)的前几层只提取通用的底层特征，所以训练新任务的模型时，只需要训练后几层的参数，也就是提取该新任务的特有特征。微调可以加快卷积神经网络的训练速度，在数据集的数量不是很大时，其实现效果非常好。Imagenet数据集是一个用于图像识别的海量图像数据集，通常的网络模型都拥有在该海量图像数据集上训练好的网络参数，在执行其他任务时，可以在这些训练好的网络参数上再进行微调，以便加快训练速度，提高模型效果。支持向量机SVM(SupportVectorMachine)，作为一种机器学习算法，通常用于解决有监督的分类问题。SVM通过寻找具有最小间隔的样本点，拟合一个可以在分割不同类别样本的超平面来进行分类。SVM实现二分类时，一般是将训练集的数据作为输入，该训练数据集包括两个类别、并且都已经标注信息的数据样本，再对算法不断训练，拟合出一个超平面，即训练好的SVM分类器。该SVM分类器可以对任意一个样本进行判断，判断该样本属于两个类别的其中一个。目标检测，是采用各种图像处理方法，从给定的一张图像中，分离出图像中的目标与背景，并检测判断目标所属类别以及目标在整张图像中的位置。随着人工智能和物联网技术的快速发展，智慧城市的研发课题应运而生。其中，智慧交通作为一个重要的公共资源，能够提供交通实时监控、车辆实时管理、旅行信息服务和车辆辅助控制等多种功能。而在车辆实时管理中，通过对道路上监控摄像头中的视频图像进行分析，实现实时的车型识别与分类，进而对车辆数据执行实时统计与分析，就能够有效管理城市车辆的通行状况。此外，车型识别对于车辆重识别(从不同时间与地点分别采集的监控视频中，识别出同一个目标车辆)与车辆追踪也有很大的帮助，对于公共安全与犯罪预防都有重大意义。车型识别是识别车辆身份，包括车辆品牌，车辆子型号及其具体生产年款。这个课题比较复杂，具有较大难度。因为现在的各种机动车辆的品牌非常繁杂多样，每个品牌里，又有众多子品牌；每个子品牌下还设有多种不同的型号；即使同一型号车型的机动车，如果生产年份不同，也会存在各式各样的差异。粗略估计，目前道路上行驶的机动车辆就有上千种类别的不同车型，因此，要对如此众多车型实现正确识别是个非常棘手的问题。深度学习是一种目前应用最广的、使用卷积神经网络CNN的图像识别方法。深度学习提供了一种端到端的学习模型：通过SGD(StochasticGradientDescent)，RMSprop(RootMeanSquareprop)，Adagrad，Adadelta，Adam，Adamax，Nadam等优化方法对卷积神经网络中的参数进行训练优化，训练后的CNN就能够自动提取图像中需要检测的目标特征，并完成对该需要检测的图像中的目标特征的提取和分类。现在，深度学习已经被广泛应用于包括图像识别、目标检测、目标追踪、图像分割等不同应用领域的多种图像处理技术中。目前的深度学习存在一个重要问题，就是对标注数据有很强的依赖，而真实世界存在着海量的无标记的图像数据，如果要对这些无标记图像数据全部实现人工标签的添加，显然是不现实的，必须消耗大量的人力，物力和时间资源。迁移学习TL(TransferLearning)是运用已有知识对于不同应用的
、但具有相关特性的问题进行求解的一种机器学习方法，其目标是在相关领域完成知识的迁移，以便能够将在特定数据集上进行训练而获得的相关“知识”成功地运用到新的领域中；也就是用于解决域适应DA(DomainAdaption)问题，实现从源域(sourcedomain，本专利技术的源域是已有大量标注数据的旧车型识别场景)到目标域(targetdomain，本专利技术的目标域是只有少量标注数据的新车型识别场景)的学习迁移的方法。现在，迁移学习已被广泛应用于很多机器学习和深度学习领域，当从一个应用领域来到另一个应用领域，图像数据分布发生变化时，很多学习模型都需要重新开始使用全新的训练图像对图像数据进行重建和标记。如果采用迁移学习，可以避免大量代价昂贵的图像数据标注操作，减少深度学习模型对标注数据的依赖和减少网络训练开销，能够使得原有的训练图像数据可以在新的应用领域得到很好的适用，同时提高模型的稳定性和泛化能力。深度学习的域适应方法有很多，常用的有：深度适应网络DAN(DeepAdaptationNetworks)、联合适应网络JAN(JointAdaptationNetworks)等。其中，DAN是将CNN中与学习任务相关的隐藏层映射于再生核希尔伯特空间中，再通过多核优化方法对不同域之间的距离实现最小化。JAN提出一种新的联合分布距离度量关系，利用这种关系泛化深度模型的迁移学习能力，进而适配不同应用领域的图像数据分布，基于AlexNet和GoogLeNet对网络结构实现优化。参见表1，介绍AlexNet的网络结构及其参数：网络层输入维度卷积核大小输出维度参数量Input227x227x3-227x227x30Conv1227x227x311x11x9655x55x9634944MaxPool155x55x963x327x27x960Norm127x27x96-27x27x960Conv227x27x965x5x25627x27x256614656MaxPool227x27x2563x313x13x2560Norml213x13x256-13x13x2560Conv313x13x2563x3x38413x13x384885120Conv413x13x3843x3x38413x13x3841327488Conv513x13x3843x3x25613x13x256884992MaxPool313x13x2563x36x6x2560FC66x6x256-409637752832FC74096-409616781312FC84096-10004097000在表1中，input层的输入维度为输入图像的大小，Conv1是第一个卷积层，负责执行卷积运算和提取特征；MaxPool1是第一个最大池化层，用于对输入进行降维处理；Norm1为第一个BatchNormalization层，负责在训练中加快网络收敛速度；FC6代表全连接层6。这个AlexNet网络共有62,378,344个参数。应用于图像处理、图像识别、目标检测和图像分割等计算机图像处理任务的卷积神经网络CNN是一种前馈神经网络，通常包括用于逐层提取图像特征的卷积层、池化层和全连接层。下面参见图1，介绍一种AlexNet+DAN卷积神经网络的结构组成：图1中的前三层(conv1,conv2,conv3)参数frozen(参数数值固定，训练时不更新)，对第四层(conv4)和第五层(conv5)的参数进行微调fine本文档来自技高网...

【技术保护点】
1.一种基于迁移学习实现跨场景冷启动的车型识别装置，其特征在于：所述装置是采用迁移学习的域适应方法，减少旧车型识别场景的源域和新车型识别场景的目标域之间的车型识别卷积神经网络模型的参数差异性，实现从旧车型识别场景到新车型识别场景的车型识别卷积神经网络模型的参数迁移，也就是实现跨场景冷启动的车型识别；该装置设有三个组成部件：数据处理单元，网络训练单元和识别应用单元；其中：数据处理单元，负责获取车辆图像数据，并对所获得的车辆图像数据进行分类筛选后，传送给网络训练单元；设有两个组件：车辆图像数据获取模块和车辆图像数据筛选模块；其中：车辆图像数据获取模块是从互联网中爬取所需的对应车辆图像，或者下载已公开的其他场景的对应车辆图像集，再将该两种车辆图像保存于本地，因该两种车辆图像在获取前均已标注车型信息，故被称为旧场景车辆图像；同时获取当前车型识别场景的设定数量的车辆图像，并对该类车辆图像标注车型信息，并称其为当前场景已标注信息的车辆图像；然后将所获取的该两类车辆图像：旧场景车辆图像和当前场景已标注信息的车辆图像，都传送到车辆图像数据筛选模块；车辆图像数据筛选模块负责从旧场景车辆图像中，分类筛选出与当前场景已标注信息的车辆图像尽可能相同或相近的车辆图像，用作微调模块的训练图像：先把旧场景车辆图像集合分为两个子集：旧场景支持向量机SVM(Support Vector Machine)训练集和旧场景SVM筛选集；车辆图像数据筛选模块又从当前场景已标注信息的车辆图像中挑选设定数量的车辆图像作为当前场景SVM训练集；然后用旧场景SVM训练集和当前场景SVM训练集的两类车辆图像训练SVM分类器实现二分类：与旧场景图像相似类、即与当前场景图像不相似类，以及与当前场景图像相似类；此外，还对旧场景SVM筛选集中的每张车辆图像进行分类筛选：只筛选保存其中被分类为与当前场景图像相似类的车辆图像，并传输给网络训练单元，作为网络训练单元中的微调模块的训练图像，以使微调模块训练参数更接近于当前车型识别场景中的车型识别模型参数，提高车型识别准确率；网络训练单元，负责对接收的筛选后的微调模块训练图像以及当前场景已标注信息的车辆图像进行训练，也就是对该卷积神经网络模型中的参数数值在训练过程中继续进行修正，以便能够用作车型识别卷积神经网络模型中的参数；再将更新修正后的训练参数传送给识别应用单元；设有微调模块和迁移学习模块；其中：微调模块使用卷积神经网络模型，在ImageNet大规模图像识别数据集的预训练模型参数基础上对微调模块训练图像进行训练，以使该卷积神经网络模型能够实现高识别准确率，再将该训练后的卷积神经网络模型各项参数传输给迁移学习模块；迁移学习模块使用与微调模块相同的卷积神经网络模型和加入域适应方法，基于微调模块输出的卷积神经网络模型各项参数，分别对微调模块训练图像和当前场景已经标注信息的车辆图像再次进行训练，然后将该迁移学习模块训练后的各项参数，输出到识别应用单元；识别应用单元，作为该装置的关键模块，负责利用来自迁移学习模块的各项参数作为车型识别模块中的卷积神经网络模型的参数，控制和执行当前车型识别场景中的车型识别处理全部操作；设有摄像头，视频流处理模块，车型识别模块和识别结果存储模块；其中：摄像头负责实时获取所设关卡的道路信息，并将所拍摄的该关卡道路的视频数据流输出给视频流处理模块；视频流处理模块负责对接收的视频数据流进行分析处理后，将从其中的每帧或抽样帧中截取所有的车辆图像，即当前场景待识别的车辆图像，再输送到车型识别模块；车型识别模块使用与微调模块相同的卷积神经网络模型和加载迁移学习模块输出的各项参数后，利用该卷积神经网络模型对每帧或抽样帧中截取的车辆图像进行车型识别，判断该车辆所归属的车型品牌、型号和生产年份，最后将该车型识别判断结果传送给识别结果存储模块；识别结果存储模块负责在其数据库中存储和标记所接收的车辆图像及其车型识别结果，以便用于管理和查询。...

【技术特征摘要】
1.一种基于迁移学习实现跨场景冷启动的车型识别装置，其特征在于：所述装置是采用迁移学习的域适应方法，减少旧车型识别场景的源域和新车型识别场景的目标域之间的车型识别卷积神经网络模型的参数差异性，实现从旧车型识别场景到新车型识别场景的车型识别卷积神经网络模型的参数迁移，也就是实现跨场景冷启动的车型识别；该装置设有三个组成部件：数据处理单元，网络训练单元和识别应用单元；其中：数据处理单元，负责获取车辆图像数据，并对所获得的车辆图像数据进行分类筛选后，传送给网络训练单元；设有两个组件：车辆图像数据获取模块和车辆图像数据筛选模块；其中：车辆图像数据获取模块是从互联网中爬取所需的对应车辆图像，或者下载已公开的其他场景的对应车辆图像集，再将该两种车辆图像保存于本地，因该两种车辆图像在获取前均已标注车型信息，故被称为旧场景车辆图像；同时获取当前车型识别场景的设定数量的车辆图像，并对该类车辆图像标注车型信息，并称其为当前场景已标注信息的车辆图像；然后将所获取的该两类车辆图像：旧场景车辆图像和当前场景已标注信息的车辆图像，都传送到车辆图像数据筛选模块；车辆图像数据筛选模块负责从旧场景车辆图像中，分类筛选出与当前场景已标注信息的车辆图像尽可能相同或相近的车辆图像，用作微调模块的训练图像：先把旧场景车辆图像集合分为两个子集：旧场景支持向量机SVM(SupportVectorMachine)训练集和旧场景SVM筛选集；车辆图像数据筛选模块又从当前场景已标注信息的车辆图像中挑选设定数量的车辆图像作为当前场景SVM训练集；然后用旧场景SVM训练集和当前场景SVM训练集的两类车辆图像训练SVM分类器实现二分类：与旧场景图像相似类、即与当前场景图像不相似类，以及与当前场景图像相似类；此外，还对旧场景SVM筛选集中的每张车辆图像进行分类筛选：只筛选保存其中被分类为与当前场景图像相似类的车辆图像，并传输给网络训练单元，作为网络训练单元中的微调模块的训练图像，以使微调模块训练参数更接近于当前车型识别场景中的车型识别模型参数，提高车型识别准确率；网络训练单元，负责对接收的筛选后的微调模块训练图像以及当前场景已标注信息的车辆图像进行训练，也就是对该卷积神经网络模型中的参数数值在训练过程中继续进行修正，以便能够用作车型识别卷积神经网络模型中的参数；再将更新修正后的训练参数传送给识别应用单元；设有微调模块和迁移学习模块；其中：微调模块使用卷积神经网络模型，在ImageNet大规模图像识别数据集的预训练模型参数基础上对微调模块训练图像进行训练，以使该卷积神经网络模型能够实现高识别准确率，再将该训练后的卷积神经网络模型各项参数传输给迁移学习模块；迁移学习模块使用与微调模块相同的卷积神经网络模型和加入域适应方法，基于微调模块输出的卷积神经网络模型各项参数，分别对微调模块训练图像和当前场景已经标注信息的车辆图像再次进行训练，然后将该迁移学习模块训练后的各项参数，输出到识别应用单元；识别应用单元，作为该装置的关键模块，负责利用来自迁移学习模块的各项参数作为车型识别模块中的卷积神经网络模型的参数，控制和执行当前车型识别场景中的车型识别处理全部操作；设有摄像头，视频流处理模块，车型识别模块和识别结果存储模块；其中：摄像头负责实时获取所设关卡的道路信息，并将所拍摄的该关卡道路的视频数据流输出给视频流处理模块；视频流处理模块负责对接收的视频数据流进行分析处理后，将从其中的每帧或抽样帧中截取所有的车辆图像，即当前场景待识别的车辆图像，再输送到车型识别模块；车型识别模块使用与微调模块相同的卷积神经网络模型和加载迁移学习模块输出的各项参数后，利用该卷积神经网络模型对每帧或抽样帧中截取的车辆图像进行车型识别，判断该车辆所归属的车型品牌、型号和生产年份，最后将该车型识别判断结果传送给识别结果存储模块；识别结果存储模块负责在其数据库中存储和标记所接收的车辆图像及其车型识别结果，以便用于管理和查询。2.根据权利要求1所述的车型识别装置，其特征在于：所述网络训练单元中的微调模块与迁移学习模块，以及识别应用单元中的车型识别模块都设置和使用相同的一种卷积神经网络模型，所述卷积神经网络模型的种类包括AlexNet、VGG、ResNet、GoogleNet、MobileNet、DenseNet、SE-Net和DarkNet。3.根据权利要求1所述的车型识别装置，其特征在于：所述视频流处理模块处理视频数据流的过程是：先提取该视频数据流的每帧或抽样帧的图像，再用目标检测算法检测每帧或抽样帧的图像中是否存在车辆...

【专利技术属性】
技术研发人员：王洪波，薛茜，崔彤，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11