基于多任务学习卷积神经网络的车标识别及属性预测方法技术

本发明专利技术公开了一种基于多任务学习卷积神经网络的车标识别及属性预测方法，包括以下步骤：创建基于多任务学习卷积神经网络；采用自适应任务权重学习策略和任务自动开闭学习策略训练卷积神经网络；使用训练好的卷积神经网络对获取的车辆标识图像进行分层提取特征，根据车标数据库进行车标识别及属性预测。该方法基于卷积神经网络结构，采用多任务学习机制，提出自适应任务权重学习策略和任务自动开闭学习策略，能同时判断车标类别和预测车标属性，并且准确率高。

【技术实现步骤摘要】
基于多任务学习卷积神经网络的车标识别及属性预测方法
本专利技术涉及一种车标识别方法，具体地涉及一种基于多任务学习卷积神经网络的车标识别及属性预测方法。
技术介绍
车辆制造商识别在智能交通系统中起着重要作用。自动获取汽车统计数据和车辆属性信息有助于交通管理和汽车行业。其中，车辆标志在涉及一系列潜在的应用，例如车辆的识别、验证或分类，这对于调查车辆相关犯罪至关重要。与许多其他计算机视觉课题相比，如人脸或行人，车辆标志仍然是一个较少研究的主题。车标涉及一系列特殊困难，包括小尺寸，低分辨率和多角度。虽然，已经出版了许多关于车辆标识识别的论文，这些方法中的大多数遵循常规图像处理流水线，即，提取一些人工定义的特征，例如梯度直方图(HOG)，随后是利用例如支持向量机(SVM)的可训练分类器。这些方法具有许多限制。首先，人工定义的特征不可能同时解决各种因素，例如，视点变化和成像条件。其次，车标识别系统的性能通常取决于车标检测的准确性。近年来，由于强大的特征表达学习能力，深度学习已经引起了广泛的关注。它为人工设计的特征提取器造成的瓶颈问题带来了有希望的解决方案。一种特殊类型的深度学习模型，即卷积神经网络，已经在许多计算机视觉任务中展示了最先进的性能。已经反复验证卷积神经网络可以从原始像素通过非线性映射的几个卷积层提取通用的，鲁棒的和分层的特征。由于优越性，卷积神经网络也已被应用于车辆标识的识别。然而，这些工作对于原始卷积神经网络架构都是非常初步的。并且许多重要的实际问题没有被讨论，例如，与车辆标志相关的属性预测。在计算机视觉领域，针对许多语义任务的属性学习的概念已提出多年，对于视觉目标识别，语义属性可以命名描述目标的属性，从而提供一种方便链接低级特征和高级语义任务书叙述性属性有效工具。已经针对许多多媒体应用(例如，多媒体搜索和检索以及多媒体内容分析和推荐)研究了来自属性的益处。本质上，车标分类和车标属性预测是两个不同的任务。虽然存在不同的可能性来完成它们，但是，由于两个任务之间的共同点，多任务学习方法应当是选项中的最高优先级。多任务学习方法已被研究作为一个重要的机器学习主题，并且，最近被利用到许多计算机视觉问题。多任务学习方法强调不同任务之间的知识共享，同时解决多个相关任务。很多研究成果已经证明知识共享可以提高一些任务或有时所有任务的性能。最近，学术界已经提出了好几种基于卷积神经网络的多任务学习方法，其可以粗略地划分为以下两种类型：任务交替优化方式和任务同时优化方式。在第一类中，训练在任务之间交替，即，对一个任务进行优化，而其他任务不变，并且对于所有任务迭代该过程。在第二类中，对所有任务同时进行学习。在任务交替优化方式中，迭代次数将随着任务量增加而快速增加。在任务同时优化方式中，可以提高系统的性能。本专利技术因此而来。
技术实现思路
针对上述存在的技术问题，本专利技术的目的是提出了一种基于多任务学习卷积神经网络的车标识别及属性预测方法。该方法基于卷积神经网络结构，采用多任务学习机制，提出自适应任务权重学习策略和任务自动开闭学习策略，能同时判断车标类别和预测车标属性，并且准确率高。本专利技术的技术方案是：一种基于多任务学习卷积神经网络的车标识别及属性预测方法，包括以下步骤：S01：创建基于多任务学习卷积神经网络；S02：采用自适应任务权重学习策略和任务自动开闭学习策略训练卷积神经网络，所述自适应任务权重学习策略为：其中，αi是第i个任务的权重，是第j次所有数据迭代中第i个任务的加权，是第i个任务在第j次迭代后验证误差，β是控制任务权重当前迭代和前一次迭代的权重之间平衡的实验参数，N是任务总数；S03：使用训练好的卷积神经网络对获取的车辆标识图像进行分层提取特征，根据车标数据库进行车标识别及属性预测。优选的，所述任务自动开闭学习策略包括暂停执行不佳的任务机制和重新激活暂停的任务机制，所述暂停执行不佳的任务机制为当在验证集上计算每个任务的误差连续H次误差都未减小，暂停该任务；所述重新激活暂停的任务机制为当Eavj-minj＝1,…,JEav>δ，挂起的任务将被重新激活，其中，Etr为训练误差，Eva为验证误差，Eav是平均误差，δ为设定阈值。优选的，所述基于多任务学习卷积神经网络包括依次连接的卷积层、最大池化层、全连层；所述卷积层表达式：C1＝fact(b+∑kwk*xk)式中，xk和C1分别是第k个原始图像和经过第1层卷基层得到的特征图，wk是卷积滤波器的权重，*表示点积运算，b和fact(·)是偏差和非线性映射；所述最大池化层的公式为：式中，第k个输出图yk中的每个神经元生成用于第k个输入图xk的s×s非重叠局部区域；在最后的最大池层之后连接的是被分裂成N个分支的全连层，损失函数的定义如下：式中，L是总损失，N是任务总数，Li是第i个任务的损失函数，αi是第i个任务的权重。与现有技术相比，本专利技术的优点是：该方法基于卷积神经网络结构，采用多任务学习机制，提出自适应任务权重学习策略和任务自动开闭学习策略，采用上述策略训练卷积神经模型，识别车辆标志并同时预测其属性。在基于卷积神经网络的多任务学习的自适应加权方案的基础上，可切换任务学习方案进一步提高系统性能；可以建立更全面的车辆标志数据库，用于标识识别和属性预测，准确率高。既能识别车标还可以对车标属性预测，比如车标是否含有英文字母，是否对称等等属性预测，其对基于内容的图片检索是意义重大的。附图说明下面结合附图及实施例对本专利技术作进一步描述：图1为本专利技术基于多任务学习卷积神经网络的车标识别及属性预测方法的流程图；图2为卷积神经网络模型的结构图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。如图1所示，一种基于多任务学习卷积神经网络的车标识别及属性预测方法，包括以下步骤：S01：创建基于多任务学习卷积神经网络；S02：采用自适应任务权重学习策略和任务自动开闭学习策略训练卷积神经网络。S03：使用训练好的卷积神经网络对获取的车辆标识图像进行分层提取特征，根据车标数据库进行车标识别及属性预测。车标属性预测可以是，比如车标是否含有英文字母，是否对称等等属性预测，其对基于内容的图片检索是意义重大的。1、创建的卷积神经网络结构可以如图2所示，使用卷积神经网络从输入图像中分层提取特征。在卷积神经网络架构中，邻近接收场(内核或滤波器)从左上角到右下角反复滑过整个视野，形成一个特征图，这是卷积运算的本质。卷积运算在每个层中共享相同的参数(权重向量和偏置)。权重的共享减少了大量的变量，同时增加了模型的泛化性能。权重(内核或过滤器)被初始化为随机的，并且将被学习为边缘，颜色或车辆标志的特定模式检测器。卷积运算公式化如下：式(1)中xk和C1分别是第k个原始图像和经过第1层卷基层得到的特征图。wk是卷积滤波器的权重。*表示点积运算。b和fact(·)是偏差和非线性映射。滤波器的权重被随机初始化，然后使用反向传播算法进行训练。卷积层本质上执行的是线性滤波。为了形成全局的非线性复杂模型，非线性激活函数必须本文档来自技高网...

【技术保护点】
一种基于多任务学习卷积神经网络的车标识别及属性预测方法，其特征在于，包括以下步骤：S01：创建基于多任务学习卷积神经网络；S02：采用自适应任务权重学习策略和任务自动开闭学习策略训练卷积神经网络，所述自适应任务权重学习策略为：

【技术特征摘要】
1.一种基于多任务学习卷积神经网络的车标识别及属性预测方法，其特征在于，包括以下步骤：S01：创建基于多任务学习卷积神经网络；S02：采用自适应任务权重学习策略和任务自动开闭学习策略训练卷积神经网络，所述自适应任务权重学习策略为：其中，αi是第i个任务的权重，是第j次所有数据迭代中第i个任务的加权，是第i个任务在第j次迭代后验证误差，β是控制任务权重当前迭代和前一次迭代的权重之间平衡的实验参数，N是任务总数；S03：使用训练好的卷积神经网络对获取的车辆标识图像进行分层提取特征，根据车标数据库进行车标识别及属性预测。2.根据权利要求1所述的基于多任务学习卷积神经网络的车标识别及属性预测方法，其特征在于，所述任务自动开闭学习策略包括暂停执行不佳的任务机制和重新激活暂停的任务机制，所述暂停执行不佳的任务机制为当在验证集上计算每个任务的误差连续H次误差都未减小，暂停该任务；所述重新激活暂停的任务机制为当Eavj-minj＝1,...,JEav>δ，挂起的任务将被重新激活，其中，Etr为训练误差，Eva为验...

【专利技术属性】
技术研发人员：张百灵，夏翌彰，颜诗洋，钱荣强，
申请(专利权)人：西交利物浦大学，
类型：发明
国别省市：江苏,32