基于多任务深度学习快速哈希车辆检索方法技术

一种基于多任务深度学习快速哈希车辆检索方法，包括用于深度学习和训练识别的多任务深度卷积神经网络、用于提高检索精度和检索方法实用性的分段紧凑哈希码及实例特征的特征融合方法、用于提升检索性能的局部敏感哈希再排序算法和用于提升检索引擎鲁棒性和准确性的跨模态检索方法。首先，提出了一种多任务深度卷积网络分段学习哈希码方法，将图像语义和图像表示相结合，利用相关任务之间的联系提高检索精度和细化图像特征，同时采用最小化图像编码使学习到的车辆特征更具有鲁棒性；其次，选用特征金字塔网络再提取车辆图像的实例特征；接着，利用局部敏感哈希再排序方法对提取到的特征进行检索；最后，对无法获取查询车辆目标图像的特殊情况采用跨模态辅助车辆检索方法。

【技术实现步骤摘要】
基于多任务深度学习快速哈希车辆检索方法
本专利技术涉及人工智能、数字图像处理、卷积神经网络和计算机视觉在公共安全领域方面的应用，属于智能交通领域。
技术介绍
在智慧城市、智能交通迅速发展的今天，公共安全系统中大规模图像监控及视频数据库的车辆识别、车辆检索的需求急剧增长。现有技术中，对于车辆的检索方法，主要是提取目标车辆的车牌信息。然后，再根据车牌信息对待检索机动车辆进行检索。一般具体做法是从监控图像中识别车辆的车牌号码，然后再在其他监控图像中识别是否具有该车牌号码的机动车辆。这种仅仅依靠车牌号进行检索的方法虽然容易实现，但是，对于无法获取到牌照信息的机动车辆，如假牌套牌车辆则无法进行有效检索。基于外观特征的车辆检索技术不仅能弥补传统车牌识别方法的局限和不足，在智能车辆检索，尤其在违章稽查、肇事追捕、犯罪嫌疑车辆锁定，套牌车辆鉴别，以及加快刑侦破案效率和速度都具有非常重要的现实意义和十分广阔的应用前景。现有的车辆检索方法基本上是利用sift、surf、dog等算法提取目标车辆图像的整幅图像特征，将该特征作为目标特征，利用相同的算法提取数据库中各个车辆图像的整幅图像特征，将该特征作为待匹配特征，计算目标特征与各个待匹配特征之间的欧式距离，将欧式距离最近的待匹配特征对应的车辆作为目标车辆。车辆检索要求在一系列外形相似的车辆中找出特定目标的车辆，这就使得工作变得更具挑战性；不仅如此，还要考虑到实际情况，诸如监控环境、天气情况以及光照条件等因素的影响。最近几年深度学习在计算机视觉领域的技术得到了迅速的发展，深度学习能利用大量的训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取图像特征。数字图像是以矩阵来描述的，卷积神经网络更好地从局部信息块出发，进而描述图像的整体结构，故在计算机视觉领域，深度学习方法中大多采用卷积神经网络来解决问题。围绕着提高检测精度和检测时间，深度卷积神经网络技术从R-CNN，FasterR-CNN到FastererR-CNN。具体表现为进一步精度提升、加速、端到端及更实用化，几乎覆盖了从分类到检测、分割、定位各个领域。深度学习技术运用于车辆检索将是一个非常有实际应用价值的研究领域。再排序是图像检索技术中常用的提升检索性能的技术，例如，可通过图像对之间的视觉特征匹配关系对初始检索结果进行再排序。然而，再排序效果极大依赖于所使用的视觉特征是否能够足够有效地表达图像。在相似车辆搜索中，由于很多车辆往往外形很相似，提取出的视觉特征也会比较相似，无法区分不同车型，从而导致这种直接使用图像对之间的匹配关系的再排序方法不能较好的检索出相似车辆。查询扩展是检索技术中用来提高召回率和准确率的常用方法。查询扩展技术是将原来查询句增加新的关键字来重新查询的方法，例如搜索引擎会将使用者输入的查询句先做一次检索，根据检索出来的文件，选取出适合的关键字，加到查询句重新检索，借此来找出更多的相关文件。可见，查询扩展可有效地提高资讯检索的召回率，但是现有技术中还没有针对图像中的车辆这一特殊对象提出有针对性的查询扩展方法。申请号为201510744990.4的中国专利申请公开的“一种基于相似度学习的车辆检索方法”，相对于传统基于车牌号码的车辆检索方法，提出的方法不仅有效避免了对车牌识别准确度的依赖，称可以对假牌车和套牌车进行检索。但是，该技术还是属于前深度学习时代的计算机视觉技术。申请号为201610671729.0的中国专利申请公开的一种基于大数据的车辆检索方法及装置，该方法包括：提取目标车辆图像中目标车辆的品牌特征；确定目标车辆图像中每个像素点对应各个标志物的概率，其中，标志物包括年检标、摆件、挂饰中的一种或多种；根据目标车辆图像中每个像素点对应各个标志物的概率以及各个标志物对应的概率阈值，确定各个标志物在目标车辆图像中的位置；根据各个标志物在目标车辆图像中的位置提取各个标志物的图像特征；根据目标车辆图像中各个标志物的图像特征以及目标车辆的品牌特征在多个待检索车辆图像中检索目标车辆。该技术虽然采用了深度学习技术，但是还是属于单任务的深度学习技术；然而车辆检索属于一种典型的多任务的深度学习技术。申请号为201410381577.1的中国专利申请公开了一种相似车辆检索中的查询扩展方法及装置，其中所述方法包括：根据包括车辆的待查询图像，确定所述待查询图像的车型信息；从所述待查询图像的车型信息对应的车型模板库中选取符合预设条件的多个样例图像；将所述样例图像组成查询扩展图像集合，以使所述查询扩展图像集合中的样例图像代替所述待查询图像在目标数据库中进行查询；其中，所述车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像，由上述方法可提高车辆图像检索的召回率和准确率。该方法其实还是属于前深度学习时代的图像检索技术。申请号为201410652730.X的中国专利申请公开了一种基于图像的机动车辆检索方法及装置。所述方法包括：获取包含待检索机动车辆信息的第一图像；从所述第一图像中确定所述待检索机动车辆的第一外观轮廓；将所述第一外观轮廓内的图像划分为多个区域，采用不同的步长提取各个区域的图像特征；合并各个区域的图像特征，得到待检索机动车辆的整体图像特征；将所述待检索机动车辆的整体图像特征与预先提取的目标机动车辆的整体图像特征进行比对，得到比对结果。该方法其实还是属于前深度学习时代的图像检索技术。
技术实现思路
针对如何高效利用公共安全领域中产生的海量视频数据，提升大数据时代的车辆检索效率等问题，本专利技术提出了一种基于多任务深度学习快速哈希检索方法，有效利用检测识别任务之间的关联性、卡口车辆基本信息的多样性来实现实时检索的目的；最终提供一种检索精度高、鲁棒性好的多任务深度学习快速哈希车辆检索方法。本专利技术解决其技术问题所采用的技术方案是：一种基于多任务深度学习快速哈希车辆检索方法，所述车辆检索方法包括以下步骤：第一步，构建用于深度学习和训练识别的多任务深度卷积神经网络；第二步，采用分段紧凑哈希码及实例特征的特征融合方法；第三步，采用局部敏感哈希再排序算法；第四步，采用跨模态检索方法，实现车辆检索。进一步，所述第一步中，采用FasterR-CNN作为多任务卷积神经网络的基础网；网络最前面的是3×3卷积网络，称为conv1，后面紧接4个堆叠卷积模块命名为conv2_x到conv5_x，每个模块分别包含了{2,3,3,3}个单元，conv1到conv4_3作为共享网络；其后是RPN，即区域建议网络，RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上；每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值；这个向量输出给两个同级的全连接的层；所述的RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的矩形目标建议框的目标指的是车辆对象；对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个本文档来自技高网...

【技术保护点】
一种基于多任务深度学习快速哈希车辆检索方法，其特征在于：所述车辆检索方法包括以下步骤：第一步，构建用于深度学习和训练识别的多任务深度卷积神经网络；第二步，采用分段紧凑哈希码及实例特征的特征融合方法；第三步，采用局部敏感哈希再排序算法；第四步，采用跨模态检索方法，实现车辆检索。

【技术特征摘要】
1.一种基于多任务深度学习快速哈希车辆检索方法，其特征在于：所述车辆检索方法包括以下步骤：第一步，构建用于深度学习和训练识别的多任务深度卷积神经网络；第二步，采用分段紧凑哈希码及实例特征的特征融合方法；第三步，采用局部敏感哈希再排序算法；第四步，采用跨模态检索方法，实现车辆检索。2.如权利要求1所述的基于多任务深度学习快速哈希车辆检索方法，其特征在于：所述第一步中，采用FasterR-CNN作为多任务卷积神经网络的基础网；网络最前面的是3×3卷积网络，称为conv1，后面紧接4个堆叠卷积模块命名为conv2_x到conv5_x，每个模块分别包含了{2,3,3,3}个单元，conv1到conv4_3作为共享网络；其后是RPN，即区域建议网络，RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上；每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值；这个向量输出给两个同级的全连接的层；所述的RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的矩形目标建议框的目标指的是车辆对象；对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即GroundTruth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；遵循FasterR-CNN中的多任务损失，最小化目标函数；对一个图像的损失函数定义为：这里，i是一个anchor的索引，pi是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，Ncls是cls项的归一化值为mini-batch的大小，Nreg是reg项的归一化值为anchor位置的数量，分类损失函数Lcls是两个类别，即机动车辆目标vs.道路背景的对数损失：对于回归损失函数Lreg，用以下函数定义：式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smoothL1；式中，smoothL1为smoothL1损失函数，x为变量。3.如权利要求1或2所述的基于多任务深度学习快速哈希车辆检索方法，其特征在于：所述多任务深度卷积神经网络中，设计一种多任务目标函数是至关重要的；多任务目标函数用公式(5)表示；式中，是输入特征向量和权重参数wt的映射函数，L(·)为损失函数，Φ(wt)为权重参数的正则化值，T为总任务数，对于第t个任务的训练数据记为其中t∈(1,T)，i∈(1,N)，N为总训练样本数，分别为第i样本的特征向量和标注标签；对于损失函数，利用softmax配合对数似然代价函数训练最后一层的特征，实现多任务图像分类，softmax损失函数用公式(6)定义，式中，xi为第i深度特征，Wj为最后一个全连接层中权重的第j列，b是偏置项，m,n分别为处理样本数量与类别数。4.如权利要求1或2所述的基于多任务深度学习快速哈希车辆检索方法，其特征在于：所述第二步中，分段紧凑哈希码及实例特征的特征融合方法过程如下：在车辆图像特征提取阶段，首先，通过softmax激活函数将阈值限制在[0,1]之间；然后，通过分段阈值函数来促进二进制哈希码的输出，使用分段学习和编码策略减少哈希码间的冗余性来提高特征鲁棒性；最后，通过特征融合的方式将分段学习来的哈希码进行融合最终得到车辆特征分段紧凑哈希码；对于车辆的实例特征，实现方法是：分别从conv2_x到conv5_x共享堆叠卷积每个模块的最后一个单元结合RPN网络的输出，添加金字塔池化层和向量扁平层以适应不同尺寸的卷积特征图输入，同时将卷积三维特征扁平化为一维特征向量，该向量称为车辆的实例特征；最后，将车辆分段紧凑哈希...

【专利技术属性】
技术研发人员：汤一平，温晓岳，柳展，张文广，樊锦祥，
申请(专利权)人：银江股份有限公司，
类型：发明
国别省市：浙江,33