一种基于深度极化哈希的分层车辆图像检索方法技术

本发明专利技术公开了一种基于深度极化哈希的分层车辆图像检索方法，包括获取车辆图像数据集并进行预处理；搭建分层极化网络模型，进行极化损失函数和优化器的配置，并导入车辆图像数据集进行特征学习和哈希函数学习的训练；利用训练好的分层极化网络模型提取数据集中查询图像和数据库图像的超类特征和子类特征，并利用学习后的哈希函数对超类特征和子类特征进行哈希化，得到哈希码；通过得到的哈希码的超类哈希特征和哈希子类特征计算相似度进行分层图像检索，得到检索结果。本发明专利技术通过利用车辆图片的超类子类标签学习超类子类哈希特征，采用分层哈希检索的方式，检索出与查询图片同一型号的车辆，加快车辆图像检索的速度和精度。度。度。

【技术实现步骤摘要】
一种基于深度极化哈希的分层车辆图像检索方法


[0001]本专利技术涉及图像处理
，特别涉及一种基于深度极化哈希的分层车辆图像检索方法。

技术介绍

[0002]从20世纪70年代开始，有关图像检索的研究就已开始，当时主要是基于文本的图像检索技术(TBIR)，利用文本描述的方式描述图像的特征，如绘画作品的作者、年代、流派、尺寸等。到90年代以后，出现了对图像的内容语义，如图像的颜色、纹理、布局等进行分析和检索的图像检索技术，即基于内容的图像检索(CBIR)技术。CBIR还包括对动态视频、音频等其它形式多媒体信息的检索技术。
[0003]后来随着深度学习的广泛应用，以及CNN提取图像深度特征的强大能力，研究人员开始通过深度学习来提取图像特征，这种深度特征比传统的GIST、SIFT等方法提取的特征有用的多，应用到图像检索上面十分有效。
[0004]而对于车辆检索领域，在当前的大数据时代，每条公路上都有好多监控摄像头，每天都会产生大量的车辆图片数据。车辆图像检索的任务就是从这些海量的车辆图像数据中检索出与给定查询图片同一型号甚至同一车牌的图片，但是这些大量车辆图像数据的检索数据库变得越来越大，通过深度学习提取图像的特征越来越慢、越来越繁琐，从而导致检索的速度和精度都有所损失。为了加快检索速度，研究人员引入哈希码，将图片的特征进行哈希化，通过汉明距离计算他们之间的相似度以加快检索速度。而训练哈希函数的量化损失往往是不可微的，因此无法通过梯度下降法反向传播更新网络参数，有的研究人员就通过近似的方法逼近要学习的哈希函数，但是这样通常或多或少会存在一些量化误差，导致最终的检索结果并没有达到最好。

技术实现思路

[0005]本专利技术的目的克服现有技术存在的不足，为实现以上目的，采用一种基于深度极化哈希的分层车辆图像检索方法，以解决上述
技术介绍
中提出的问题。
[0006]一种基于深度极化哈希的分层车辆图像检索方法，包括：
[0007]获取车辆图像数据集并进行预处理；
[0008]搭建分层极化网络模型，进行极化损失函数和优化器的配置，并导入车辆图像数据集进行特征学习和哈希函数学习的训练；
[0009]利用训练好的分层极化网络模型提取数据集中查询图像和数据库图像的超类特征和子类特征，并利用学习后的哈希函数对超类特征和子类特征进行哈希化，得到哈希码；
[0010]通过得到的哈希码的超类哈希特征和哈希子类特征计算相似度进行分层图像检索，得到检索结果。
[0011]作为本专利技术的进一步的方案：所述获取车辆图像数据集并进行预处理的具体步骤包括：
[0012]获取车辆图像数据集，所述车辆图像数据集包括m张图像的训练集和n张图像的测试集，其中将m张图像的训练集作为待检索数据库；
[0013]对车辆图像训练集进行预处理，根据车辆品牌划分为若干个超类，再在每个超类品牌中根据不同车辆型号划分为若干个子类；
[0014]对输入的车辆图像训练集的RBG通道归一化处理，限定于
‑
1至1之间，并采用裁剪、翻转，以及旋转的数据增强方法对车辆图像固定大小尺寸。
[0015]作为本专利技术的进一步的方案：所述搭建分层极化网络模型，进行极化损失函数和优化器的配置，并导入车辆图像数据集进行特征学习和哈希函数学习的训练的具体步骤包括：
[0016]获取车辆图像数据集的训练集和测试集；
[0017]搭建分层极化网络模型，制定深度模型训练策略，其中训练集与测试集的比例为m:n＝4:1；
[0018]再对输入的车辆图像样本进行归一化处理：(image/255)
×2‑
1；
[0019]其中，image为输入的车辆图像样本，采用数据增强方法扩大训练样本量，对车辆图像统一调整尺寸大小到256*256，然后剪裁尺寸大小到224*224；
[0020]通过模型的骨干网络学习深度特征，对划分为超类和子类分支学习对应的超类特征和子类特征；
[0021]将模型的优化器设定为Adam，采用可微分的极化损失函数优化网络参数，设置哈希函数的初始化长度为bit位的{1，
‑
1}随机值，然后采用自适应更新的方式更新超类和子类对应的哈希函数。
[0022]作为本专利技术的进一步的方案：所述通过模型的骨干网络学习深度特征，对划分为超类和子类分支学习对应的超类特征和子类特征的具体步骤包括：
[0023]将ResNet50网络作为骨干网络提取每张图片的深度特征，公式为：X＝ResNet(T)；
[0024]然后设置超类分支为一个全连接层网络学习超类特征V
sup
＝FC(X)，子类分支为d个全连接层网络学习每一个超类的子类特征V
isub
＝FC(X)，i∈{1,2,
…
,d}；
[0025]其中，ResNet()为ResNet50网络，FC()为全连接层网络，d为超类类别数。
[0026]作为本专利技术的进一步的方案：所述采用可微分的极化损失函数优化网络参数的具体步骤包括：
[0027]采用可微分的极化损失函数使得骨干网络的输出特征V中的每个元素均偏离0，所述极化损失函数的公式：
[0028][0029]其中，v为每个分支的超类子类特征，t为要学习的哈希函数，m为阈值，用于控制极化损失的极化程度，K为哈希位数bit；
[0030]得到目标函数为：
[0031][0032]其中，w为网络中要学习的权重，L为类别数，C
x
为第x类的样本集；
[0033]将得到的超类损失L
psup
和d个子类损失L
pisub
之和作为最终的总损失，i∈{1,2,
…
,d}。
[0034]作为本专利技术的进一步的方案：所述采用自适应更新的方式更新超类和子类对应的哈希函数的具体步骤包括：
[0035]对于每一个类别c，获取其预测正确的特征v
c
，然后将该特征值符号化作为更新后的哈希值，即t
c_new
＝sign(v
c
)，其中sign()为符号函数。
[0036]作为本专利技术的进一步的方案：所述利用学习后的哈希函数对超类特征和子类特征进行哈希化的具体步骤包括：
[0037]获取数据集中的查询图像和数据库图像，提取对应的超类特征和子类特征；
[0038]对得到的超类特征和子类特征，采用三元赋值的方式和学习后的哈希函数进行哈希化，得到最终的哈希码，公式为：
[0039][0040]其中，x为超类和子类特征的各个元素的特征值，m为极化损失中的阈值。
[0041]作为本专利技术的进一步的方案：所述通过得到的哈希码的超类哈希特征和哈希子类特征计算相似度进行分层图像检索，得到检索结果的具体步骤包括：
[0042]利用数据集中的查询图像和数据库图像的超类哈希特征计算之间的汉明距离，得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度极化哈希的分层车辆图像检索方法，其特征在于，包括：获取车辆图像数据集并进行预处理；搭建分层极化网络模型，进行极化损失函数和优化器的配置，并导入车辆图像数据集进行特征学习和哈希函数学习的训练；利用训练好的分层极化网络模型提取数据集中查询图像和数据库图像的超类特征和子类特征，并利用学习后的哈希函数对超类特征和子类特征进行哈希化，得到哈希码；通过得到的哈希码的超类哈希特征和哈希子类特征计算相似度进行分层图像检索，得到检索结果。2.根据权利要求1所述一种基于深度极化哈希的分层车辆图像检索方法，其特征在于，所述获取车辆图像数据集并进行预处理的具体步骤包括：获取车辆图像数据集，所述车辆图像数据集包括m张图像的训练集和n张图像的测试集，其中将m张图像的训练集作为待检索数据库；对车辆图像训练集进行预处理，根据车辆品牌划分为若干个超类，再在每个超类品牌中根据不同车辆型号划分为若干个子类；对输入的车辆图像训练集的RBG通道归一化处理，限定于
‑
1至1之间，并采用裁剪、翻转，以及旋转的数据增强方法对车辆图像固定大小尺寸。3.根据权利要求1所述一种基于深度极化哈希的分层车辆图像检索方法，其特征在于，所述搭建分层极化网络模型，进行极化损失函数和优化器的配置，并导入车辆图像数据集进行特征学习和哈希函数学习的训练的具体步骤包括：获取车辆图像数据集的训练集和测试集；搭建分层极化网络模型，制定深度模型训练策略，其中训练集与测试集的比例为m:n＝4:1；再对输入的车辆图像样本进行归一化处理：(image/255)
×2‑
1；其中，image为输入的车辆图像样本，采用数据增强方法扩大训练样本量，对车辆图像统一调整尺寸大小到256*256，然后剪裁尺寸大小到224*224；通过模型的骨干网络学习深度特征，对划分为超类和子类分支学习对应的超类特征和子类特征；将模型的优化器设定为Adam，采用可微分的极化损失函数优化网络参数，设置哈希函数的初始化长度为bit位的{1，
‑
1}随机值，然后采用自适应更新的方式更新超类和子类对应的哈希函数。4.根据权利要求3所述一种基于深度极化哈希的分层车辆图像检索方法，其特征在于，所述通过模型的骨干网络学习深度特征，对划分为超类和子类分支学习对应的超类特征和子类特征的具体步骤包括：将ResNet50网络作为骨干网络提取每张图片的深度特征，公式为：X＝ResNet(T)；然后设置超类分支为一个全连接层网络学习超类特征V
sup
＝F...

【专利技术属性】
技术研发人员：王雪雁，陈晨，刘晓静，王新朋，秦玉莉，
申请(专利权)人：合肥市正茂科技有限公司，
类型：发明
国别省市：