基于深度学习的交通目标图像检索方法、装置及可读介质制造方法及图纸

本发明专利技术公开了一种基于深度学习的交通目标图像检索方法、装置及可读介质。包括：采集不同种类交通目标图像，建立各类交通目标图像对应的交通目标标签，形成图像数据信息底库；将图像数据信息底库划分为训练数据、测试数据、查询数据，并对训练数据进行数据增广；设计深度学习模型、模型优化器、数据输入器、损失函数、深度学习模型优化策略，加速模型收敛，提高模型准确率；将图像数据输入所述的深度学习模型中，提取交通目标图像特征；将所述的交通目标图像特征与所述的图像数据库进行距离判定，并进行后处理得到输出结果，完成匹配；本发明专利技术能够提高交通目标图像检索准确率、鲁棒性，特别能够实现图像数据信息底库含有大量噪声的图像检索。

【技术实现步骤摘要】
基于深度学习的交通目标图像检索方法、装置及可读介质
本专利技术涉及智能交通、计算机视觉领域，特别是涉及一种基于深度学习的交通目标图像检索方法、装置及可读介质。
技术介绍
随着深度学习领域的不断发展，给智能交通领域带来了革命性的突破，比如无人驾驶、车辆跟踪等领域正在全面落地应用。交通目标图像检索是一种利用计算机视觉方法判断图像或者视频序列中是否存在特定目标的技术，通过给定一张摄像设备拍摄下的行人或车辆图像，旨在从大量图片、视频中搜索跨摄像机下的同一行人或车辆图像，将目标的不同姿态、位置、时间的图像相关联。交通目标图像数据采集方式主要通过道路摄像头、无人机和卫星设备，研究的对象的是交通目标整体特征，包括目标外观、姿态等等。在计算机视觉领域中，图像检索可以作为目标跟踪技术的补充，并相互作用，应用于更多场景。
技术实现思路
1、本专利技术的目的本专利技术旨在提高交通目标图像检索准确率、鲁棒性。基于此，有必要针对上述技术问题，在拍摄图像含有大量噪声的情况下，实现一种跨摄像头的交通目标检索方法、装置。本专利技术提出了一种基于深度学习的交通目标图像检索方法，包括以下步骤：S100，采集不同种类交通目标图像，建立各类交通目标图像对应的交通目标标签：使用one-hot编码方式对交通目标图像标签进行编码，将交通目标图像与对应标签信息构造交通目标图像数据信息底库；将图像数据信息底库划分为训练数据、测试数据、查询数据；其中训练数据中含有每一类的交通目标对应标签信息，测试数据与查询数据不含有交通目标的对应标签信息；S200，对训练数据进行数据预处理，获取进行数据预处理后的交通目标图片；S300，设计深度学习模型、模型优化器、数据输入器、损失函数、深度学习模型优化策略；图像检测模型的网络结构使用ResNest网络作为图像特征提取模块；使用BiFPN融合由ResNest网络中不同模块提取的特征矩阵；采用随机梯度下降法与三元组损失法构造损失函数优化器；使用的交叉熵损失法计算不同交通目标之间的类别误差，将批归一化后的特征向量输入到分类层中，分类层使用线性分类器进行分类，其模型接受输入参数大小为Bx2048大小的特征向量，其中B为一个批次输入图片的数量，输出为2048乘上训练数据类别数量；使用SoftMax将线性层输出进行计算，使其多个分类的预测值和为1，再通过交叉熵来计算损失；通过交叉熵损失法计算每种交通目标图片信息的标签损失，记为，，其中为训练数据中标签信息，m为交通目标类别标签数目；是对交通目标图片信息的标签进行了SoftMax操作，公式为：；使用三元组损失法对交通目标特征图信息细节进行区分，三元组损失法由一个三元组<a，p，n>构成，需要三张交通目标图片作为输入，其中a:anchor表示交通目标图片对应标签的基准样本，p:positive表示与anchor相同类别但不同的正样本，n:negative表示与基准样本不同类别的负样本；利用生成的每个triplet，就能够创建出对应的正样本<a，p>和负样本<a，n>；网络结构在进行训练的时候设置阈值来控制正负样本的距离在一定的距离上，将正样本和负样本分开，先使用一个预设值对网络进行初始化训练，之后再根据测试的结果对预设值的值进行适当的增大或缩小；设样本为x，f(x)为映射函数，整个训练集的大小为N，则每个三元组的输入为、、，、为对应的正、负样本案例，为与相同类别但样本不同的正样本案例，三元组损失法公式为：；通过预热学习率与余弦退火结合动态调整学习率；通过预热学习率，即使得学习率逐步上升到设定的学习率，在使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小值时，学习率变得更小，从而使得模型接近全局最小值，而余弦退火通过余弦函数来降低学习率；余弦函数中随着x的增加余弦值，首先缓慢下降，然后加速下降，再次缓慢下降；使用随机权重平均配合SGD损失函数优化器，改进模型训练过程的稳定性，使用冻结模型法冻结特征提取模型，在训练时固定网络的底层，令固定网络对应子图的参数requires_grad为False；步骤S400，提取交通目标图像特征；特征矩阵接收传入的缩放交通目标图像；卷积神经网络先使用卷积层对输入的交通目标图像进行下采样，将特征图输入到一个批归一化层，一个RELU激活层与一个最大值池化层，得到特征图；对不同像素的特征图进行卷积；步骤S500，将交通目标图像特征与图像数据库进行距离判定，并进行后处理得到输出结果，完成匹配；使用重排序法和查询扩展法对计算出的特征距离结果进行后处理，其中重排序的方法，对每一个P值对应的Top-10查询结果相似，则视为匹配，即给定图像，通过将k个倒数相邻的目标编码为单个向量来计算k-reciprocal特征，使用原始距离与杰卡德距离组合来作为衡量两个集合相似度指标，并按照相似度进行重排序。优选的，预处理即对图像重新调整分辨率，包括对图像进行一种或多种图像随机变换，其中图像变换有图像剪裁改变X轴、Y轴角度，提高/降低图像清晰度、明亮度、曝光度、图像饱和度，改变图像颜色、色调，旋转、翻转图像，图像像素平均化，自动对比度调整。优选的，所述的步骤200，对训练数据进行数据预处理，获取进行数据预处理后的交通目标图片，其网络结构包括输入层、卷积层、特征图处理层、输出层；输入层接收图像矩阵大小为B*C*H*W，其中B为一个批次输入交通目标图像的数量，C为图像的通道数，使用RGB图像作为输入数据，H，W分别为图像的高和宽；卷积层使用ResNest网络作为特征图提取器，特征图处理层中的池化层使用最大值池化对特征图进行池化操作，即对于每一个通道的特征图的像素值选取其中最大值作为该通道的代表，从而得到一个N维向量表示；将池化后的特征向量输入到标准化层BN，使得结果的均值为0，方差为1。优选的，所述的步骤300，深度学习模型的网络结构使用ResNest网络作为图像特征提取模块，其中ResNest中的4个层数目分别设置为3、4、6、3；使用池化层的最大值池化，对特征图进行池化操作，将池化后的特征向量输入到标准化层，使得输出信号各个维度的均值为0，方差为1。优选的，所述的步骤300，图像特征提取模块采用深度学习方法提取所述交通目标图像特征信息，所述交通目标图像特征信息至少包括交通目标颜色、姿态。优选的，所述的步骤400卷积神经网络层对128*128的特征图进行卷积，得到256*64*64的特征图；卷积神经网络层对256*256的特征图进行卷积，得到512*64*64的特征图；卷积神经网络层对512*512的特征图进行卷积，得到1024*64*64的特征图；卷积神经网络层对128*128的特征图进行卷积，得到2048*6本文档来自技高网...

【技术保护点】
1.一种基于深度学习的交通目标图像检索方法，其特征在于，包括以下步骤：/nS100，采集不同种类交通目标图像，建立各类交通目标图像对应的交通目标标签：/n使用one-hot编码方式对交通目标图像标签进行编码，将交通目标图像与对应标签信息构造交通目标图像数据信息底库；将图像数据信息底库划分为训练数据、测试数据、查询数据；其中训练数据中含有每一类的交通目标对应标签信息，测试数据与查询数据不含有交通目标的对应标签信息；/nS200，对训练数据进行数据预处理，获取进行数据预处理后的交通目标图片；/nS300，设计深度学习模型、模型优化器、数据输入器、损失函数、深度学习模型优化策略；图像检测模型的网络结构使用ResNest网络作为图像特征提取模块；/n使用BiFPN融合由ResNest网络中不同模块提取的特征矩阵；/n采用随机梯度下降法与三元组损失法构造损失函数优化器；/n使用的交叉熵损失法计算不同交通目标之间的类别误差，将批归一化后的特征向量输 入到分类层中，分类层使用线性分类器进行分类，其模型接受输入参数大小为Bx2048大小 的特征向量，其中B为一个批次输入图片的数量，输出为2048乘上训练数据类别数量；使用 SoftMax将线性层输出进行计算，使其多个分类的预测值和为1，再通过交叉熵来计算损失； 通过交叉熵损失法计算每种交通目标图片信息的标签损失，记为...

【技术特征摘要】
1.一种基于深度学习的交通目标图像检索方法，其特征在于，包括以下步骤：
S100，采集不同种类交通目标图像，建立各类交通目标图像对应的交通目标标签：
使用one-hot编码方式对交通目标图像标签进行编码，将交通目标图像与对应标签信息构造交通目标图像数据信息底库；将图像数据信息底库划分为训练数据、测试数据、查询数据；其中训练数据中含有每一类的交通目标对应标签信息，测试数据与查询数据不含有交通目标的对应标签信息；
S200，对训练数据进行数据预处理，获取进行数据预处理后的交通目标图片；
S300，设计深度学习模型、模型优化器、数据输入器、损失函数、深度学习模型优化策略；图像检测模型的网络结构使用ResNest网络作为图像特征提取模块；
使用BiFPN融合由ResNest网络中不同模块提取的特征矩阵；
采用随机梯度下降法与三元组损失法构造损失函数优化器；
使用的交叉熵损失法计算不同交通目标之间的类别误差，将批归一化后的特征向量输
入到分类层中，分类层使用线性分类器进行分类，其模型接受输入参数大小为Bx2048大小
的特征向量，其中B为一个批次输入图片的数量，输出为2048乘上训练数据类别数量；使用
SoftMax将线性层输出进行计算，使其多个分类的预测值和为1，再通过交叉熵来计算损失；
通过交叉熵损失法计算每种交通目标图片信息的标签损失，记为，

，
其中为训练数据中标签信息，m为交通目标类别标签数目；是对交通目
标图片信息的标签进行了SoftMax操作，公式为：

；
使用三元组损失法对交通目标特征图信息细节进行区分，三元组损失法由一个三元组
<a，p，n>构成，需要三张交通目标图片作为输入，其中a:anchor表示交通目标图片对应标签
的基准样本，p:positive表示与anchor相同类别但不同的正样本，n:negative表示与基准
样本不同类别的负样本；利用生成的每个triplet，就能够创建出对应的正样本<a，p>和负
样本<a，n>；网络结构在进行训练的时候设置阈值来控制正负样本的距离在一定的距离
上，将正样本和负样本分开，先使用一个预设值对网络进行初始化训练，之后再根据测试的
结果对预设值的值进行适当的增大或缩小；设样本为x，f(x)为映射函数，整个训练集的大
小为N，则每个三元组的输入为、、，、为对应的正、负样
本案例，为与相同类别但样本不同的正样本案例，三元组损失法公式为：

；
通过预热学习率与余弦退火结合动态调整学习率；通过预热学习率，即使得学习率逐步上升到设定的学习率，在使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小值时，学习率变得更小，从而使得模型接近全局最小值，而余弦退火通过余弦函数来降低学习率；余弦函数中随着x的增加余弦值，首先缓慢下降，然后加速下降，再次缓慢下降；
使用随机权重平均配合SGD损失函数优化器，改进模型训练过程的稳定性，
使用冻结模型法冻结特征提取模型，在训练时固定网络的底层，令固定网络对应子图的参数requires_grad为False；
步骤S400，提取交通目标图像特征；
特征矩阵接收传入的缩放交通目标图像；卷积神经网络先使用卷积层对输入的交通目标图像进行下采样，将特征图输入到一个批归一化层，一个RELU激活层与一个最大值池化层，得到特征图；
对不同像素的特征图进行卷积；
步骤S500，将交通目标图像特征与图像数据库进行距离判定，并进行后处理得到输出结果，完成匹配；
使用重排序法和查询扩展法对计算出的特征距离结果进行后处理，其中重排序的方法，对每一个P值对应的Top-10查询结果相似，则视为匹配，即给定图像，通过将k个倒数相邻的目标编码为单个向量来计算k-reciprocal特征，使用原始距离与杰卡德距离组合来作为衡量两个集合相似度指标，并按照相似度进行重排序。


2.根据权利要求1所述的基于深度学...

【专利技术属性】
技术研发人员：戚湧，徐智明，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32