一种基于双层注意力网络的货车图片重识别方法技术

本发明专利技术公开了一种基于双层注意力网络的货车图片重识别方法，包括获取货车图片，并对货车图片进行标准化，构建货车图片的训练集；基于双层注意力网络对训练集中货车图片进行提取，得到货车图片的图像特征；再根据所述训练集的训练图片对构建的重识别网络模型进行训练后，再利用得到的图像特征输入损失函数进行校准；将训练集中的测试图片输入训练完成的重识别网络模型进行测试，判断两张货车图片中货车是否属于同一物体，得到最终检测结果。本发明专利技术通过构建重识别网络模型，将货车图片中的细粒度信息和全局信息进行匹配，获得图片中货车特征，达到更好的货车图片重识别功能。达到更好的货车图片重识别功能。达到更好的货车图片重识别功能。

【技术实现步骤摘要】
一种基于双层注意力网络的货车图片重识别方法


[0001]本专利技术涉及图像识别
，特别涉及一种基于双层注意力网络的货车图片重识别方法。

技术介绍

[0002]在视频监控区域，查找目标物体在监控下的其他地点出现受到人们重视。由于深度学习的发展，近年来流行的处理重识别的管道有两个过程：特征提取和度量学习。因此，重识别的关键问题是提取鲁棒的特征表示并设计合适的特征度量学习算法。
[0003]随着深度学习的蓬勃发展，通过卷积神经网络进行特征学习已成为重识别中的常见做法。目前解决重识别任务的方法主要有四种：(1)基于局部块的方法，(2)基于细粒度信息的方法，(3)基于注意力机制的方法，(4)基于生成对抗网络的方法。
[0004]现有技术的不足之处在于，目前在对于道路行驶视频监控区域下，查找目标货车方面的重识别方法，其重识别效果差，识别的精准度不高。现有重识别模型的训练效果不够稳定，效果差，系统的易用性低，模型的鲁棒性和泛化能力不足。

技术实现思路

[0005]本专利技术的目的克服现有技术存在的不足，为实现以上目的，采用一种基于双层注意力网络的货车图片重识别方法，以解决上述
技术介绍
中提出的问题。
[0006]一种基于双层注意力网络的货车图片重识别方法，包括：
[0007]步骤S1：获取货车图片，并对货车图片进行标准化，构建货车图片的训练集；
[0008]步骤S2：基于双层注意力网络对训练集中货车图片进行提取，得到货车图片的图像特征；
[0009]步骤S3：再根据所述训练集的训练图片对构建的重识别网络模型进行训练后，再利用得到的图像特征输入损失函数进行校准；
[0010]步骤S4：将训练集中的测试图片输入训练完成的重识别网络模型进行测试，得到最终的重识别网络模型；
[0011]步骤S5：将多张待检索货车图片输入最终的重识别网络模型，判断待检索货车图片中的货车是否属于目标货车。
[0012]作为本专利技术的进一步的方案：所述对货车图片进行标准化的具体步骤包括：
[0013]根据设定的预设像素均值和像素标准差，对训练集中的货车图片进行像素层面的标准化；
[0014]再将训练集中所有的货车图片进行缩放，保持所有的货车图片大小一致；
[0015]再对训练集中所有的货车图片进行数据增强操作，所述数据增强操作包括图片亮度与饱和度的随机改变、图片的随机水平翻转，以及图片的随机裁剪。
[0016]作为本专利技术的进一步的方案：所述步骤S2中的具体步骤包括：
[0017]将货车图片依次送入构建的双层注意力网络的第一层、第二层、第三层，以及第四
层提取图像特征，图像特征进入瓶颈块后经过1
×
1卷积，然后再按通道数平分为4个特征图子集，除第一个子集直接保留原先特征输出，第一层、第二层和第三层的其他子集分别进行3
×
3卷积，再使用残差的方式连接这四个特征图子集，第四层的其他子集分别使用双层注意力模块提取全局特征，最后将这些特征图子集通过1
×
1卷积融合；
[0018]所述第一层、第二层、第三层，以及第四层提取图像特征的过程公式为：
[0019][0020]其中，s表示特征图子集数，x
i
表示每个被均匀平分的特征图子集，i∈{1,2,...,s}，K
i
()表示对应x
i
的提取操作；
[0021]使用Res2Net网络作为货车图片的基础特征提取网络，其中Res2Net网络包括Res2Net50和Res2Net101。Res2Net是在残差块中构造了一个类似的残差层，它可以更细粒度地表达多尺度特征，并且可以增加网络每一层的感受野大小。也就是说，Res2Net具有更强大的特征提取能力，但不会增加计算量。
[0022]作为本专利技术的进一步的方案：所述构建的双层注意力网络的具体步骤包括：
[0023]首先使用通道自注意力和空间自注意力分别提取特征图的全局信息：
[0024][0025]其中，Q是输入，上下文以键值对(K，V)的形式存储在内存中，d
k
是K的维度；
[0026]进而在位置自注意力中引入相对位置编码，所述相对位置编码使用注意力提取有效的空间位置信息；
[0027]最后将相对位置编码得到的有效空间信息与空间自注意力中的V进行异或运算，得到位置信息与内容信息的融合。自注意力的目标是通过根据全局上下文信息对每个实体进行编码来捕获所有元素之间的交互，因此它可以捕获长距离依赖关系。
[0028]在专注于提取细粒度特征的网络结构的最后一层，即感受野范围最大的层级中，使用双层注意力网络提取全局的空间和通道信息，使得细粒度信息可以和全局信息交互，从而在只使用一个分支的情况下获得更精确的效果。
[0029]在双层注意力网络的位置分支上使用相对位置编码，在相对位置编码中使用多层感知机提取注意力，图片的位置特征与内容特征融合，获取更有效的全局信息。
[0030]作为本专利技术的进一步的方案：所述相对位置编码使用注意力提取有效的空间位置信息的具体步骤包括：
[0031]首先分别获得货车图片的高度和宽度方向的特征表示，然后将高度和宽度方向的特征表示两个分支进行融合输出；
[0032]再根据通道维度对融合输出的结果进行平均，重新校准不同分支的当前重要性，达到使用分散注意力对全局信息进行编码，得到有效的空间位置信息。
[0033]作为本专利技术的进一步的方案：所述利用得到的图像特征输入损失函数进行校准的具体步骤包括：
[0034]将训练集按批量送入双层注意力网络提取图像特征后，对得到的图像特征计算损
失函数校准重识别网络模型；
[0035]所述损失函数为：
[0036]L＝L
ID
+L
Triplet
+βL
C
；
[0037]其中，L
ID
表示交叉熵损失函数，用来对货车图片按预测值进行目标分类，L
Tri
表示三元组损失函数，用以增大目标货车和负样本图片之间的特征距离，减小目标货车和正样本图片的特征距离，L
C
表示中心损失函数，学习了每个类的特征中心，用以弥补三元组损失只关心正样本和负样本距离相差结果的缺点，L为总损失，三种损失函数的加权和，β是中心损失的平衡权重。
[0038]使用基于深度学习的交叉熵损失函数、三元组损失函数和中心损失函数，实现端到端地训练，校准网络。
[0039]作为本专利技术的进一步的方案：所述步骤S4和步骤S5的具体步骤包括：
[0040]获取训练集中的测试图片输入已训练完成的重识别网络模型进行测试；
[0041]根据测试得到的特征图的图像特征进行比较相似度，得到最优的重识别网络模型；
[0042]再将待检索的货车图片输入重识别网络模型，判断待检索的货车图片中的货本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双层注意力网络的货车图片重识别方法，其特征在于，包括：步骤S1：获取货车图片，并对货车图片进行标准化，构建货车图片的训练集；步骤S2：基于双层注意力网络对训练集中货车图片进行提取，得到货车图片的图像特征；步骤S3：再根据所述训练集的训练图片对构建的重识别网络模型进行训练后，再利用得到的图像特征输入损失函数进行校准；步骤S4：将训练集中的测试图片输入训练完成的重识别网络模型进行测试，得到最终的重识别网络模型；步骤S5：将多张待检索货车图片输入最终的重识别网络模型，判断待检索货车图片中的货车是否属于目标货车。2.根据权利要求1所述一种基于双层注意力网络的货车图片重识别方法，其特征在于，所述对货车图片进行标准化的具体步骤包括：根据设定的预设像素均值和像素标准差，对训练集中的货车图片进行像素层面的标准化；再将训练集中所有的货车图片进行缩放，保持所有的货车图片大小一致；再对训练集中所有的货车图片进行数据增强操作，所述数据增强操作包括图片亮度与饱和度的随机改变、图片的随机水平翻转，以及图片的随机裁剪。3.根据权利要求1所述一种基于双层注意力网络的货车图片重识别方法，其特征在于，所述步骤S2中的具体步骤包括：将货车图片依次送入构建的双层注意力网络的第一层、第二层、第三层，以及第四层提取图像特征，图像特征进入瓶颈块后经过1
×
1卷积，然后再按通道数平分为4个特征图子集，除第一个子集直接保留原先特征输出，第一层、第二层和第三层的其他子集分别进行3
×
3卷积，再使用残差的方式连接这四个特征图子集，第四层的其他子集分别使用双层注意力模块提取全局特征，最后将这些特征图子集通过1
×
1卷积融合；所述第一层、第二层、第三层，以及第四层提取图像特征的过程公式为：其中，s表示特征图子集数，x
i
表示每个被均匀平分的特征图子集，i∈{1,2,...,s}，K
i
()表示对应x
i
的提取操作；使用Res2Net网络作为货车图片的基础特征提取网络，其中Res2Net网络包括Res2Net50和Res2Net101。4.根据权利要求3所述一种基于双层注意力网络的货车图片重识别方法，其特征在于，所...

【专利技术属性】
技术研发人员：吕强，王雪雁，吕建春，胡昌隆，周平，刘晓静，
申请(专利权)人：合肥市正茂科技有限公司，
类型：发明
国别省市：