一种结合数据增强的轻量化跨模态行人重识别方法技术

本发明专利技术提供一种结合数据增强的轻量化跨模态行人重识别方法，包括以下步骤：S1：获取跨模态行人重识别数据集；S2：对跨模态行人重识别数据集进行数据增强处理；S3：利用增强后的跨模态行人重识别数据集训练预构建的基于深度可分离卷积的轻量化行人重识别网络；S4：利用训练好的轻量化行人重识别网络进行跨模态行人重识别。本发明专利技术提供一种结合数据增强的轻量化跨模态行人重识别方法，实现在参数量少的同时达到准确的识别效果，解决了目前轻量化的跨模态Re

【技术实现步骤摘要】
一种结合数据增强的轻量化跨模态行人重识别方法


[0001]本专利技术涉及行人重识别的
，更具体的，涉及一种结合数据增强的轻量化跨模态行人重识别方法。

技术介绍

[0002]行人重识别又称行人再识别(Person Re
‑
Identification，ReID)，指给定某监控场景下的特定行人图像，利用相关技术来检索跨摄像头，跨时间域下的目标行人图像。在监控图像中，由于相机分辨率，拍摄角度以及天气等客观因素的影响，通常无法得到质量较高的人脸图片，难以进行人脸识别。而在人脸识别失效的情况下，ReID成为了一个非常重要的替代技术。自利用深度学习，尤其是深度神经网络进行行人图像的特征提取以来，训练得到的识别模型的准确率和鲁棒性都取得大幅提升，行人重识别技术得到迅速发展。
[0003]由于普通RGB摄像头在夜间无法拍摄得到有辨识度的图像，因此需要借助红外摄像头在夜间工作，这导致跨模态场景下的Re
‑
ID越来越受关注。跨模态在Re
‑
ID中指的是，图像集中存在由常规摄像头拍摄的RGB三通道图像，也存在由红外摄像头拍摄的单通道图像。两者生成图像的原理不同，生成的图像格式和模态差异较大，这些因素加大了跨模态行人重识别的难度。
[0004]同时，轻量化网络也是当前热门的研究目标和优化方向。轻量化网络的优点主要在于更少的参数量，更便捷的嵌入式硬件部署，这对将网络部署在摄像硬件上具有实际的应用意义。但是目前轻量化的跨模态Re
‑
ID技术难以取得较高的识别准确率。

技术实现思路

[0005]本专利技术为克服目前轻量化的跨模态Re
‑
ID技术难以取得较高的识别准确率的技术缺陷，提供一种结合数据增强的轻量化跨模态行人重识别方法。
[0006]为解决上述技术问题，本专利技术的技术方案如下：
[0007]一种结合数据增强的轻量化跨模态行人重识别方法，包括以下步骤：
[0008]S1：获取跨模态行人重识别数据集；
[0009]S2：对跨模态行人重识别数据集进行数据增强处理；
[0010]S3：利用增强后的跨模态行人重识别数据集训练预构建的基于深度可分离卷积的轻量化行人重识别网络；
[0011]S4：利用训练好的轻量化行人重识别网络进行跨模态行人重识别。
[0012]上述方案中，通过构建适用于跨模态行人重识别的基于深度可分离卷积的轻量化行人重识别网络，并对训练采用的跨模态行人重识别数据集进行数据增强，辅助轻量化行人重识别网络取得更高的准确率，仅增加计算量，不增加参数量，最终得到的轻量化行人重识别网络的参数量仅为2M左右，便于硬件的部署，实现在参数量少的同时达到准确的识别效果。
[0013]优选的，所述数据增强包括：随机擦除和TrivialAugment。
[0014]优选的，随机擦除的步骤如下：
[0015]每张图像有P
e
＞0的概率被选中进行随机擦除，有1
‑
P
e
＞0的概率保持不变；对于被选中进行随机擦除的长为W、宽为H的图像I，随机在图像I中选择一个长为W
e
、宽为H
e
的矩形I
e
，并在矩形I
e
中用随机像素值覆盖原有值；则矩形区域擦除率表示为表示图像I的面积，S
e
＝W
e
×
H
e
表示矩形I
e
的面积；同时，矩形I
e
的纵横比在随机数r1和随机数r2之间随机初始化，为了确定唯一区域，随机擦除随机初始化点P＝(x
e
,y
e
)；如果x
e
+W
e
≤W且y
e
+H
e
≤H，则I
e
＝(x
e
,y
e
,x
e
+W
e
,y
e
+H
e
)设置为选定的矩形区域；如不满足，则重复上述步骤，直至选出I
e
。
[0016]优选的，TrivialAugment的步骤如下：
[0017]给定一张图像和一个数据增强空间集，从数据增强空间集中随机选择一种数据增强操作和增强强度作用于图像上，得到数据增强后的图像；
[0018]其中，增强强度的取值范围为0～30，数据增强空间集中的数据增强操作包括：自动优化图像对比度、旋转图像、水平或垂直裁剪图像、锐度增强图像。
[0019]优选的，轻量化行人重识别网络为双流网络，包括：
[0020]用于提取可见光图像特征的第一卷积层，
[0021]用于提取红外图像特征的第二卷积层，
[0022]用于进行特征嵌入的第三卷积层、第四卷积层、第五卷积层和第六卷积层。
[0023]优选的，在轻量化行人重识别网络的各个卷积层中，卷积操作包括逐通道卷积和逐点卷积，Relu层为逐通道卷积的内核为逐点卷积的内核为
[0024]其中，x表示输入数据，k表示内核大小，c表示输入通道宽度，c
′
表示输出通道宽度。
[0025]优选的，轻量化行人重识别网络还包括全局平均池化层：
[0026][0027]其中，f1…
f
k
…
f
K
表示不同的特征矩阵，K表示最后一层网络中特征图的数量，χ
i
表示特征映射i的激活集，χ
K
表示特征映射k∈{1,2,
…
K}的激活集，p
k
为池化的超参数；当p
k
取1时，全局平均池化层退化为平均池化层，当p
k
取无穷大时，全局平均池化层等效于最大池化层。
[0028]优选的，训练轻量化行人重识别网络的整体损失函数为：
[0029]L＝L
id
+L
tri
‑
new
[0030]其中，L
id
表示交叉熵损失函数，L
tri
‑
new
表示改进的难样本三元组损失函数。
[0031]优选的，改进的难样本三元组损失函数为：
[0032][0033]其中，P表示选择的身份标签数量；K表示每个模态选择的图像数量；batch表示训练批次；A表示与样本a不同模态的最难正样本集合；B表示与样本a同一模态的最难负样本
集合；表示样本a的特征映射与另一模态中最难正样本p的特征映射的欧式距离；表示样本a的特征映射与同一模态中最难负样本n的特征映射的欧式距离；α表示超参数；(
·
)
+
表示(
·
)内的值大于零的时取(
·
)内的值为损失，小于零时，取损失为零本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合数据增强的轻量化跨模态行人重识别方法，其特征在于，包括以下步骤：S1：获取跨模态行人重识别数据集；S2：对跨模态行人重识别数据集进行数据增强处理；S3：利用增强后的跨模态行人重识别数据集训练预构建的基于深度可分离卷积的轻量化行人重识别网络；S4：利用训练好的轻量化行人重识别网络进行跨模态行人重识别。2.根据权利要求1所述的一种结合数据增强的轻量化跨模态行人重识别方法，其特征在于，所述数据增强包括：随机擦除和TrivialAugment。3.根据权利要求2所述的一种结合数据增强的轻量化跨模态行人重识别方法，其特征在于，随机擦除的步骤如下：每张图像有P
e
＞0的概率被选中进行随机擦除，有的概率保持不变；对于被选中进行随机擦除的长为W、宽为H的图像I，随机在图像I中选择一个长为W
e
、宽为H
e
的矩形I
e
，并在矩形I
e
中用随机像素值覆盖原有值；则矩形区域擦除率表示为S＝W
×
H表示图像I的面积，表示矩形I
e
的面积；同时，矩形I
e
的纵横比在随机数r1和随机数r2之间随机初始化，为了确定唯一区域，随机擦除随机初始化点P＝(x
e
，y
e
)；如果x
e
+W
e
≤W且y
e
+H
e
≤H，则I
e
＝(x
e
，y
e
，x
e
+W
e
，y
e
+H
e
)设置为选定的矩形区域；如不满足，则重复上述步骤，直至选出I
e
。4.根据权利要求2所述的一种结合数据增强的轻量化跨模态行人重识别方法，其特征在于，TrivialAugment的步骤如下：给定一张图像和一个数据增强空间集，从数据增强空间集中随机选择一种数据增强操作和增强强度作用于图像上，得到数据增强后的图像；其中，增强强度的取值范围为0～30，数据增强空间集中的数据增强操作包括：自动优化图像对比度、旋转图像、水平或垂直裁剪图像、锐度增强图像。5.根据权利要求1所述的一种结合数据增强的轻量化跨模态行人重识别方法，其特征在于，轻量化行人重识别网络为双流网络，包括：用于提取可见光图像特征的第一卷积层，用于提取红外图像特征的第二卷积层，用于进行特征嵌入的第三卷积层、第四卷积层、第五卷积层和...

【专利技术属性】
技术研发人员：曹钢钢，王帮海，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：