行人再识别网络模型数据增广及训练方法、训练装置制造方法及图纸

本发明专利技术涉及人工智能技术领域，且公开了行人再识别网络模型数据增广及训练方法，包括以下步骤：S101：获取M个训练图像和该M个训练图像的标注数据，M个训练图像包括行人，每个训练图像的标注数据包括每个训练图像中的行人所在的包围框和行人身份标识信息；S102：应用设定的采样策略，选取M个训练图像中的一批训练图像作为一个批次训练样本，应用水平条带分割

【技术实现步骤摘要】
行人再识别网络模型数据增广及训练方法、训练装置


[0001]本专利技术涉及人工智能
，具体为行人再识别网络模型数据增广及训练方法、训练装置。

技术介绍

[0002]行人再识别是一项非常具有挑战性的图像检索任务，其目标是匹配在不同摄像头中同一个人的图像，在智能视频监控，自动驾驶，无人机自动驾驶，赛事转播等方面具有很大的应用价值。
[0003]行人再识别网络模型通常使用深度神经网络来实现，它需要大量训练数据训练来确保模型的泛化能力。但现有的行人重识别数据集的数据量不够大而且收集和标注数据需要耗费大量人力，所以通常会使用数据增广方法来增加训练数据量。
[0004]数据增广方法cutmix通过组合两个图像来生成一个新的混合图像，其基本操作是截取另外一张图片一样大小的区域填充本图片的相同位置区域，常用于深度神经网络的数据增广。
[0005]但是，cutmix在行人重识别任务中未被使用，其原因在于：
[0006]1)cutmix生成的混合图像质量较差，严重影响了后续深度神经网络训练的精度和性能。
[0007]2)cutmix混合两张图象产生新的混合图像包含多个非整数标签，而行人重识别任务中所使用的triplet
‑
loss无法处理小数相似度标签。
[0008]为此，我们提出了行人再识别网络模型数据增广及训练方法、训练装置。

技术实现思路

[0009]本专利技术的目的在于提供了行人再识别网络模型数据增广及训练方法、训练装置，解决了上述
技术介绍
中所提出的问题。
[0010]为实现上述目的，本专利技术提供如下技术方案：行人再识别网络模型数据增广及训练方法，包括以下步骤：
[0011]S101：获取M个训练图像和该M个训练图像的标注数据，M个训练图像包括行人，每个训练图像的标注数据包括每个训练图像中的行人所在的包围框和行人身份标识信息；
[0012]S102：应用设定的采样策略，选取M个训练图像中的一批训练图像作为一个批次训练样本，应用水平条带分割
‑
混洗方法，对该批次训练样本对进行数据增广，获得数据增广批次训练样本；
[0013]S103：将数据增广批次训练样本，按照设定的采样策略，输入到行人再识别网络模型进行特征提取，得到该批次样本对的特征向量；
[0014]S104：应用扩展三重损失函数，计算该批次样本的特征向量所对应的损失函数的函数值；
[0015]S105：根据损失函数的函数值对行人再识别网络模型的网络参数进行更新；
[0016]S106：重复上述S102、S103、S104和S105步骤，对每个批次训练样本进行训练，直到扩展三重损失函数的函数值满足预设条件，从而完成行人再识别网络模型的训练，得到满足预设条件的行人再识别网络模型，预设条件为满足下列条件中的至少一种：行人再识别网络的训练次数大于或等于预设次数，扩展三重损失函数的函数值小于或等于预设阈值。
[0017]优选的，S102步骤中的水平条带分割
‑
混洗方法的具体步骤为：
[0018]1)从一个批次内的原有训练样本中，应用所述设定的采样策略，选取部分图像，对选取的部分图像，在相同的位置进行水平条带切割，把切割下来的图像块进行混洗，再贴回原图像中，生成合成图像，其中：每张合成图像都由部分原图像块和一个贴上去的图像块组成；
[0019]2)一个批次内的原有训练样本与上述合成图像共同构成数据增广批次训练样本；
[0020]3)计算数据增广批次训练样本中每张图像的两种标签：一种标签是类相似度标签S
dass
，标签值等于每个身份的图像块的面积占比；另一种标签是样本对相似度标签S
pair
，用于比较两张图像中相同位置图像块的身份标签，标签值等于两者相同身份标签图像块的占比。
[0021]优选的，S102步骤中设定的采样策略具体步骤为：
[0022]a)在权利要求2所述的数据增广批次训练样本中，包括两类图像：原始样本图像和合成图像,任意两张图像构成一个样本对；
[0023]b)所述样本对分为4组类型：第一组是Clean
‑
Clean类型，包含 Clean
‑
Clean：正样本
‑
正样本，Clean
‑
Clean：负样本
‑
负样本两种类型样本对；第二组是Clean
‑
Mixed：负样本对类型，包含Clean
‑
Mixed：负样本
‑
负样本，Mixed
‑
Clean：负样本
‑
负样本两种类型样本对；第三组是Clean
‑
Mixed：正样本对类型，包含Clean
‑
Mixed：正样本
‑
正样本,Mixed
‑
Clean：正样本
‑ꢀ
正样本两种类型；第四组是Mixed
‑
Mixed类型，包含Mixed
‑
Mixed：正样本
‑ꢀ
正样本，Mixed
‑
Mixed：负样本
‑
负样本两类；
[0024]c)在一个批次内的原有训练样本中，使用PK概率采样策略，其中：P表示每个批次中行人身份的数量，K表示每个行人有多少张图片；
[0025]d)从数据增广批次训练样本中选择全部P和一半K参与迭代训练，选取策略为：每次迭代的样本对类型包含25％的Clean
‑
Clean类型、25％的 Mixed
‑
Mixed类型和50％的Clean
‑
Mixed：负样本对+Clean
‑
Mixed：正样本对类型组合。
[0026]优选的，S104步骤中的扩展三重损失函数具体为：给定锚点图片a，与锚点相同身份的正样本集合P(a)，与锚点不同身份的负样本集合N(a)，m为宽松项：
[0027]s
p
＝s(a,p) p∈P(a)；
[0028]s
n
＝s(a,n) n∈N(a)；
[0029]其中s(a,p)表示正样本对相似度，s(a,n)表示负样本对相似度，Sn越小， Sp越大，损失就越小；
[0030]标准Triplet Loss表示为：L
triplet
＝s
n
‑
s
p
+m，其包含一个放松条件，只要s
n
‑
s
p
＞m，即正样本相似度比负样本相似度于一个宽松项m，就不再继续优化这组s
n
和s
p
；
[0031]从让网络训练输出的相似度接近相似度标签的角度出发，扩展三重损失函数(extend
‑
triplet
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.行人再识别网络模型数据增广及训练方法，其特征在于，包括以下步骤：S101：获取M个训练图像和该M个训练图像的标注数据，M个训练图像包括行人，每个训练图像的标注数据包括每个训练图像中的行人所在的包围框和行人身份标识信息；S102：应用设定的采样策略，选取M个训练图像中的一批训练图像作为一个批次训练样本，应用水平条带分割
‑
混洗方法，对该批次训练样本对进行数据增广，获得数据增广批次训练样本；S103：将数据增广批次训练样本，按照设定的采样策略，输入到行人再识别网络模型进行特征提取，得到该批次样本对的特征向量；S104：应用扩展三重损失函数，计算该批次样本的特征向量所对应的损失函数的函数值；S105：根据损失函数的函数值对行人再识别网络模型的网络参数进行更新；S106：重复上述S102、S103、S104和S105步骤，对每个批次训练样本进行训练，直到扩展三重损失函数的函数值满足预设条件，从而完成行人再识别网络模型的训练，得到满足预设条件的行人再识别网络模型，预设条件为满足下列条件中的至少一种：行人再识别网络的训练次数大于或等于预设次数，扩展三重损失函数的函数值小于或等于预设阈值。2.根据权利要求1所述的行人再识别网络模型数据增广及训练方法，其特征在于：S102步骤中的水平条带分割
‑
混洗方法的具体步骤为：1)从一个批次内的原有训练样本中，应用所述设定的采样策略，选取部分图像，对选取的部分图像，在相同的位置进行水平条带切割，把切割下来的图像块进行混洗，再贴回原图像中，生成合成图像，其中：每张合成图像都由部分原图像块和一个贴上去的图像块组成；2)一个批次内的原有训练样本与上述合成图像共同构成数据增广批次训练样本；3)计算数据增广批次训练样本中每张图像的两种标签：一种标签是类相似度标签S
dass
，标签值等于每个身份的图像块的面积占比；另一种标签是样本对相似度标签S
pair
，用于比较两张图像中相同位置图像块的身份标签，标签值等于两者相同身份标签图像块的占比。3.根据权利要求1所述的行人再识别网络模型数据增广及训练方法，其特征在于：S102步骤中设定的采样策略具体步骤为：a)在权利要求2所述的数据增广批次训练样本中，包括两类图像：原始样本图像和合成图像,任意两张图像构成一个样本对；b)所述样本对分为4组类型：第一组是Clean
‑
Clean类型，包含Clean
‑
Clean：正样本
‑
正样本，Clean
‑
Clean：负样本
‑
负样本两种类型样本对；第二组是Clean
‑
Mixed：负样本对类型，包含Clean
‑
Mixed：负样本
‑
负样本，Mixed
‑
Clean：负样本
‑
负样本两种类型样本对；第三组是Clean
‑
Mixed：正样本对类型，包含Clean
‑
Mixed：正样本
‑
正样本,Mixed
‑
Clean：正样本
‑
正样本两种类型；第四组是Mixed
‑
Mixed类型，包含Mixed
‑
Mixed：正样本
‑
正样本，Mixed
‑
Mixed：负样本
‑
负样本两类；c)在一个批次内的原有训练样本中，使用PK概率采样策略，其中：P表示每个批次中行人身份的数量，K表示每个行人有多少张图片；d)从数据增广批次训练样本中选择全部P和一半K参与迭代训练，选取策略为：每次迭代的样本对类型包含25％的Clean
‑

【专利技术属性】
技术研发人员：綦科，孙玉祥，
申请(专利权)人：广州大学，
类型：发明
国别省市：