一种基于双层显著特征的端到端行人搜索方法技术

本发明专利技术公开一种基于双层显著特征的端到端行人搜索方法，本方法包括：1)检测分支对输入图像进行行人检测，输出行人边界框以及分类分数；2)ID分配模块为每个边界框分配其对应的行人身份ID；3)ROI对齐对ID分配传递的每个边界框进行处理；4)重识别分支对ROI特征进行处理获得显著特征，然后通过实例层次和局部层次显著特征的优化使模型提取出有区分性的特征用于搜索目标行人。本发明专利技术在一定程度上提高了行人搜索的性能，同时具有较强的鲁棒性。同时具有较强的鲁棒性。同时具有较强的鲁棒性。

【技术实现步骤摘要】
一种基于双层显著特征的端到端行人搜索方法


[0001]本专利技术涉及计算机视觉
，具体地，涉及一种基于双层显著特征的端到端行人搜索方法。

技术介绍

[0002]行人搜索的目的是根据给定的目标行人图像，在相机拍摄的若干完整图像中识别并定位出该目标行人，这一问题通常划分为行人检测与行人重识别两个子任务：行人检测给出相机拍摄的完整图像中候选行人所在的区域，即行人边界框；行人重识别中对给定的目标行人图像和检测出的候选行人图像提取外观特征，由目标行人与候选行人的特征计算两者的相似度作为该候选行人是否为目标行人的依据。现有的行人搜索方法可以分为非端到端方法与端到端方法，非端到端方法使用独立的行人检测模型与行人重识别模型进行行人搜索，计算量大，运行效率低。端到端方法使用一个模型同时完成两个子任务，具有更高的计算效率。
[0003]现有的端到端行人搜索方法(Hierarchical online instance matching for person search.AAAI Conferenceon Artificial Intelligence,2020)，(Norm
‑
aware embedding for efficientperson search.IEEE/CVF Conference on ComputerVision and Pattern Recognition,2020)，(Anchor
‑
freeperson search.IEEE/CVF Conference on ComputerVision and Pattern Recognition,2021)更侧重于解决模型在检测和搜索子任务之间的平衡问题，而忽略了提高模型对检索任务学习更具有区分性的特征表示的能力，导致行人搜索准确率无法提高。因此，如何能够使用端到端方法提取有区分性的特征用于搜索目标行人，成为目前亟待解决的问题之一。

技术实现思路

[0004]本专利技术针对现有技术的不足，提出了一种基于双层显著特征的端到端行人搜索方法。本专利技术旨在挖掘行人本身的外观信息，在模型训练阶段通过对行人实例级别和局部级别双层显著特征的优化，使模型根据行人自身信息即可提取出有区分性的外观特征用于搜索目标行人，从而使得行人特征表示更加具有鲁棒性，在实际应用中获得更有竞争力的性能。
[0005]本专利技术的目的可通过以下技术方案来实现：
[0006]一种基于双层显著特征的端到端行人搜索方法，其特征在于，包括以下步骤：
[0007]1)检测分支对输入图像进行行人检测，输出行人边界框以及分类分数，具体地，采用现有的Sparse R
‑
CNN模型对输入图像进行行人检测，输出N组检测结果，每组结果包含一个行人边界框以及所述边界框内行人的分类分数，N优选为300；
[0008]2)ID分配模块为每个边界框分配其对应的行人身份ID，分配ID前去除行人检测分类分数小于M的结果，保留其余的边界框称为剩余边界框，并为所述剩余边界框分配其对应的行人身份ID；同时，ID分配模块将数据标注中的真实行人边界框加入剩余边界框内，并为
每个真实行人边界框分配其在标注中对应的行人身份ID，M优选为0.2；
[0009]3)ROI对齐对ID分配传递的每个边界框进行处理，所述边界框包含剩余边界框和真实行人边界框，具体地通过特征金字塔网络FPN的横向卷积输出全图多尺度特征，从所述全图多尺度特征上提取出多尺度的边界框内行人特征，将获得的多尺度的边界框内行人特征在通道维度进行拼接，最后通过一个3
×
3的卷积层进行多尺度特征融合获得ROI特征；
[0010]4)重识别分支对ROI特征进行处理获得显著特征，所述显著特征以向量形式表现，通过实例层次和局部层次显著特征的优化使模型提取出有区分性的特征用于搜索目标行人。
[0011]可选地，所述步骤2)中，ID分配具体包括以下步骤：
[0012]2‑
1)训练阶段，ID分配模块用于确定检测边界框中对应行人ID，并过滤掉低质量边界框，以防重识别分支中引入噪声样本进行训练，ID分配模块中ROI框为：
[0013][0014]ROI框对应的ID设置为：
[0015][0016]其中代表预测边框，代表分类分数，B＝{b1,b2,...,b
M
}代表图像中的地面真实行人边界框，代表对应的ID，q
conf
和q
iou
是预定义的置信度和交并比IOU阈值；
[0017]2‑
2)推理阶段，预测框直接用于提取人物特征并作为检测结果保存。
[0018]可选地，所述步骤2
‑
1)中，在早期训练阶段只有很少的预测框可以通过ID分配模块，导致预测的边界框往往与真实值严重不符，降低了重识别的训练速度，为此，将训练数据标注的真实行人边界框和对应ID加入到ID分配中，以训练重识别分支。
[0019]可选地，所述步骤4)中，重识别分支结构包括：
[0020]4‑
1)训练阶段，重识别分支包含有全局特征提取模块和局部特征提取模块，其中，全局特征受到OIM损失和实例层次的三元组损失监督，局部特征受到局部层次的OIM损失和实例层次三元组损失监督；
[0021]4‑
2)推理阶段，重识别分支只保留全局特征提取模块。
[0022]可选地，所述步骤4
‑
1)中，全局特征提取模块将ROI特征展开通过线性层变换为一个向量显著特征，用于计算行人实例层次损失；然后将所述一个向量显著特征经过BN层获得新的向量显著特征，用于计算OIM损失。
[0023]可选地，所述步骤4
‑
1)中，局部特征提取模块的设计是为了获取具有不同语义的行人身体局部和图像背景区域原型特征，具体地，首先利用局部分割将框内行人特征分割成表示不同身体局部的区域；然后通过特征融合将每个局部对应的区域内的特征聚合成一个固定大小的向量显著特征；接下来将表示向量显著特征输入4个1
×
1的带残差连接的卷积层和1个1
×
1的普通卷积层进行降维；最后将降维后的多个向量显著特征拼接在一起获
得显著性更优的特征，用于计算行人局部层次损失和实例层次损失。
[0024]可选地，局部分割根据框内行人ROI特征图上各点处向量f
i,j
和局部特征原型向量r
k
的相似度将行人特征分割成表示不同身体局部的区域，所述局部特征原型向量r
k
为随机初始化之后在训练阶段和整个模型一起优化的一组可学习的参数，相似度计算如下：
[0025][0026]其中σ
k
∈(0,1)为可学习的平滑因子，值越大，代表相似度越低。
[0027]可选地，特征融合将每个局部对应区域内的相似f
i,j
聚合成一个固定大小的向量显著特征，表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双层显著特征的端到端行人搜索方法，其特征在于，包括以下步骤：1)检测分支对输入图像进行行人检测，输出行人边界框以及分类分数，具体地，采用现有的Sparse R
‑
CNN模型对输入图像进行行人检测，输出N组检测结果，每组结果包含一个行人边界框以及所述边界框内行人的分类分数，N优选为300；2)ID分配模块为每个边界框分配其对应的行人身份ID，分配ID前去除行人检测分类分数小于M的结果，保留其余的边界框称为剩余边界框，并为所述剩余边界框分配其对应的行人身份ID；同时，ID分配模块将数据标注中的真实行人边界框加入剩余边界框内，并为每个真实行人边界框分配其在标注中对应的行人身份ID，M优选为0.2；3)ROI对齐对ID分配传递的每个边界框进行处理，所述边界框包含剩余边界框和真实行人边界框，具体地通过特征金字塔网络FPN的横向卷积输出全图多尺度特征，从所述全图多尺度特征上提取出多尺度的边界框内行人特征，将获得的多尺度的边界框内行人特征在通道维度进行拼接，最后通过一个3
×
3的卷积层进行多尺度特征融合获得ROI特征；4)重识别分支对ROI特征进行处理获得显著特征，所述显著特征以向量形式表现，然后通过实例层次和局部层次显著特征的优化使模型提取出有区分性的特征用于搜索目标行人。2.根据权利要求1所述的一种基于双层显著特征的端到端行人搜索方法，其特征在于，所述步骤2)中，ID分配具体包括以下步骤：2
‑
1)训练阶段，ID分配模块用于确定检测边界框中对应行人ID，并过滤掉低质量边界框，以防重识别分支中引入噪声样本进行训练，ID分配模块中ROI框为：ROI框对应的ID设置为：其中代表预测边框，代表分类分数，B＝{b1,b2,...,b
M
}代表图像中的地面真实行人边界框，P＝{p
b1
,p
b2
,...,p
bM
}代表对应的ID，q
conf
和q
iou
是预定义的置信度和交并比IOU阈值；2
‑
2)推理阶段，预测框直接用于提取人物特征并作为检测结果保存。3.根据权利要求2所述的一种基于双层显著特征的端到端行人搜索方法，其特征在于，所述步骤2
‑
1)中，在早期训练阶段只有很少的预测框可以通过ID分配模块，导致预测的边界框往往与真实值严重不符，降低了重识别的训练速度，为此，将训练数据标注的真实行人边界框和对应ID加入到ID分配中，以训练重识别分支。4.根据权...

【专利技术属性】
技术研发人员：百晓，张鹏程，郑锦，王晨，程姗，
申请(专利权)人：北京航空航天大学江西研究院，
类型：发明
国别省市：