【技术实现步骤摘要】
一种基于弱监督场景的目标搜索方法及装置
[0001]本专利技术属于人工智能目标搜索领域，更具体地，涉及一种基于弱监督场景的目标搜索方法及装置。
技术介绍
[0002]行人搜索是指给定一张包含待查询行人的图片，从图片库中将该行人检测并识别出来。共包括行人检测和行人重识别两个子任务。相比于行人重识别直接利用裁好的行人图片，行人搜索更加接近现实场景。
[0003]现有的行人搜索方法主要分为两大类。一类方法是通过共享行人检测和行人重识别网络的部分特征进行联合训练。例如，文章“Joint detection and identification feature learning for person search，Computer Vision and Pattern Recognition(CVPR)，2017IEEE Conference on.IEEE，2017：3376
‑
3385”；另一类方法是分别进行检测和重识别，将两个任务端到端训练。
[0004]现有的行人搜索都是基于有监督的方法，即需...
【技术保护点】
【技术特征摘要】
1.一种基于弱监督场景的目标搜索方法，其特征在于，包括以下步骤：将待搜索图像和图像库输入至训练完毕的弱监督下的目标搜索网络模型中，得到待搜索图像目标特征和图像库中所有目标特征；计算所述待搜索图像目标特征与所述图像库中所有目标特征之间的相似度，获取待搜索图像的匹配结果；其中，训练目标搜索网络模型的方法，包括以下步骤：(1)构建基于弱监督场景下的目标搜索网络模型的框架；将目标搜索网络分为搜索分支和实例分支，两者的卷积神经网络参数共享；(2)将原始场景图片以及图片中目标边界框作为弱监督场景下的目标搜索网络模型的输入，采用基于实例的一致性学习和聚类对比学习方法，构建特征的监督信号以训练目标搜索网络模型；其中，特征包括实例特征和搜索特征；其中，搜索分支以原始场景图片和目标边界框为输入，并联合训练检测和重识别任务；实例分支的以原始场景图片中裁剪后的若干目标图片和目标边界框为输入，训练重识别任务；其中，原始场景图片中标注有目标边界框；(3)以特征的监督信号构建目标搜索网络模型的整体损失函数，当目标搜索网络模型的整体损失函数收敛时，则判定训练完毕目标搜索网络模型。2.根据权利要求1所述的目标搜索方法，其特征在于，所述聚类对比学习方法，具体包括如下步骤：将原始场景图片和目标边界框输入至目标搜索网络模型，经过搜索分支和实例分支分别提取目标的搜索特征和实例特征；顺次计算所有批次中目标的搜索特征和实例特征的平均值，存入记忆池；对记忆池中的特征进行非参数化的聚类；聚类后为每个特征分配一个伪标签，计算聚类层面的对比损失特征的监督信号；结合检测过程中的损失函数，构建目标搜索网络模型的整体损失函数。3.根据权利要求1或2所述的目标搜索方法，其特征在于采用基于实例一致性学习构建特征的监督信号以训练目标搜索网络模型，具体包括以下步骤：将原始场景图片和目标边界框输入至目标搜索网络模型，经过搜索分支和实例分支分别提取目标的搜索特征和实例特征；基于目标的搜索特征和实例特征，建立基于实例本身的一致性损失函数和基于实例间相似性的一致性损失函数；将基于实例本身的一致性损失函数、基于实例间相似性的一致性损失函数、聚类层面的对比损失特征以及检测过程中的损失函数结合，构建目标搜索网络模型的整体损失函数。4.根据权利要求3所述的目标搜索方法，其特征在于，所述目标搜索网络模型的整体损失函数为：L＝L
ins
+L
int
+L
clu
+L
de
其中，L
de
为检测过程中的损失；L
clu
为聚类层面的对比损失；L
int
为基于实例间相似性的一致性损失函数；L
ins
为基于实例本身的一致性损失函数；
L
int
＝D
KL
(S
a
||S
b
)+D
KL
(S
b
||S
a
)其中，代表各个正样本对的相似度，代表负样本对的相似度；γ是比例系数；f
ia
和f
ib
(i＝1，2，......，B)分别表示目标的搜索特征和实例特征；B表示每个训练批次中目标的个数；D
KL
为Kullback
‑
Leibler散度；S
a
和S
b
分别表示搜索分支和实例分支中的相似性矩阵。5.一种基于弱监督场景的目标搜索装置，其特征在于，包括：目标搜索网络模块、匹配模块、模型框架构建模块、损...
【专利技术属性】
技术研发人员：桑农，韩楚楚，邵远杰，高常鑫，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。