一种基于特征融合的细粒度图像生成的行人搜索方法技术

本发明专利技术提供一种基于特征融合的细粒度图像生成的行人搜索方法，主要包括：利用残差网络对所述行人图像进行特征处理；基于置信度阈值对区域建议网络输出的特征候选框进行筛选；将筛选后的特征候选框输入检测头，使用边界框回归获取精细的行人框；根据身份相似性分数将检测结果中的身份标注为标记和未标记；将标记过身份的裁剪图像输入生成对抗网络的生成器，将输入图像的外观信息和结构信息两进行随机相互结合；将新生成的图像送入鉴别器的教师网络中附加软标签；把附加过软标签的图像送入鉴别器中进行鉴别，鉴别器利用鉴别特征提取层来完成行人的重新识别，然后输出结果。本发明专利技术解决了现有行人搜索方法无法在实际场景中获取高精度特征的问题。高精度特征的问题。高精度特征的问题。

【技术实现步骤摘要】
一种基于特征融合的细粒度图像生成的行人搜索方法


[0001]本专利技术涉及行人搜索
，具体而言，尤其涉及一种基于特征融合的细粒度图像生成的行人搜索方法。

技术介绍

[0002]在计算机视觉领域，行人搜索一直是一项具有挑战性的任务，其目的是从真实的摄像机中搜索特定的行人。一般来说，现有的行人搜索方法采用手工裁剪的视频，使得行人边界框干净且噪音更小，但需要对来自实际监控视频的具有大量行人的整个图像进行处理，过程复杂，导致消耗巨大，无法在真实场景中推广使用。此外，检测阶段需要检测出图片出所有的人，所以检测需要提取人的共性，才能正确检测出所有的人。重新识别阶段，就是确定检测出的人的具体身份，即解决“这个人是谁？”的问题，所以他需要每个人之间的差异性来确定人的身份。即在检测阶段需要提取特征的共性，而重新识别阶段需要提取特征之间的差异性，这进一步影响了行人搜索的性能。在大规模智能监控系统中，上述两个问题给现有的行人搜索方法完成实时目标搜索任务带来了挑战。现有用于训练的监控视频只包含了每个行人的几张照片，且其中大多数都有相同的背景和衣服，导致训练出的模型无法保证在真实场景中学习的用于行人搜索的辨别特征的精确度。

技术实现思路

[0003]本专利技术提供一种基于特征融合的细粒度图像生成的行人搜索方法，以解决现有行人搜索方法无法在实际场景中获取高精度特征的结束问题。
[0004]本专利技术采用的技术手段如下：
[0005]一种基于特征融合的细粒度图像生成的行人搜索方法，包括以下步骤：
[0006]由街景监控视频获取行人图像，并利用残差网络对所述行人图像进行特征处理，获取行人图像特征；
[0007]将所述行人图像特征输入区域建议网络，基于置信度阈值对区域建议网络输出的特征候选框进行筛选；
[0008]对特征候选框内的内容进行感兴趣区域对齐，从而获得长度一致的身份特征图；
[0009]将所述身份特征图输入检测头，所述检测头用于判断是否是行人，当确认为行人时，使用边界框回归对粗略的行人框进行微调，从而获取精细的行人框；
[0010]获取查询目标，计算查询目标和检测结果之间的身份相似度，并根据身份相似性分数将检测结果中的身份标注为标记和未标记的身份，所述检测结果为具有精细的行人框的监控图像；所述身份相似度的计算公式为：
[0011][0012]其中q是查询目标的身份特征向量，g是检测结果的身份特征向量；
[0013]将标记过身份的裁剪图像输入到生成对抗网络的生成器中，生成器的外观信息抽
取器提取裁剪图像的人物外观信息，生成器的结构信息抽取器提取裁剪图像的人物结构信息；生成器的信息融合器将外观信息和结构信息进行两两随机融，生成新的图像；
[0014]将新生成的图像送入鉴别器的教师网络中利用教师网络为生成的新图像附加软标签；
[0015]把附加过软标签的图像送入鉴别器中进行鉴别，鉴别器利用鉴别特征提取层来完成行人的重新识别，然后输出结果。
[0016]进一步地，所述用残差网络包含五个卷积层，逐层对输入图像进行处理，最后将输入图像提取为2048维的特征向量。
[0017]进一步地，使用边界框回归对粗略的行人框进行微调，包括使用训练后的边界框回归模型调节粗略的行人框，所述边界框回归模型使用边界框回归损失监督模型训练，所述边界框回归损失为：
[0018][0019]其中，x
i
为输入样本，S
i
为每个输入类别属于真实类别的概率，T为样本数量。
[0020]进一步地，计算查询目标和检测结果之间的身份相似性分数，并根据身份相似性分数将检测结果中的身份标注为标记和未标记的身份，包括：
[0021]将检测结果和查询目标输入训练后的身份特征引导模型，所述身份特征引导模型通过计算查询目标和检测结果之间的身份相似性分数，对检测结果中的行人进行身份标注，标注结果包括标记和未标记，其中，标记的身份为本次目标图像，未标记的身份不是本次目标图像；
[0022]所述身份特征引导模型根据由身份特征引导损失训练训练，所述身份特征引导损失为：
[0023][0024]其中N为样本个数，δ是控制硬负样本比率的阈值，表示第k个负样本，K为硬负样本的数量，根据以下计算获取：
[0025][0026]进一步地，将标记过身份的裁剪图像输入生成对抗网络的生成器，所述生成器用于将输入图像的外观信息和结构信息两进行随机相互结合，生成新的图像，包括：使用像素级L1损失对重建后的图像进行监督：
[0027][0028][0029]其中，E[||
·
||1]表示L1损失函数，表示图片x
i
的外观信息，表示图片x
j
的结构信息，L
app
表示外观信息抽取器的损失，L
str
表示结构信息抽取器的损失，E
app
表示外观信息抽取器，E
str
表示结构信息抽取器，D表示生成对抗网络；
[0030]识别损失为：
[0031][0032]其中p(y
i
|x
ji
)是x
ji
属于x
i
的真值y
i
的预测概率，x
ji
是合成新的图像；
[0033]采用生成对抗网络的对抗性损失将合成图像的分布与真实数据分布相匹配，生成对抗网络的对抗性损失为：
[0034][0035]其中表示分布函数。
[0036]进一步地，将新生成的图像送入鉴别器的教师网络中利用教师网络为生成的新图像附加软标签，包括：
[0037]教师网络按照水平方向将合成图像的特征空间分成6个条带区域，再对区域进行卷积得到6个通道的张量，最后针对每个通道做Softmax分类，从而为合成的图像分配软标签。
[0038]进一步地，把附加过软标签的图像送入鉴别器中进行鉴别，鉴别器利用鉴别特征提取层来完成行人的重新识别，然后输出结果，包括：
[0039]使用KL散列来最小化鉴别器的预测概率分布p(x
ji
)和由教师网络预测的概率分配q(x
ji
)，KL散列的公式为：
[0040][0041]其中M是身份的数量，q(m|x
ji
)是最小化鉴别器预测x
ji
的身份为m的概率，p(m|x
ji
)是教师网络预测x
ji
的身份为m的概率。
[0042]进一步地，把附加过软标签的图像送入鉴别器中进行鉴别，鉴别器利用鉴别特征提取层来完成行人的重新识别，然后输出结果，还包括：
[0043]利用身份损失，使鉴别器对教师网络输出的软标签图像进行判别特征学习，所述身份损失被定义为:
[0044][0045]其中，p(y
i
|x
ji
)是教师网络预测x<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征融合的细粒度图像生成的行人搜索方法，其特征在于，包括以下步骤：由街景监控视频获取行人图像，并利用残差网络对所述行人图像进行特征处理，获取行人图像特征；将所述行人图像特征输入区域建议网络，基于置信度阈值对区域建议网络输出的特征候选框进行筛选；对特征候选框内的内容进行感兴趣区域对齐，从而获得长度一致的身份特征图；将所述身份特征图输入检测头，所述检测头用于判断是否是行人，当确认为行人时，使用边界框回归对粗略的行人框进行微调，从而获取精细的行人框；获取查询目标，计算查询目标和检测结果之间的身份相似度，并根据身份相似性分数将检测结果中的身份标注为标记和未标记的身份，所述检测结果为具有精细的行人框的监控图像；所述身份相似度的计算公式为：其中q是查询目标的身份特征向量，g是检测结果的身份特征向量；将标记过身份的裁剪图像输入到生成对抗网络的生成器中，生成器的外观信息抽取器提取裁剪图像的人物外观信息，生成器的结构信息抽取器提取裁剪图像的人物结构信息；生成器的信息融合器将外观信息和结构信息进行两两随机融，生成新的图像；将新生成的图像送入鉴别器的教师网络中利用教师网络为生成的新图像附加软标签；把附加过软标签的图像送入鉴别器中进行鉴别，鉴别器利用鉴别特征提取层来完成行人的重新识别，然后输出结果。2.根据权利要求1所述的一种基于特征融合的细粒度图像生成的行人搜索方法，其特征在于，所述用残差网络包含五个卷积层，逐层对输入图像进行处理，最后将输入图像提取为2048维的特征向量。3.根据权利要求1所述的一种基于特征融合的细粒度图像生成的行人搜索方法，其特征在于，使用边界框回归对粗略的行人框进行微调，包括使用训练后的边界框回归模型调节粗略的行人框，所述边界框回归模型使用边界框回归损失监督模型训练，所述边界框回归损失为：其中，x
i
为输入样本，S
i
为每个输入类别属于真实类别的概率，T为样本数量。4.根据权利要求1所述的一种基于特征融合的细粒度图像生成的行人搜索方法，其特征在于，计算查询目标和检测结果之间的身份相似性分数，并根据身份相似性分数将检测结果中的身份标注为标记和未标记的身份，包括：将检测结果和查询目标输入训练后的身份特征引导模型，所述身份特征引导模型通过计算查询目标和检测结果之间的身份相似性分数，对检测结果中的行人进行身份标注，标注结果包括标记和未标记，其中，标记的身份为本次目标图像，未标记的身份不是本次目标图像；所述身份特征引导模型根据由身份特征引导损失训练训练，所述身份特征引导损失
为：其中N为样本个数，δ是控制硬负样本比率的阈值，a
k
‑
表示第k个负样本，K为硬负样本的数量，根据以下计算获取：5.根据权利要求1所述的一种基于特征融合的细粒度图像生成的行人搜索方法，其特征在于，...

【专利技术属性】
技术研发人员：王辉兵，蒋依民，赵鹏，崔添翔，姚铭泽，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：