用于行人重识别的匹配方法、装置、智能终端及存储介质制造方法及图纸

本发明专利技术公开了用于行人重识别的匹配方法、装置、智能终端及存储介质，方法包括：提取图库图像和被检索图像中包含行人的前景图像，通过已训练的度量学习模型学习到图库图像中行人的各个部分和被检索图像中行人的各个部分的相似度得分，进而根据各个部分的相似度得分得到匹配结果；本发明专利技术实施例由于度量学习模型基于各种服饰、各种姿态和各种部分被遮挡的样本训练得到，使得模型学习到的度量的鲁棒性、鉴别性和通用性更好，在开放世界长时间的行人重识别的匹配中准确性更高。识别的匹配中准确性更高。识别的匹配中准确性更高。

【技术实现步骤摘要】
用于行人重识别的匹配方法、装置、智能终端及存储介质


[0001]本专利技术涉及视频监控
，尤其涉及的是用于行人重识别的匹配方法、装置、智能终端及存储介质。

技术介绍

[0002]近年来，领域通用和开放世界度量在开放世界中面临若干挑战。虽然这些度量是从普通人的匹配中学习到的，但是，这些度量是在朴素假设下学习到的，比如为小规模网络学习度量，而这些小规模网络只有几对摄像头。此外，这些度量仅考虑短时间的重识别问题，其中，图像在有限的时间内被捕获，并且不考虑服装的变化。在现实世界中，同一个行人可以在多个摄像头网络域中被观察到，并且，在不同的时间间隔，该行人可以在不同的摄像头网络域中呈现不同的衣服；进一步地，该行人在实时视频中可能被遮挡。而目前度量只考虑裁剪良好的人在图像中间的图像作为输入，现有技术得到度量的鲁棒性、鉴别性和通用性不好，导致开放世界行人重识别的匹配准确性不高。
[0003]因此，现有技术还有待改进和发展。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种用于行人重识别的匹配方法、装置、智能终端及存储介质，旨在解决现有技术中度量只考虑裁剪良好的人在图像中间的图像作为输入，现有技术得到度量的鲁棒性、鉴别性和通用性不好，导致开放世界行人重识别的匹配准确性不高的问题。
[0005]本专利技术解决问题所采用的技术方案如下：
[0006]第一方面，本专利技术实施例提供一种用于行人重识别的匹配方法，其中，所述方法包括：
[0007]提取图库图像和被检索图像，并分别获取所述图库图像对应的第一行人前景图像和所述被检索图像对应的第二行人前景图像；获取预设的二进制分割掩码，并将所述二进制分割掩码、所述第一行人前景图像和所述第二行人前景图像输入已训练的度量学习模型，得到若干分割区域对应的特征距离；其中，每个分割区域对应第一行人前景图像的部分图像区域；每个分割区域对应第二行人前景图像的部分图像区域；所述度量学习模型基于各种服饰、各种姿态和各种部分被遮挡的样本训练得到；
[0008]根据若干分割区域对应的特征距离，得到若干分割区域对应的相似度得分，并根据各个分割区域对应的相似度得分，得到匹配结果。
[0009]在一种实现方式中，所述基于预设的模型分别获取所述图库图像对应的第一行人前景图像和所述被检索图像对应的第二行人前景图像包括：
[0010]基于多人解析模型，对所述图库图像进行分割，得到所述图库图像对应的第一行人前景图像；
[0011]基于多人解析模型，对所述被检索图像进行分割，得到所述被检索图像对应的第
二行人前景图像。
[0012]在一种实现方式中，所述度量学习模型的训练过程包括：
[0013]获取初始图像对，并通过改变所述初始图像对中的前景图像的外观属性的方式，对所述初始图像对进行样本扩充，得到扩充图像对；将所述扩充图像对加入所述初始图像对，得到图像样本对；将所述图像样本对作为正图像样本对，并根据所述正图像样本对获取负图像样本对；
[0014]将所述二进制分割掩码、所述正图像样本对和所述负图像样本对输入度量学习模型，输出若干分割区域对应的预测特征距离；
[0015]根据各个分割区域对应的预测特征距离，得到总损失函数，并根据所述损失函数对所述度量学习模型的参数进行调整，以得到已训练的度量学习模型。
[0016]在一种实现方式中，所述通过改变所述初始图像对中的前景图像的外观属性的方式，对所述初始图像对进行样本扩充，得到扩充图像对包括：
[0017]基于预设的第一网络，对所述初始图像对中的前景图像进行姿态转换，得到所述初始图像对对应的第一图像对；
[0018]基于预设的第二网络，对所述第一图像对进行训练域转换；
[0019]基于预设的第三网络，将经过训练域转换后的第一图像对中的前景图像进行服饰变换，得到第二图像对；
[0020]获取所述第二图像对对应的初始语义图，并将所述初始语义图中部分区域的所有像素值置0，得到目标语义图；将所述目标语义图分别乘以所述第二图像对中的每一个图像，得到扩充图像对。
[0021]在一种实现方式中，所述度量学习模型包括卷积神经网络和交叉卷积模块；所述将所述二进制分割掩码、所述正图像样本对和所述负图像样本对输入度量学习模型，输出若干分割区域对应的预测特征距离包括：
[0022]将所述正图像样本对和所述负图像样本对输入所述卷积神经网络，输出所述正图像样本对对应的第一特征对和所述负图像样本对对应的第二特征对；
[0023]基于所述二进制分割掩码对所述第一特征对和所述第二特征对进行分割，得到四张图像样本各个分割区域的特征；
[0024]将四张图像样本各个分割区域的特征输入交叉卷积模块，得到若干分割区域对应的预测特征距离。
[0025]在一种实现方式中，所述预测特征距离包括第一预测特征距离、第二预测特征距离和第三预测特征距离；所述根据各个分割区域对应的预测特征距离，得到总损失函数包括：
[0026]获取预设的第一边距和预设的第二边距；其中，所述第一边距和第二边距均为度量学习模型的训练阈值参数；
[0027]针对每个分割区域，将每个分割区域对应的第一预测特征距离减去每个分割区域对应的第二预测特征距离后加上所述第一边距，得到每个分割区域对应的第一损失函数；
[0028]将每个分割区域对应的第一预测特征距离减去每个分割区域对应的第三预测特征距离后加上所述第二边距，得到每个分割区域对应的第二损失函数；
[0029]将每个分割区域对应的第一损失函数加上每个分割区域对应的第二损失函数，得
到每个分割区域对应的损失函数；
[0030]将所有分割区域对应的损失函数进行相加，得到总损失函数。
[0031]在一种实现方式中，所述根据各个分割区域对应的相似度得分，得到匹配结果包括：
[0032]计算所有分割区域对应的相似度得分的平均值，得到平均相似度得分；
[0033]当平均相似度得分大于预设的阈值时，匹配结果为所述第一行人前景图像和第二行人前景图像匹配成功；
[0034]当平均相似度得分小于预设的阈值时，匹配结果为所述第一行人前景图像和第二行人前景图像匹配失败。
[0035]第二方面，本专利技术实施例还提供一种用于行人重识别的匹配装置，其中，所述装置包括：
[0036]前景图像获取模块，用于提取图库图像和被检索图像，并分别获取所述图库图像对应的第一行人前景图像和所述被检索图像对应的第二行人前景图像；
[0037]特征距离获取模块，用于获取预设的二进制分割掩码，并将所述二进制分割掩码、所述第一行人前景图像和所述第二行人前景图像输入已训练的度量学习模型，得到若干分割区域对应的特征距离；其中，每个分割区域对应第一行人前景图像的部分图像区域；每个分割区域对应第二行人前景图像的部分图像区域；所述度量学习模型基于各种服饰、各种姿态和各种部分被遮挡的样本训练得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于行人重识别的匹配方法，其特征在于，所述方法包括：提取图库图像和被检索图像，并分别获取所述图库图像对应的第一行人前景图像和所述被检索图像对应的第二行人前景图像；获取预设的二进制分割掩码，并将所述二进制分割掩码、所述第一行人前景图像和所述第二行人前景图像输入已训练的度量学习模型，得到若干分割区域对应的特征距离；其中，每个分割区域对应第一行人前景图像的部分图像区域；每个分割区域对应第二行人前景图像的部分图像区域；所述度量学习模型基于各种服饰、各种姿态和各种部分被遮挡的样本训练得到；根据若干分割区域对应的特征距离，得到若干分割区域对应的相似度得分，并根据各个分割区域对应的相似度得分，得到匹配结果。2.根据权利要求1所述的用于行人重识别的匹配方法，其特征在于，所述分别获取所述图库图像对应的第一行人前景图像和所述被检索图像对应的第二行人前景图像包括：基于多人解析模型，对所述图库图像进行分割，得到所述图库图像对应的第一行人前景图像；基于多人解析模型，对所述被检索图像进行分割，得到所述被检索图像对应的第二行人前景图像。3.根据权利要求1所述的用于行人重识别的匹配方法，其特征在于，所述度量学习模型的训练过程包括：获取初始图像对，并通过改变所述初始图像对中的前景图像的外观属性的方式，对所述初始图像对进行样本扩充，得到扩充图像对；将所述扩充图像对加入所述初始图像对，得到图像样本对；将所述图像样本对作为正图像样本对，并根据所述正图像样本对获取负图像样本对；将所述二进制分割掩码、所述正图像样本对和所述负图像样本对输入度量学习模型，输出若干分割区域对应的预测特征距离；根据各个分割区域对应的预测特征距离，得到总损失函数，并根据所述损失函数对所述度量学习模型的参数进行调整，以得到已训练的度量学习模型。4.根据权利要求3所述的用于行人重识别的匹配方法，其特征在于，所述通过改变所述初始图像对中的前景图像的外观属性的方式，对所述初始图像对进行样本扩充，得到扩充图像对包括：基于预设的第一网络，对所述初始图像对中的前景图像进行姿态转换，得到所述初始图像对对应的第一图像对；基于预设的第二网络，对所述第一图像对进行训练域转换；基于预设的第三网络，将经过训练域转换后的第一图像对中的前景图像进行服饰变换，得到第二图像对；获取所述第二图像对对应的初始语义图，并将所述初始语义图中部分区域的所有像素值置0，得到目标语义图；将所述目标语义图分别乘以所述第二图像对中的每一个图像，得到扩充图像对。5.根据权利要求3所述的用于行人重识别的匹配方法，其特征在于，所述度量学习模型包括卷积神经网络和交叉卷积模块；所述将所述二进制分割掩码、所述正图像样本对和所
述负图像样本对输入度量学习模型，输出若干分割区域对应的预测特征距离包括：将所述正图像样本对和所述负图像样本对输入所述卷积神经网络，输出所述正图像样本对对应的第一特征对和所述负图像样...

【专利技术属性】
技术研发人员：赛义德，
申请(专利权)人：康佳集团股份有限公司，
类型：发明
国别省市：