基于轮廓图引导的跨模态行人重识别方法及系统技术方案

本发明专利技术公开了基于轮廓图引导的跨模态行人重识别方法及系统，属于行人重识别技术领域。本发明专利技术采用了一种加和乘协同操作的方式来将图像特征加权到对应的轮廓特征上，这种加乘协同操作可以结合到图像特征和轮廓特征的各自优势并且保存原有图像的信息，定义了特征能量函数对融合特征进行加权，它通过均方差来计算融合特征各神经元的离散程度，在经过能量函数加权后处于轮廓边缘位置的特征会产生更大的权值，以此轮廓边缘位置的特征在后续的计算中获得更多的注意力，得到的轮廓引导特征与原始图像特征共同被用于损失计算，以此提高跨模态行人重识别的识别准确率。解决了现有技术中存在“多模态图像之间的差异降低行人重识别准确率”的问题。的问题。的问题。

【技术实现步骤摘要】
基于轮廓图引导的跨模态行人重识别方法及系统


[0001]本专利技术涉及行人重识别
，特别是涉及基于轮廓图引导的跨模态行人重识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]行人重新识别(ReID)是视频监视和智能城市中至关重要的任务。ReID的目标是给定查询集的行人图像，在跨相机下拍摄到的行人图像库中检索出具有相同身份行人图像。如今大多数研究都集中在匹配可见光相机捕获的RGB行人图像上。但是在弱光条件下，可见光相机的成像效果很差，拍摄到的图像会产生大量的噪点，甚至不能拍出完整的行人影像，从而导致模型匹配行人的准确率急剧下降。近年来，许多监控系统在弱光环境下会将摄像头自动切换为近红外模式，以在夜间也可以捕获行人完整的外观信息。越来越多跨模态数据的积累促使研究人员将注意力转移到可见光
‑
近红外行人重识别(VI
‑
ReID)上。通过匹配来自两种不同模态的行人图像，即使在较差的照明条件下，VI
‑
ReID也能够匹配到目标行人。与传统ReID任务相比，VI
‑
ReID也面临着新的挑战：两种模态行人图像间通道级别的色彩差异会导致模型很难去挖掘具有身份区分性的行人特征。提高跨模态行人重识别模型的识别准确率对于城市智慧安防具有重要意义。
[0004]如何缓解模态差异带来的影响并取得较好的行人识别效果，这是目前亟需解决的问题，目前主流的方法主要分为两大类：
[0005]第一类方法是设计合理的网络架构提取具有身份区分性的特征，并将特征直接映射到统一的特征空间进行相似度比较来匹配相同身份的行人。Fu等人通过引入NAS方法对特征提取网自动搜索BN层的最佳分离方案，Park等人使用密集的跨模态特征间的相似度来对特征进行对齐，缓解了模态之间的差异，同时进一步增强了人物表征的辨别力。但是两种模态图像间的差异是非线性的，单纯地通过设计网络结构提取行人图像特征进行相似度比较很难将模态差异造成的影响最小化。
[0006]第二类方法是基于图像生成的方法，其致力于在生成相关图像并将其共同输入到特征提取网络从而缓解模态差异。Wang等人提出了一种利用cycle
‑
GAN网络来生成模态互补的图像，即对可见光行人图像生成出相应的近红外模态行人图像，对近红外行人图像生成可见光行人图像，从而将跨模态问题看成一个单模态行人匹配问题；Zhang等人提出了一种通过一对编码器将两种模态的身份配对图像编码到统一的高维空间并近其特征距离，再用一个解码器生成中间模态图像，并将这种中间模态图像共同输入特征提取网络以缓解模态差异造成的影响。但由于跨模态行人重识别任务的两种模态行人图像并不是在像素级别对齐的，因此通过GAN网络或者编码器方法生成的图像质量往往难以保证。Ma等人提出将行人轮廓图这种像素级别对齐的图像引入到跨模态行人重识别任务中，但是其将图像特征和轮廓特征在不同的特征提取阶段重复使用简单的元素相加方法来进行融合，导致行人轮廓图在融合特征中并没有得到充分表达。

技术实现思路

[0007]为了解决现有技术的不足，本专利技术提供了基于轮廓图引导的跨模态行人重识别方法、系统、电子设备及计算机可读存储介质，使用轮廓检测模型提取两种模态行人图像的相应轮廓图，并将其与原始行人图像共同投入到特征提取网络中，在特征提取的不同阶段将轮廓图与原始图像使用加乘协同的方法进行有效融合，并定义融合特征的能量函数对融合特征重新加权来强化轮廓信息的表示能力，通过融合轮廓信息从而缓解模态差异对行人重识别准确率造成的影响。
[0008]第一方面，本专利技术提供了基于轮廓图引导的跨模态行人重识别方法；
[0009]基于轮廓图引导的跨模态行人重识别方法，包括：
[0010]获取可见光模态行人图像和近红外模态行人图像，根据可见光模态行人图像和近红外模态行人图像，生成行人轮廓图；
[0011]根据可见光模态行人图像和近红外模态行人图像，提取可见光图像特征和近红外图像特征；
[0012]根据行人轮廓图、可见光图像特征和近红外图像特征，通过加乘协同方法，获取轮廓引导特征；定义特征能量函数，对轮廓引导特征进行更新；
[0013]对可见光图像特征进行水平分割，获取可见光图像局部特征；对近红外图像特征进行水平分割，获取近红外图像局部特征；对更新后的轮廓引导特征进行水平分割，获取轮廓引导局部特征；
[0014]根据轮廓引导局部特征、可见光图像局部特征和近红外图像局部特征对行人进行身份预测，获取行人重识别结果。
[0015]进一步的，所述根据可见光模态行人图像和近红外模态行人图像，生成行人轮廓图包括：
[0016]将可见光模态行人图像输入轮廓检测器，获取可见光模态行人轮廓图；
[0017]将近红外模态行人图像输入轮廓检测器，获取近红外模态行人轮廓图；
[0018]将可见光模态行人轮廓图和对应的近红外模态行人轮廓图拼接，获取行人轮廓图。
[0019]进一步的，所述根据可见光模态行人图像和近红外模态行人图像，提取见光图像特征和近红外图像特征包括：
[0020]将可见光模态行人图像和近红外模态行人图像输入双流特征提取网络；
[0021]双流特征提取网络的第一分支对可见光模态行人图像进行提取，获取可见光图像特征；双流特征提取网络的第二分支对近红外模态行人图像进行提取，获取近红外图像特征；
[0022]其中，双流特征提取网络的主干网络为ResNet
‑
50，第一分支和第二分支不共享第一个卷积块的参数，以提取模态私有特征，第一分支和第二分支共享残差块参数，以提取模态共有特征。
[0023]进一步的，所述根据行人轮廓图、可见光图像特征和近红外图像特征，获取轮廓引导特征包括：
[0024]将行人轮廓图输入第三分支进行处理，获取轮廓特征，其中，第三分支的主干网络为ResNet
‑
50；
[0025]通过加乘协同方法将可见光图像特征和近红外图像特征加权至对应的轮廓特征，获取轮廓引导特征。
[0026]进一步的，所述定义特征能量函数，对轮廓引导特征进行更新具体为：
[0027]定义特征能量函数，根据特征能量函数和神经元离散程度，确定轮廓引导特征的权重，根据权重对轮廓引导特征进行更新。
[0028]进一步的，所述特征能量函数表示为：
[0029][0030]其中，F为特征向量，α、β和γ均为超参数，μ和φ2为轮廓引导特征中神经元的离散程度。
[0031]进一步的，所述根据轮廓引导局部特征、可见光图像局部特征和近红外图像局部特征对行人进行身份预测，获取行人重识别结果包括：
[0032]通过非局部注意力对可见光图像局部特征和近红外图像局部特征进行重新加权，将重新加权后的可见光图像局部特征和近红外图像局部特征输入全局池化层，获取可见光图像局部特征向量和近红外图像局部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于轮廓图引导的跨模态行人重识别方法，其特征在于，包括：获取可见光模态行人图像和近红外模态行人图像，根据可见光模态行人图像和近红外模态行人图像，生成行人轮廓图；根据可见光模态行人图像和近红外模态行人图像，提取可见光图像特征和近红外图像特征；根据行人轮廓图、可见光图像特征和近红外图像特征，通过加乘协同方法，获取轮廓引导特征；定义特征能量函数，对轮廓引导特征进行更新；对可见光图像特征进行水平分割，获取可见光图像局部特征；对近红外图像特征进行水平分割，获取近红外图像局部特征；对更新后的轮廓引导特征进行水平分割，获取轮廓引导局部特征；根据轮廓引导局部特征、可见光图像局部特征和近红外图像局部特征对行人进行身份预测，获取行人重识别结果。2.如权利要求1所述的基于轮廓图引导的跨模态行人重识别方法，其特征在于，所述根据可见光模态行人图像和近红外模态行人图像，生成行人轮廓图包括：将可见光模态行人图像输入轮廓检测器，获取可见光模态行人轮廓图；将近红外模态行人图像输入轮廓检测器，获取近红外模态行人轮廓图；将可见光模态行人轮廓图和对应的近红外模态行人轮廓图拼接，获取行人轮廓图。3.如权利要求1所述的基于轮廓图引导的跨模态行人重识别方法，其特征在于，所述根据可见光模态行人图像和近红外模态行人图像，提取见光图像特征和近红外图像特征包括：将可见光模态行人图像和近红外模态行人图像输入双流特征提取网络；双流特征提取网络的第一分支对可见光模态行人图像进行提取，获取可见光图像特征；双流特征提取网络的第二分支对近红外模态行人图像进行提取，获取近红外图像特征；其中，双流特征提取网络的主干网络为ResNet
‑
50，第一分支和第二分支不共享第一个卷积块的参数，以提取模态私有特征，第一分支和第二分支共享残差块参数，以提取模态共有特征。4.如权利要求1所述的基于轮廓图引导的跨模态行人重识别方法，其特征在于，所述根据行人轮廓图、可见光图像特征和近红外图像特征，获取轮廓引导特征包括：将行人轮廓图输入第三分支进行处理，获取轮廓特征，其中，第三分支的主干网络为ResNet
‑
50；通过加乘协同方法将可见光图像特征和近红外图像特征加权至对应的轮廓特征，获取轮廓引导特征。5.如权利要求1所述的基于轮廓图引导的跨模态行人重识别方法，其特征在于，...

【专利技术属性】
技术研发人员：赵秀阳，徐启龙，
申请(专利权)人：济南大学，
类型：发明
国别省市：