一种基于异构融合图卷积网络的跨模态行人重识别方法技术

本发明专利技术公开了一种基于异构融合图卷积网络的跨模态行人重识别方法，包括：1、构建可见光与近红外数据集，包括图像的获取以及预处理；2、采用随机批采样策略获取当前批次的可见光和近红外图像；3、构建一阶关键点提取网络提取图像的局部关键点特征，利用领接矩阵生成图数据；4、构建高阶嵌入图卷积网络建模图数据之间的结构关系；5、构建图匹配模块及损失函数的网络结构；6、利用分阶段方式训练得到最优行人重识别模型；7、利用测试集获得行人重识别结果。本发明专利技术能通过关键点提取网络、嵌入图卷积网络和图匹配网络，更好的构建跨模态图数据的特征关系，从而提高可见光与近红外行人重识别的准确度。的准确度。的准确度。

【技术实现步骤摘要】
一种基于异构融合图卷积网络的跨模态行人重识别方法


[0001]本专利技术属于计算机视觉、模式识别及行人重识别领域，具体的说公开了一种基于异构融合图卷积网络的跨模态行人重识别方法。

技术介绍

[0002]近年来，由于公共安全的迫切需求，城市中监控摄像机数量不断增加，而在智能视频监控系统设计中，行人重识别技术是必不可少的关键技术之一。行人重识别是一种跨摄像机的图像检索任务，其目的是从不相交摄像机采集的图像库中检索给定查询的人员。鉴于行人重识别研究的影响力和实际重要性，该技术已成为计算机视觉和模式识别领域的一个研究热点。
[0003]现有的行人重识别方法主要是处理单模态的可见光图像，但在真实复杂的场景中，即在黑暗和明亮的交叉光照环境中捕捉人物图像，这些方法的效果会显著降低。同时，可见光相机不能在夜间工作。现如今，一些新型监视设备投入使用，如可见光
‑
红外双模摄像机(RGB
‑
IR Dual
‑
mode Cameras)，在较差的照明条件下仍然可以捕捉人的外观特征。这引起了工业界和学术界对可见光
‑
近红外(RGB
‑
NIR)跨模态匹配的广泛研究兴趣。两种模态间图像以及单一模态内人的外观特征均存在较大差异。例如，可见光图像包含了一些像颜色这样的鉴别线索，而这些信息在红外图像中缺失。
[0004]目前，已经有一些针对可见光和红外的跨模态行人重识别方法。当前的研究工作主要从两个方面来解决跨模态行人重识别问题。第一类方法试图通过特征级约束(如对齐图像的特征分布)来减少跨模态差异。其目标是最大化具有相同身份特征(类内特征)的相似性，并最小化具有不同身份特征(类间特征)的相似性。例如Zhu等文献《Hetero
‑
Center loss for cross
‑
modality person Re
‑
identification》设计了双流局部特征网络,为了改进类内跨模态相似性,提出异质中心损失将两个异质模态中心之间的距离拉近，提高模态间特征的相似度。第二类方法是在输入级使用GAN将图像从一种模态转换到另一种模态，同时尽可能地保存身份信息。
[0005]然而，这两类方法仅专注于解决跨模态中的模态差异，却忽略了单模态行人重识别中仍然存在的挑战，包括外观差异、背景杂乱、视点变化和遮挡等。现有的工作主要集中在可见光
‑
近红外图像转换或跨模态的全局共享特征学习，而身体部位的局部特征和这些特征之间的结构关系在很大程度上被忽略了。第一类方法忽视了很多模态特有信息，第二类方法会引入随机干扰，这些方法仍然使跨模态信息之间的匹配较困难，导致红外与可见光跨模态行人再识别的识别效果较差。

技术实现思路

[0006]本专利技术为克服上述现有技术中存在的问题，本专利技术提出了一种基于异构融合图卷积网络的跨模态行人重识别方法，以期能更好的构建跨模态数据的特征关系并减弱图像数据中噪声的影响，同时考虑到局部关键点之间的联系，从而提高可见光与近红外跨模态行
人重识别的准确度。
[0007]为了实现上述技术目的，本专利技术采用如下技术方案：
[0008]本专利技术一种基于异构融合图卷积网络的跨模态行人重识别方法的特点是，包括如下步骤：
[0009]步骤1、构建可见光与近红外数据集；
[0010]用光学相机和近红外相机分别采集若干张可见光单帧图像与近红外单帧图像，并利用SA
‑
FastRCNN行人检测方法，分别裁剪出可见光与近红外单帧图像中的单个行人图像；对裁剪后的每张单个行人图像进行人工标注和标准化处理，并选取P个行人的Q张单个行人图像分别构成可见光单个行人图像集和近红外单个行人图像集其中，表示第p个行人的第q张可见光单个行人图像，表示第p个行人的第q张近红外单个行人图像；将由可见光单个行人图像集X
RGB
和近红外单个行人图像集X
NIR
所构成的数据集分成训练集和测试集；
[0011]步骤2、采用随机批采样策略在训练集中进行采样，得到包含N个行人的M张可见光和M张近红外单个行人图像的当前第T个批次；其中，可见光的当前第T个批次记为和近红外的当前第T个批次记为N＜P；M＜Q；
[0012]步骤3、构建包含姿态估计网络和CNN网络的一阶关键点提取网络，用于提取图像的局部关键点特征；
[0013]步骤3.1、将可见光的当前第T个批次分别输入到姿态估计网络和CNN网络，并相应输出姿态关键点热度图m
key
和全局特征向量V
global
后进行哈达玛积运算，再将运算结果输入全局平均池化层后，得到K个可见光关键点特征向量其中，表示第k个可见光关键点；
[0014]步骤3.2、将K个可见光关键点特征向量V
local
中的每个可见光关键点以及一个全局特征向量V
global
中的全局特征点按照人体结构进行构图，从而得到可见光的图数据G
RGB
＝(V
RGB
,A
RGB
)；其中，V
RGB
表示每个可见光关键点所表示的顶点集，A
RGB
表示领接矩阵定义的自然连接关系所表示的边集；
[0015]步骤3.3、将近红外的当前第T个批次分别输入到姿态估计网络和CNN网络后，也按照步骤3.1
‑
步骤3.2的过程进行处理，得到近红外的图数据G
NIR
＝(V
NIR
,A
NIR
)；其中，V
NIR
表示由每个可见光关键点的顶点集，A
NIR
表示领接矩阵定义的自然连接关系所表示的边集，且A
RGB
＝A
NIR
；
[0016]步骤4、构建由输入模块、图内卷积模块、跨图卷积模块、图内卷积模块和输出模块依次级联而成的高阶嵌入图卷积网络；
[0017]所述输入模块为一层批归一化层；
[0018]所述图内卷积模块由一层图内卷积层、一层归一化层和一层ReLU激活层组成；
[0019]所述跨图卷积模块由一层跨图卷积层、一层归一化层和一层ReLU激活层组成；
[0020]所述输出层由一层池化层和带有softmax函数的一层全连接层组成；
[0021]步骤4.1、将所述可见光的图数据G
RGB
和近红外的图数据G
NIR
分别送入所述输入模块进行归一化处理，得到归一化后的可见光的图数据和近红外的其中，分别表示归一化后的可见光顶点集和近红外顶点集，分别表示通过正则化后的可见光邻接矩阵和近红外领接矩阵；
[0022]步骤4.2、将所述归一化后的可见光的图数据和近红外的图数据分别依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块的处理后得到可见光异构融合图数据和近红外异构融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异构融合图卷积网络的跨模态行人重识别方法，其特征是，包括如下步骤：步骤1、构建可见光与近红外数据集；用光学相机和近红外相机分别采集若干张可见光单帧图像与近红外单帧图像，并利用SA
‑
FastRCNN行人检测方法，分别裁剪出可见光与近红外单帧图像中的单个行人图像；对裁剪后的每张单个行人图像进行人工标注和标准化处理，并选取P个行人的Q张单个行人图像分别构成可见光单个行人图像集和近红外单个行人图像集其中，表示第p个行人的第q张可见光单个行人图像，表示第p个行人的第q张近红外单个行人图像；将由可见光单个行人图像集X
RGB
和近红外单个行人图像集X
NIR
所构成的数据集分成训练集和测试集；步骤2、采用随机批采样策略在训练集中进行采样，得到包含N个行人的M张可见光和M张近红外单个行人图像的当前第T个批次；其中，可见光的当前第T个批次记为和近红外的当前第T个批次记为N＜P；M＜Q；步骤3、构建包含姿态估计网络和CNN网络的一阶关键点提取网络，用于提取图像的局部关键点特征；步骤3.1、将可见光的当前第T个批次分别输入到姿态估计网络和CNN网络，并相应输出姿态关键点热度图m
key
和全局特征向量V
global
后进行哈达玛积运算，再将运算结果输入全局平均池化层后，得到K个可见光关键点特征向量其中，表示第k个可见光关键点；步骤3.2、将K个可见光关键点特征向量V
local
中的每个可见光关键点以及一个全局特征向量V
global
中的全局特征点按照人体结构进行构图，从而得到可见光的图数据G
RGB
＝(V
RGB
,A
RGB
)；其中，V
RGB
表示每个可见光关键点所表示的顶点集，A
RGB
表示领接矩阵定义的自然连接关系所表示的边集；步骤3.3、将近红外的当前第T个批次分别输入到姿态估计网络和CNN网络后，也按照步骤3.1
‑
步骤3.2的过程进行处理，得到近红外的图数据G
NIR
＝(V
NIR
,A
NIR
)；其中，V
NIR
表示由每个可见光关键点的顶点集，A
NIR
表示领接矩阵定义的自然连接关系所表示的边集，且A
RGB
＝A
NIR
；步骤4、构建由输入模块、图内卷积模块、跨图卷积模块、图内卷积模块和输出模块依次级联而成的高阶嵌入图卷积网络；所述输入模块为一层批归一化层；所述图内卷积模块由一层图内卷积层、一层归一化层和一层ReLU激活层组成；所述跨图卷积模块由一层跨图卷积层、一层归一化层和一层ReLU激活层组成；所述输出层由一层池化层和带有softmax函数的一层全连接层组成；步骤4.1、将所述可见光的图数据G
RGB
和近红外的图数据G
NIR
分别送入所述输入模块进行归一化处理，得到归一化后的可见光的图数据和近红外的
其中，分别表示归一化后的可见光顶点集和近红外顶点集，分别表示通过正则化后的可见光邻接矩阵和近红外领接矩阵；步骤4.2、将所述归一化后的可见光的图数据和近红外的图数据分别依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块的处理后得到可见光异构融合图数据和近红外异构融合图数据其中，分别表示依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光图数据和近红外图数据，V
1GCN
、V
2GCN
分别表示依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光顶点集和近红外顶点集，分别表示依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光邻接矩阵和近红外领接矩阵；步骤4.3、将异构融合图数据中的可见光顶点集V
1GCN
和近红外顶点集V
2GCN
分别送入输出模块后，相应得到分类器预测的可见光预测概率和近红外预测概率；步骤5、构建由一阶关键点提取网络、高阶嵌入图卷积网络、图匹配模块及loss函数组成的异构融合图卷积网络模型；步骤5.1、所述图匹配模块根据式(1)计算亲和矩阵M的第i行j列元素M
i,j
，从而得到亲和矩阵M：式(1)中，M
i,j
表示可见光第i个特征与近红外第j个特征的亲和程度，exp表示指数化，表示可见光特征V
1GCN
中的第i个特征，表示近红外特征V
2...

【专利技术属性】
技术研发人员：孙锐，张磊，余益衡，单晓全，孙琦景，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：