一种基于深度图匹配的可见光-红外行人重识别方法技术

本发明专利技术公开了一种基于深度图匹配的可见光

【技术实现步骤摘要】
一种基于深度图匹配的可见光
‑
红外行人重识别方法


[0001]本专利技术涉及计算机视觉、行人重识别
，具体地说是一种基于深度图匹配的可见光
‑
红外行人重识别方法。

技术介绍

[0002]随着公共安全领域日益增加的应用需求，城市各个管理部门在街道，校园、医院，车站等区域布设了全天候、大规模的摄像机网络。每天汇集到公安、城管等部门相关服务器中是海量的视频大数据，依靠人力来搜寻或追踪感兴趣的行人是非常昂贵和不可行的任务。行人重识别是指非重叠视域摄像机网络下判断感兴趣的行人是不是在其它摄像机(不同地点或时间)下存在的问题。
[0003]然而，在夜晚场景下，可见光摄像头难以捕捉行人信息，现如今各大交通网络已全面部署可见光
‑
红外双模态摄像机。可见光
‑
红外跨模态行人重识别问题引起了工业界和学术界的广泛关注。为了提升跨模态行人的表示能力，提取姿态、人体部位，步态，特征关键点，视角信息等局部特征已成为提升再识别性能的合理选择，基于局部特征的方法通过挖掘细粒度信息,可加强模型对人体关键区域的学习,降低无关因素的干扰,从而克服全局特征的缺陷。
[0004]但仅仅利用关键点区域并不够，相关工作又继续在局部特征基础上加入注意力机制或改进损失函数，但仍然忽略了关键点之间关系的构建。现有方法主要利用像素或特征对齐来处理类内变化和模态差异。然而，这些方法很难保持全局和局部表示之间的语义一致性。并且相同行人图像间仍然存在姿态、错位等变化，这对于直接学习特征对齐有负面影响。

技术实现思路

[0005]本专利技术为克服现有技术的不足之处，提出一种基于深度图匹配的可见光
‑
红外行人重识别方法，以期能通过图数据建模以及高效的跨模态协同图匹配，自适应匹配可见光与红外特征，从而能提高可见光
‑
红外行人重识别的精确度，并能降低对于人体姿态、错位、遮挡以及模态差异的敏感程度。
[0006]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0007]本专利技术一种基于深度图匹配的可见光
‑
红外行人重识别方法的特点在于，包括以下步骤：
[0008]步骤1、构建姿态图提取模块，包括：基于非局部注意力的卷积神经网络、全局平均池化层、人体姿态估计网络；
[0009]步骤1.1、获取一幅可见光图像x
R
和一幅红外图像x
I
，并使用cvtColor变换将所述红外图像x
I
的通道数转为3，再利用基于非局部注意力的卷积神经网络分别提前所述可见光图像x
R
和变换后的红外图像x
′
I
的全局特征，相应得到可见光特征F
R
和红外特征F
I
，将所述可见光特征F
R
和红外特征F
I
分别经过全局平均池化层后得到可见光全局空间特征和
红外全局空间特征并构成全局空间特征对
[0010]步骤1.2、将变换后的红外图像x
′
R
和所述可见光图像x
I
分别输入2D高分辨率的人体姿态估计网络中，并相应输出可见光图像x
R
中的行人关键点热度图m
R
以及红外图像x'
I
中的行人关键点热度图m
I
；
[0011]步骤1.3、根据式(1)和式(2)分别构建可见光的局部视觉特征和红外的局部视觉特征并构成局部视觉特征对
[0012][0013][0014]式(1)和式(2)中，表示矩阵Hadamard积；
[0015]步骤2、构建可见光、红外图结构数据；
[0016]根据全局空间特征对以及局部视觉特征对按照人体骨架结构进行构图，从而得到人体姿态图G＝(V,E,A)；其中，顶点集V表示人体姿态图G中所有关键点构成的集合，边集E表示由人体骨架结构确定的各个关键点间的连接关系，顶点属性A＝{A
F
,A
P
}表示关键点的全局空间特征和局部视觉特征；
[0017]令可见光图像x
R
的可见光人体姿态图记为G
R
＝(V
R
,E
R
,A
R
)；其中，V
R
表示可见光人体姿态图G
R
中所有关键点构成的集合，E
R
表示可见光图像x
R
中人体骨架结构确定的各个关键点间的连接关系，A
R
表示可见光人体姿态图G
R
中所有关键点的全局空间特征和局部视觉特征；
[0018]令红外图像x
′
I
的红外人体姿态图记为G
I
＝(V
I
,E
I
,A
I
)；其中，V
I
表示红外人体姿态图G
I
中所有关键点构成的集合，E
R
表示红外图像x
′
I
中人体骨架结构确定的各个关键点间的连接关系，A
R
表示红外人体姿态图G
I
中所有关键点的全局空间特征和局部视觉特征；
[0019]步骤3、构建协同图匹配模块；
[0020]步骤3.1、建模亲和矩阵M：
[0021]步骤3.1.1、利用式(3)计算亲和矩阵M的对角线元素M
ij,ij
：
[0022][0023]式(3)中，表示可见光人体姿态图G
R
的第i个关键点与红外人体姿态图G
I
的第j个关键点之间的视觉相似度，并由式(4)得到，表示可见光人体姿态图G
R
的第i个关键点与红外人体姿态图G
I
的第j个关键点之间的空间相似度，并由式(5)得到，i∈(0,n1]，j∈(0,n2]，n1、n2分别表示可见光关键点V
R
和红外关键点V
I
的关键点总数；
[0024][0025][0026]式(4)和式(5)中，exp表示指数化，表示可见光人体姿态图G
R
中第i个关键点的局部视觉特征，表示红外人体姿态图G
I
中第j个关键点的局部视觉特征，表示可见光
人体姿态图G
R
中第i个关键点的全局空间特征，表示红外人体姿态图G
I
中第j个关键点的全局空间特征；
[0027]步骤3.1.2、利用式(4)计算亲和矩阵M的非对角线元素M
i1j1,i2j2
：
[0028][0029]式(4)中，表示一对可见光关键点和一对红外关键点之间的联合空间置信度，并由式(7)得到；表示一对可见光关键点和一对红外关键点之间的视觉相似度，并由式(8)得到，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度图匹配的可见光
‑
红外行人重识别方法，其特征在于，包括以下步骤：步骤1、构建姿态图提取模块，包括：基于非局部注意力的卷积神经网络、全局平均池化层、人体姿态估计网络；步骤1.1、获取一幅可见光图像x
R
和一幅红外图像x
I
，并使用cvtColor变换将所述红外图像x
I
的通道数转为3，再利用基于非局部注意力的卷积神经网络分别提前所述可见光图像x
R
和变换后的红外图像x
′
I
的全局特征，相应得到可见光特征F
R
和红外特征F
I
，将所述可见光特征F
R
和红外特征F
I
分别经过全局平均池化层后得到可见光全局空间特征和红外全局空间特征并构成全局空间特征对步骤1.2、将变换后的红外图像x
′
R
和所述可见光图像x
I
分别输入2D高分辨率的人体姿态估计网络中，并相应输出可见光图像x
R
中的行人关键点热度图m
R
以及红外图像x'
I
中的行人关键点热度图m
I
；步骤1.3、根据式(1)和式(2)分别构建可见光的局部视觉特征和红外的局部视觉特征并构成局部视觉特征对并构成局部视觉特征对并构成局部视觉特征对式(1)和式(2)中，表示矩阵Hadamard积；步骤2、构建可见光、红外图结构数据；根据全局空间特征对以及局部视觉特征对按照人体骨架结构进行构图，从而得到人体姿态图G＝(V,E,A)；其中，顶点集V表示人体姿态图G中所有关键点构成的集合，边集E表示由人体骨架结构确定的各个关键点间的连接关系，顶点属性A＝{A
F
,A
P
}表示关键点的全局空间特征和局部视觉特征；令可见光图像x
R
的可见光人体姿态图记为G
R
＝(V
R
,E
R
,A
R
)；其中，V
R
表示可见光人体姿态图G
R
中所有关键点构成的集合，E
R
表示可见光图像x
R
中人体骨架结构确定的各个关键点间的连接关系，A
R
表示可见光人体姿态图G
R
中所有关键点的全局空间特征和局部视觉特征；令红外图像x
′
I
的红外人体姿态图记为G
I
＝(V
I
,E
I
,A
I
)；其中，V
I
表示红外人体姿态图G
I
中所有关键点构成的集合，E
R
表示红外图像x
′
I
中人体骨架结构确定的各个关键点间的连接关系，A
R
表示红外人体姿态图G
I
中所有关键点的全局空间特征和局部视觉特征；步骤3、构建协同图匹配模块；步骤3.1、建模亲和矩阵M：步骤3.1.1、利用式(3)计算亲和矩阵M的对角线元素M
ij,ij
：式(3)中，表示可见光人体姿态图G
R
的第i个关键点与红外人体姿态图G
I
的第j个关键点之间的视觉相似度，并由式(4)得到，表示可见光人体姿态图G
R
的第i个关键点与红外人体姿态图G
I
的第j个关键点之间的空间相似度，并由式(5)得到，i∈(0,n1]，j∈(0,n2]，n1、n2分别表示可见光关键点V
R
和红外关键点V
I
的关键点总数；
式(4)和式(5)中，exp表示指数化，表示可见光人体姿态图G
R
中第i个...

【专利技术属性】
技术研发人员：孙锐，张磊，余益衡，谢瑞瑞，张旭东，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：