一种基于图神经网络的RGBT行人多目标跟踪方法技术

本发明专利技术属于多模态多目标跟踪技术领域，具体涉及一种基于图神经网络的RGBT行人多目标跟踪方法。本发明专利技术基于图神经网络技术与多目标跟踪网络技术，完成了对可见光图像目标和红外图像目标的联合跟踪。具体方法是首先通过RGBT特征融合模块实现可见光图像和红外图像信息的融合，之后通过CenterNet检测网络实现对行人目标的检测，最后通过基于图神经网络的特征关联模块实现检测目标之间的匹配关联，最终实现RGBT行人多目标跟踪。相较于传统的单模态多目标跟踪算法，本发明专利技术中所提出的方法在跟踪目标处于强弱光、黑暗等复杂环境下依然有着较强的稳定性。的稳定性。的稳定性。

【技术实现步骤摘要】
一种基于图神经网络的RGBT行人多目标跟踪方法


[0001]本专利技术属于多模态多目标跟踪
，具体涉及一种基于图神经网络的RGBT行人多目标跟踪方法。

技术介绍

[0002]目标跟踪的主要任务是确定连续视频序列中的目标位置。在实际应用中，目标跟踪技术存在很多应用场景，例如民用领域中的视频监控、自动驾驶、辅助驾驶等，军用领域中的空中目标跟踪、相关目标的侦察、预警等。
[0003]目前常用的跟踪数据为可见光图像数据，通过可见光相机接收目标表面反射的可见光，目标与环境信息通过灰度图像或者RGB图像保存。这样的图像依赖目标所在的外部环境，当目标处在弱光、强光或黑暗的环境中时，可见光相机将难以捕捉到目标的信息，从而影响目标跟踪的效果。因此，采用单一种类的数据源进行跟踪已经不能满足所有场景的跟踪需求。
[0004]针对以上问题，红外图像恰好可以实现信息互补。红外相机通过捕捉目标的红外辐射信息形成目标的红外图像，由于成像机制的不同，可见光图像与红外图像在很多场景下能够实现信息的互补：与可见光图像相比，红外图像的成像效果不受目标光照环境影本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图神经网络的RGBT行人多目标跟踪方法，其特征在于，包括以下步骤：S1、训练数据集构建：采用数据扩充的方式，利用伪红外数据生成方法将公开的行人可见光多目标跟踪数据集进行扩充，获得RGBT多目标跟踪训练数据集；S2、构建RGBT多目标跟踪模型，包括RGBT特征融合网络、检测网络和图数据关联网络，具体为：S21、采用DenseNet网络构建RGBT特征融合网络，DenseNet网络的输入为拼接在一起的行人可见光图像和红外数据图像，DenseNet网络对不同模态的图像评估图像中信息的有效性；S22、采用CenterNet检测网络建检测网络，实现行人目标检测，CenterNet检测网络的输入为RGBT特征融合网络输出的融合结果；S23、构建基于图神经网络的图数据关联网络，根据检测结果实现行人目标之间的特征关联，具体步骤如下：S231、初始化图模型：将连续帧f1、f2中的检测候选框抽象为图模型中的节点集N1、N2，通过衡量N1与N2中的节点之间的相似性来构建图模型的边；节点生成方式为选择得分前K个检测候选框作为图模型中的节点，边的生成方式为衡量N1、N2中节点之间的相似性，具体包括检测框之间的外观相似性和空间相似性；针对边构造过程中部分节点无法连接的情况，将其设置为缓存节点保存于N1中，并设置缓存时间；S232、图模型信息传播更新：包括节点特征更新和边特征更新；节点更新过程中，通过聚集其相邻的节点、边的特征来更新其特征：其中，v
in+1
与v
in
分别表示节点i的第n+1和第n轮更新后的特征，v
jn
表示节点的第j个邻居节点的第n轮特征，e
i,jn
表示i、j两个节点之间的边的第n轮特征；节点i的自身特征与其邻节点j的特征、邻边的特征一起拼接输入到f
node
中，f
node
网络由一个全连接层、LN归一化层、ReLU激活函数构成；节点i所有邻节点特征通过f
node
计算后，采用累加的方式聚集在一起，再除以节点i的邻节点数量N
i
，获得的特征张量再通过一个与f
node
结构相同的网络f
out
，...

【专利技术属性】
技术研发人员：廖阔，田祯杰，陈思情，何学思，彭曙鹏，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：