一种基于自查询的用于无人车的多目标跟踪器及跟踪方法技术

本发明专利技术公开了一种基于自查询的用于无人车的多目标跟踪器及跟踪方法，摄像头所拍到的视频帧经ResNet

【技术实现步骤摘要】
一种基于自查询的用于无人车的多目标跟踪器及跟踪方法


[0001]本专利技术属于智能汽车视觉
，特别设计了一种基于自查询的用于无人车的多目标跟踪器及跟踪方法。

技术介绍

[0002]智能汽车是一个包括感知、决策及控制的复杂系统，环境感知是路径规划和决策控制的重要前提，基于摄像头的多目标跟踪是环境感知的关键内容之一，对于车辆行驶、行人预判等ADAS系统开发以及自主驾驶的路径规划具有重要影响。多目标跟踪(multiple objects tracking，MOT)技术的主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持他们的身份、记录他们的轨迹。通过多目标跟踪技术可以让智能汽车更充分的了解其周围的环境信息从而做出更精确的控制决策。现有的多目标跟踪算法往往存在后处理复杂的不足，往往导致难以部署于车载平台。

技术实现思路

[0003]从目前国内外学者主要研究内容看，智能车辆如何在行驶过程中保持对前方感兴趣物体(通常为行人与汽车)的跟踪对智能车辆的后续发展起到不可忽视的在影响。本专利技术针对城市路况下智能车辆难以对感兴趣物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自查询的用于无人车的多目标跟踪器，其特征在于，包括：特征提取网模块、检测分支模块、自查询分支模块；所述特征提取网模块用于提取输入图像的特征，并产生四个层的输出；所述检测分支模块包括：上采样模块、维度变换模块、热图模块、边界模块和矫正模块；该模块包括四个输入分支：输入分支1，其用于融合特征提取网模块的Layer1的特征，该分支由单个维度变换模块构成，其输入通道为256，输出通道为256；输入分支2，其用于融合特征提取网模块的Layer2的特征，该分支由一个上采样模块和一个维度变换模块构成，该分支的输入通道为512，输出通道为256；输入分支3，其用于融合特征提取网模块的Layer3的特征，该分支由两个上采样模块和两个维度变换模块构成，该分支的输入通道为1024，输出通道为256；其中，第一维度变换模块的输出通道为512，第二维度变换模块的输出通道为256；输入分支4，其用于融合特征提取网模块的Layer4的特征，该分支由两个上采样模块和两个维度变换模块构成，该分支的输入通道为2048，输出通道为256；其中，第一维度变换模块的输出通道为1024，第二维度变换模块的输出通道为512，第三维度变换模块的输出通道为256；所述检测分支模块将输入分支1、2、3、4的输出结果堆叠并输出至热图模块、边界模块和矫正模块；所述自查询分支模块包括维度变换模块、编码器、解码器、多层感知器；所述维度变换模块其输入通道为2048，输出通道为512；所述编码器基于Transformer结构构成，输入维度为512，堆叠层数为6层，其中，Transformer的多头注意力数量为8；所述解码器基于Transformer结构构成，输入维度为512，堆叠层数为6层；其中，Transformer的多头注意力数量为8；所述多层感知器输出生成最终的匹配结果。2.根据权利要求1所述的一种基于自查询的用于无人车的多目标跟踪器，其特征在于，所述特征提取网模块采用ResNet
‑
50结构，其四个层的输出分别为O1，O2，O3，O4；其中O1的尺寸为寸为其中，其中，3.根据权利要求1所述的一种基于自查询的用于无人车的多目标跟踪器，其特征在于，所述上采样模块依次包括可变形卷积核、批量归一化层(Batchnormal)、Relu激活层、反卷积核(ConvTranspose2d)、批量归一化层(Batchnormal)、Relu激活层；单个上采样模块能够使得特征图分辨率扩大一倍(即宽、高的尺寸各变为原有尺寸的两倍)；其中，可变形卷积核的卷积核尺寸为3*3，步长为1，填充为1，输出通道数等于输入通道数；反卷积核的卷积核尺寸为4*4，步长为2，填充为2，输出通道数等于输入通道数。4.根据权利要求1所述的一种基于自查询的用于无人车的多目标跟踪器，其特征在于，维度变换模块包括一个卷积层(Conv2d)，该卷积层(Conv2d)的卷积核尺寸为1*1，步长默认为1，输出通道数默认为256。5.根据权利要求4所述的一种基于自查询的用于无人车的多目标跟踪器，其特征在于，所述热图模块依次包括一个维度变换模块、一个批量归一化(Batchnormal)层、一个Relu激
活层、一个卷积核尺寸为3*3的卷积层(Conv2d)，其维度变换模块的输出通道数为256，3*3的卷积层的输出通道为2。6.根据权利要求4所述的一种基于自查询的用于无人车的多目标跟踪器，其特征在于，所述边界模块依次包括一个维度变换模块、一个批量归一化(Batchnormal)层、一个Relu激活层、一个卷积核尺寸为3*3的卷积层(Conv2d)，其维度变换模块的输出通道数为256，3*3的卷积层的输出通道为4。7.根据权利要求4所述的一种基于自查询的用于无人车的多目标跟踪器，其特征在于，所述矫正模块依次包括一个维度变换模块、一个批量归一化(Batchnormal)层、一个Relu激活层、一个卷积核尺寸为3*3的卷积层(Conv2d)，其维度变换模块的输出通道数为256，3*3的卷积层的输出通道为2。8.根据权利要求1所述的一种基于自查询的用于无人车的多目标跟踪器，其特征在于，所述多层感知器依次包括两个线性层、一个批量归一化(Batchnormal)层、两个Relu激活层构成，其中第一线性层的输入通道为512，输出通道为256，第二线性层2的输入通道为256，输出通道为4。9.根据权利要求1
‑
8任一项所述一种基于自查询的用于无人车的多目标跟踪器的跟踪方法，其特征在于，包括：S1：根据特征提取网模块生成特征；假定在t时刻，视频输入图像帧I∈R
1*3*H*W
，H、W、3、1分别为输入矩阵的高、宽、通道数、图片数，将其输入ResNet
‑
50特征提取网，获得图像的特征；使用ResNet
‑
50特征提取后，分别得到层1(Layer 1)、层2(Layer 2)、层3(Layer 3)、层4(Layer 4)的输出特征，分别记为01，02，O3，O4；其中O1的尺寸为的尺寸为其中，其中，另设当前时刻的历史身份特征为F
t
‑1∈R
500*1*512
；S2：根据检测分支模块生成检测结果；对于上采样模块，其计算公式如下：up
opt
＝up(up
in
)＝Relu(cont(Relu(bn(DCN(up
in
)))))其中，up
in
表示该模块的输入，up
opt
表示该模块的输出，up()表示本模块的计算，cont()表示反卷积计算，Relu()表示Relu激活函数，bn()为批量归一化计算，DCN()表示可变形卷积计算；将O1输入至检测分支的输入分支1中，经维度变换模块可得预输入输入至检测分支的输入分支1中，经维度变换模块可得预输入其计算公式如下：pre
‑
d01＝conv(O1)其中，O1为输入值，pre_do1表示此部分的输出，conv表示二维卷积计算，其输入维度为256，输出维度为256，卷积核尺寸为1；将O2输入至检测分支的输入分支2中，经上采样模块与维度变换模块，可得预输入其计算公式如下：
pre
‑
do2＝conv(up(O2))其中，O2为输入值，pre_do2表示此部分的输出，conv表示二维卷积计算，其输入维度为512，输出维度为256，卷积核尺寸为1，up()表示上采样模块的计算；将O3输入至检测分支的输入分支3中，可得预输入其计算公式如下：pre_do3＝conv2(up(conv1(up(O3))))其中，O3为输入值，pre_do3表示此部分的输出，conv表示二维卷积计算，up()表示上采样模块的计算，其中conv1()表示第一个卷积层的卷积计算，即第一维度变换模块的卷积计算，其输入维度为1024，输出维度为512，卷积核尺寸为1；conv2()表示第二个卷积层的卷积计算，即第二维度变换模块的卷积计算，其输入维度为512，输出维度为256，卷积核尺寸为1；将O4输入至检测分支的输入分支4中，可得预输入其计算公式如下：pre
‑
do4＝conv3(up(conv2(up(conv1(up(04))))))其中，O4为输入值，pre_do4表示此部分的输出，conv表示二维卷积计算，up()表示上采样模块的计算，其中conv1()表示第一个卷积层的卷积计算，即第一维度变换模块的卷积计算，其输入维度为2048，...

【专利技术属性】
技术研发人员：陈龙，朱程铮，蔡英凤，王海，李祎承，孙晓强，
申请(专利权)人：江苏大学，
类型：发明
国别省市：