【技术实现步骤摘要】
一种用于城市工况下的智能汽车多目标跟踪方法
本专利技术属于智能汽车视觉
，特别设计了一种用于城市工况下的智能汽车多目标跟踪方法。
技术介绍
多目标跟踪(multipleobjectstracking,MOT)技术的主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持他们的身份、记录他们的轨迹。通过多目标跟踪技术可以让智能汽车更充分的了解其周围的环境信息从而做出更精确的控制决策。与单目标跟踪(SingleObjectTracking,SOT)不同的是多目标跟踪器不仅要设计复杂的外观模型/运动模式、解决尺度变化、平面旋转和光照变化，还要解决目标数量的变化导致的身份信息生成/消失处理问题以及如何维持各自身份信息不干扰问题。目前多目标跟踪方法主要分为两类：基于检测的跟踪(trackingbasedetection,TSD)，检测与跟踪并行的跟踪(tracking&detection,T&D)。基于检测的跟踪因为在检测任务与跟踪任务上各使用了一套模型，所以会导致跟踪过程中的实时性欠佳，因而无法满足智能车辆的实时跟踪的要求。检测与跟踪并行的跟踪因为仅使用一套网络模型，所以模型的实时性能满足智能车辆的跟踪需求，但是受限于传统网络模型的特征提取不充分的缘故，检测与跟踪并行的跟踪往往精度较低，这就限制了检测与跟踪并行的跟踪在智能车辆上的使用。当前的车辆多目标跟踪常用于高速公路中的跟踪。与高速公路下的场景单一、路面信息明确不同的是，城市场景中的场景信息及其复杂，这就导致了车辆跟踪器在城市场...
【技术保护点】
1.一种用于城市工况下的智能汽车多目标跟踪方法，其特征在于，将车辆周围视频帧经复合特征提取网络提取特征信息后，将特征信息分别输入检测分支模块与重识别分支模块进行处理，将检测分支模块的检测结果与重识别分支模块的结果输入至跟踪模块，完成多目标跟踪。/n
【技术特征摘要】
1.一种用于城市工况下的智能汽车多目标跟踪方法，其特征在于，将车辆周围视频帧经复合特征提取网络提取特征信息后，将特征信息分别输入检测分支模块与重识别分支模块进行处理，将检测分支模块的检测结果与重识别分支模块的结果输入至跟踪模块，完成多目标跟踪。
2.根据权利要求1所述的一种用于城市工况下的智能汽车多目标跟踪方法，其特征在于，所述多层特征提取网络的设计方法包括如下：
S1:设计基础卷积层：基础卷积层包括一个卷积层conv2d；
其中，卷积层Conv2d的卷积核尺寸默认为3*3；
S2:设计直连接选择模块：直连接选择模块包括一个选择器，一个直连接层，一个基础卷积模块、一个批量归一化层；
其中，基础卷积模块的卷积核尺寸为3*3，填充为1，步长为2；
S3:设计基础结构模块：基础结构模块包括两个基础卷积层、两个批量归一化层、两个Relu激活层和一个直连接选择模块；
其中，两个基础卷积层的输出通道数均等于输入通道数；
S4:设计上采样模块：上采样模块由输入至输出依次包括可变形卷积核、批量归一化层、Relu激活层、反卷积核、批量归一化层、Relu激活层；
其中，可变形卷积核的卷积核尺寸为3*3，步长为1，填充为1，输出通道数等于输入通道数；反卷积核的卷积核尺寸为4*4，步长为2，填充为2；
其中，所有的上采样模块的输出通道数均指反卷积核的输出通道数；
S5:设计下采样模块：下采样模块包括两个基础卷积层、两个批量归一化层、两个Relu激活层和一个直连接选择模块；
其中，第二个基础卷积层的输出通道数等于输入通道数；
其中，所有的下采样模块的输出通道均为第一个基础卷积层的输出通道；
S6:设计层模块与结构体：层模块包括一个下采样模块与多个结构体，并且下采样模块与多个结构体之间为串行组合；其中，结构体由两个基础结构模块串行构成；
S7：设计复合特征提取网：复合特征提取网包括下采样模块、基础卷积模块、若干层模块、若干上采样模块。
3.根据权利要求2所述的一种用于城市工况下的智能汽车多目标跟踪方法，其特征在于，所述S7中设计复合特征提取网的具体设计如下：
首先，构建输入模块，输入模块由一个下采样模块与一个基础卷积模块串行构成，其中，下采样模块，其输出通道数为16，基础卷积模块，输出通道数为64；
之后，构建一个含有3个结构体的层模块1；其中，下采样模块的输出通道数为64；
之后，构建一个含有4个结构体的层模块2；其中，下采样模块的输出通道数为128；
之后，构建一个含有6个结构体的层模块3；其中，下采样模块的输出通道数为256；
之后，构建一个含有3个结构体的层模块4；其中，下采样模块的输出通道数为512；
之后，在层模块1后，另插入一个上采样模块1，其输出通道数为32；
之后，在层模块2后，另插入一个上采样模块2，其输出通道数为64；
之后，在层模块3后，另插入一个上采样模块3，其输出通道数为128；
之后，在层模块4后，另插入一个上采样模块4，其输出通道数为256；
之后，将上采样模块4与层模块3的输出相加并输入上采样模块5，其输出通道数为128；
之后，将上采样模块5与层模块2的输出相加并输入上采样模块6，其输出通道数为64；
之后，将上采样模块6与层模块1的输出相加并输入上采样模块7，其输出通道数为32；
之后，将上采样模块3与层模块2的输出相加并输入上采样模块8，其输出通道数为64；
之后，将上采样模块8与层模块1的输出相加并输入上采样模块9，其输出通道数为32；
之后，将上采样模块2与层模块1的输出相加并输入上采样模块10，其输出通道数为32；
最终，将上采样模块7、上采样模块9、上采样模块10、上采样模块1的输出相加并输出。
4.根据权利要求3所述的一种用于城市工况下的智能汽车多目标跟踪方法，其特征在于，所述将车辆周围视频帧经复合特征提取网络提取特征信息的具体方法包括如下：
设在t时刻，视频输入图像帧为I，I∈R3*H*W，H、W、3分别为输入矩阵的高、宽、通道数，将I输入复合特征提取网，通过以下计算获得图像的特征，具体地：
对于直连接选择模块，根据计算公式1获得直连接选择模块的信号输出值：
其中，L表示为输入值，L∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数；L'表示该模块的输出值，L'∈RC'*H'*W'，C’为输出矩阵的通道数，dcc()表示为直连接选择模块的计算，bn()为批量归一化计算，conv()表示二维卷积计算；
对于下采样模块，根据公式2计算出下采样模块的信号输出值：
D'＝ds(D)＝relu(bn(conv2(relu(bn(conv1(D)))))+dcc(D))公式2
其中，D为输入值，D∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数。D'表示该模块的输出值，Y'∈RC'*H'*W'，输出通道值为C’，ds()表示为下采样模块的计算，elu()表示relu激活函数，bn()为批量归一化计算，conv()表示二维卷积计算，其中conv1()表示为第一个卷积层的卷积计算，conv2()表示为第二个卷积层的卷积计算，dcc()为直连接选择模块的计算；
对于基础结构模块，根据公式3计算出基础结构模块的信号输出值：
B'＝bs(B)＝relu(bn(conv2(relu(bn(conv1(B)))))+dcc(B))公式3
其中，B为输入值，B∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数。B'表示该模块的输出值，B'∈RC'*H'*W'，H'＝H,W'＝W,输出通道值为C’，()表示为基础结构模块的计算；
对于上采样模块，根据公式4计算出上采样模块的信号输出值：
U'＝ups(U)＝relu(bn(convt(relu(bn(DCN(U))))))公式4
其中，U为输入值，U∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数，U'表示该模块的输出值，U'∈RC′*H′*W′，H'＝2*H,W'＝2*W,输出通道值为C’，ups()表示为上采样模块的计算，DCN()表示变形卷积，convt()表示反卷积计算；
对于层模块，根据计算公式5计算出层模块的信号输出值：
其中，La为输入值，La∈RC*H*W，H、W、C分别为输入矩阵的高、宽、通道数，La'表示该模块的输出值，La'∈RC'*H'*W'，输出通道值为C’，LA()表示为层模块的计算，s()为基础结构模块的计算，表示进行了n次基础结...
【专利技术属性】
技术研发人员：陈龙，朱程铮，蔡英凤，王海，李祎承，陈小波，孙晓强，刘擎超，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。