基于LSTM网络和深度增强学习的多目标跟踪方法技术

本发明专利技术公开了一种基于LSTM网络和深度增强学习的多目标跟踪方法，采用目标检测器对待测视频中的每一帧图像进行检测，输出检测结果

【技术实现步骤摘要】
基于LSTM网络和深度增强学习的多目标跟踪方法
本专利技术属于计算机视觉领域，涉及一种视频多目标跟踪方法，具体为一种基于LSTM网络和深度增强学习的多目标跟踪方法。
技术介绍
多目标跟踪是计算机视觉领域的一个热点问题，在很多应用领域扮演着重要的角色，比如：人工智能、虚拟现实、无人驾驶等。尽管早期有大量的相关工作，但由于多目标跟踪过程中存在频繁的遮挡、多目标的外观相似，目标的数量不断变化等问题，使得多目标跟踪仍旧是一个具有挑战性的问题。近年来，基于检测的多目标跟踪方法已经取得了一些成功，他们把多目标跟踪分为多目标检测和数据关联两个部分，基于检测的多目标跟踪方法可以解决多目标数量变化的问题，但遗憾的是现有的方法都基于人工设计的特征，存在着很大的局限性。深度学习和深度增强学习技术近期在计算机领域得到了广泛的应用，但在多目标跟踪技术中还没有相关的研究成果。
技术实现思路
专利技术目的：为了克服现有技术中人工设计的模型不够全面，跟踪结果不够准确的技术缺点，本专利技术提供一种基于LSTM网络和深度增强学习的多目标跟踪方法。技术方案：一种基于LSTM网络和深度增强学习的多目标跟踪方法，包括以下步骤：(1)采用目标检测器对待测视频中的每一帧图像进行检测，输出检测结果，设第t帧图像的检测结果为集合为第t帧图像第j个检测结果，N为检测总数量；(2)构建多个基于深度增强学习技术的单目标跟踪器，每个单目标跟踪器包括卷积神经网络和全连接层，所述卷积神经网络构建在VGG-16网络的基础上，输出每个单目标跟踪器的跟踪结果，设第t帧图像的跟踪结果为集合为第t帧图像第i个单目标跟踪器的输出结果，M为t时刻能同时跟踪的目标总数；(3)根据步骤(1)的和步骤(2)的计算数据关联的相似矩阵是和之间的欧几里得距离，(4)基于LSTM网络构建数据关联模块，输入相似矩阵得到分配概率向量为第i个目标和所有可能的目标检测结果之间的匹配概率，是第i个目标和检测结果j之间的匹配概率，得到的匹配概率最大的目标检测结果作为第i个目标的跟踪结果。进一步的，步骤(1)中的目标检测器采用YOLOV2。进一步的，步骤(1)中采用目标检测器输出的检测结果和步骤(2)中目标跟踪器的输出结果均为四维向量，其中，(x′t,y′t)为目标检测器中目标跟踪矩形框的中心坐标，w′t为目标检测器中目标跟踪矩形框的宽，h′t为目标检测器中目标跟踪矩形框的高；(xt,yt)为单目标跟踪器中目标跟踪矩形框的中心坐标，wt为单目标跟踪器中目标跟踪矩形框的宽，ht为单目标跟踪器中目标跟踪矩形框的高。进一步的，步骤(2)中单目标跟踪器输出跟踪结果的具体方法如下：基于深度增强学习技术的单目标跟踪器是将每个目标看作一个智能体，利用深度增强学习技术对该智能体进行训练，每个智能体根据自身状态和环境给出的反馈决定动作；t时刻的动作at为七维向量，七维向量包括水平两个方向的运动、垂直两个方向的运动、尺寸变化及终止搜索动作，设t时刻状态向量为st＝(pt,vt)，vt是历史动作的向量，t+1时刻的状态向量st+1＝(pt+1,vt+1)由t时刻状态st＝(pt,vt)决定，根据状态转换方程为pt+1＝ft(pt,at)和动作变化方程vt+1＝fv(vt,at)由t时刻的动作及t时刻的状态向量预测t+1时刻的状态向量；在训练的过程中，智能体会收到一个反馈信号rt，在跟踪过程中的每个迭代时刻，rt＝0，当在终止时刻T选择终止搜索动作时，反馈信号rT是交并比IoU的阈值函数：其中，IoU(pT,g)＝area(pT∩g)/area(pT∪g)；g为图像块的真实值，即人工标定的目标的真实位置；τ是人为设定的阈值。进一步的，步骤(4)中LSTM网络包括输入参数：第i步隐藏状态hi、第i步细胞状态ci、相似矩阵输出参数第i+1步隐藏状态hi+1、第i+1步细胞状态ci+1、分配概率向量Pti；首先对隐藏状态hi、细胞状态ci进行初始化，逐步输入第i步隐藏状态hi、第i步细胞状态ci及相似矩阵输出第i+1步隐藏状态hi+1、第i+1步细胞状态ci+1及Pti。有益效果：本专利技术提供的一种基于LSTM网络和深度增强学习的多目标跟踪方法，首次将LSTM网络和深度增强学习技术应用到视频多目标跟踪方法中，克服了人工设计的模型不够全面，跟踪结果不够准确的技术缺点，不受多目标跟踪过程中互相遮挡、外观相似、数量不断变化的影响，提高了多目标跟踪准确度及多目标跟踪精确度。附图说明图1为本专利技术基于LSTM网络和深度增强学习的多目标跟踪方法的系统框图；图2为单目标跟踪器的结构示意图；图3为深度增强学习的框架图；图4为LSTM网络的示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明。如图1所示，基于LSTM网络和深度增强学习的多目标跟踪方法，包括以下步骤：(1)采用YOLOV2目标检测器对待测视频中的每一帧图像进行检测，输出检测结果，设第t帧图像的检测结果为集合为第t帧图像第j个检测结果，N为检测总数量；(2)如图2所示，构建多个基于深度增强学习技术的单目标跟踪器，每个单目标跟踪器包括卷积神经网络CNN和全连接层FC，所述卷积神经网络构建在VGG-16网络的基础上，VGG-16属于现有技术，在深度学习方法中有这广泛的应用。本专利技术设计的CNN网络包含5个池化层，分别是Conv1-2,Conv2-2,Conv3-3,Conv4-3,Conv5-3，我们使用Conv3-3,Conv4-3,Conv5-3输出的特征作为跟踪过程中的目标表达特征。输出每个单目标跟踪器的跟踪结果，设第t帧图像的跟踪结果为集合为第t帧图像第i个单目标跟踪器的输出结果，M为t时刻能同时跟踪的目标总数；如图3，基于深度增强学习技术的单目标跟踪器是将每个目标看作一个智能体，利用深度增强学习技术对该智能体进行训练，每个智能体根据自身状态和环境给出的反馈决定动作；我们采用的动作集(action)A由6个不同方向的动作和1个终止搜索动作组成，包括水平两个方向的运动{right,left}、垂直两个方向的运动{up,down}、尺寸变化{scaleup,scaledown}及终止搜索动作，也就是说t时刻的动作at由一个7维的向量组成。设t时刻状态向量为st＝(pt,vt)，pt代表图像块，vt是历史动作的向量，本专利存储10个历史动作，这意味着vt是一个70维的向量。t+1时刻的状态向量st+1＝(pt+1,vt+1)由t时刻状态st＝(pt,vt)决定，根据状态转换方程为pt+1＝ft(pt,at)和动作变化方程vt+1＝fv(vt,at)由t时刻的动作及t时刻的状态向量预测t+1时刻的状态向量，如图2；其中，具体预测方法说明如下：设pt为[xt,yt,wt,ht]，状态转换方程包括：Δxt＝αwt,Δyt＝αht,α＝0.03；利用动作变化方程计算得到pt+1的状态，如果动作at＝“left”，即pt+1为[xt-Δxt,yt,wt,ht]；如果动作at＝“scaleup”，则pt+1为[xt,yt,wt+Δxt,ht+Δyt]。在训练的过程中，智能体会收到一个反馈信号rt，反馈信号rt的作用就是告诉智能体如何移动，或者是否终止动作。在跟踪过程中的每个迭代时刻，rt＝0，当在本文档来自技高网...

【技术保护点】
1.一种基于LSTM网络和深度增强学习的多目标跟踪方法，其特征在于，包括以下步骤：(1)采用目标检测器对待测视频中的每一帧图像进行检测，输出检测结果，设第t帧图像的检测结果为集合

【技术特征摘要】
1.一种基于LSTM网络和深度增强学习的多目标跟踪方法，其特征在于，包括以下步骤：(1)采用目标检测器对待测视频中的每一帧图像进行检测，输出检测结果，设第t帧图像的检测结果为集合为第t帧图像第j个检测结果，N为检测总数量；(2)构建多个基于深度增强学习技术的单目标跟踪器，每个单目标跟踪器包括卷积神经网络和全连接层，所述卷积神经网络构建在VGG-16网络的基础上，输出每个单目标跟踪器的跟踪结果，设第t帧图像的跟踪结果为集合为第t帧图像第i个单目标跟踪器的输出结果，M为t时刻能同时跟踪的目标总数；(3)根据步骤(1)的和步骤(2)的计算数据关联的相似矩阵是和之间的欧几里得距离，(4)基于LSTM网络构建数据关联模块，输入相似矩阵得到分配概率向量为第i个目标和所有可能的目标检测结果之间的匹配概率，是第i个目标和检测结果j之间的匹配概率，得到的匹配概率最大的目标检测结果作为第i个目标的跟踪结果。2.根据权利要求1所述的基于LSTM网络和深度增强学习的多目标跟踪方法，其特征在于，步骤(1)中的目标检测器采用YOLOV2。3.根据权利要求1所述的基于LSTM网络和深度增强学习的多目标跟踪方法，其特征在于，步骤(1)中采用目标检测器输出的检测结果和步骤(2)中目标跟踪器的输出结果均为四维向量，其中，(xt',yt')为目标检测器中目标跟踪矩形框的中心坐标，wt'为目标检测器中目标跟踪矩形框的宽，ht'为目标检测器中目标跟踪矩形框的高；(xt,yt)为单目标跟踪器中目标跟踪矩形框的中心坐标，wt为单目标跟踪器中目标跟踪矩形框的宽，ht为单目标跟踪器中目标跟踪矩形框的高。4.根据权利...

【专利技术属性】
技术研发人员：姜明新，常波，贾银洁，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：江苏,32