一种基于无碰撞LSTM的多目标轨迹预测方法技术

本发明专利技术公开了一种基于无碰撞LSTM(Collision‑Free LSTM,CF‑LSTM)的多目标轨迹预测方法。提出了基于深度学习的多目标轨迹预测模型，利用轨迹序列数据，建立了基于目标距离关系的排斥力模型，进而设计了排斥力共享池(Replusion Pooling)，引入到LSTM中，成功构建了基于数据驱动的无碰撞轨迹预测网络。该模型能够适应不同场景，学习影响目标轨迹方向的因素，预测群体多个目标的轨迹。

A multi-target trajectory prediction method based on collision free LSTM

【技术实现步骤摘要】
一种基于无碰撞LSTM的多目标轨迹预测方法
本专利技术属于目标轨迹预测
，特别涉及一种基于无碰撞LSTM的多目标轨迹预测方法。
技术介绍
作为人类，自身拥有一个直观的导航能力，无论行人、骑自行车还是车辆，都可以认为是一个由人主导的智能体目标。研究表明，人类的机动性具有高度可预测性，只要给出足够的观测信息，就可以对他们的行为模式进行预测。当人走在一个拥挤的公共空间，如火车总站、购物中心或者城市中心，他们服从大量(不成文的)常识与规则，遵守社会惯例、交通法规等等。比如，人们考虑下一步往哪里移动，他们会出于安全和尊重个人空间的考量，保持与周围目标的距离。因此，以人为主导的智能体目标的轨迹受影响的因素十分复杂，很难对其所有因素进行抽象建模。多目标轨迹预测通过对群体多轨迹预测进而检测群体目标异常行为，可对突发事件，及时、准确发出报警信号，便于迅速展开应对性行动。重大活动或人群密集地区，群体异常行为检测也是确保安全的一个重要手段。如何利用稳定的监视图像对群体目标的多轨迹进行预测分析，是当前面临的一个重要问题。
技术实现思路
为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于无碰撞LSTM的多目标轨迹预测方法，利用无碰撞的轨迹预测(Collision-FreeLSTM，CF-LSTM)序列学习模型，模型中每条LSTM表示一条目标轨迹，整个LSTMs网络通过学习目标间的关系隐状态，以预测他们的轨迹坐标，目标间不同的距离有不同的影响程度(即最接近自己的目标比其他目标有更大的影响)。同时，本专利技术设计了排斥力池(ReplusionPooling,R-Pooling)，每个LSTM节点收会收到来自排斥力共享池的信息，这些信息表示在一定空间范围内相邻目标的排斥力影响。本专利技术能够适应不同场景，学习影响目标轨迹方向的因素，预测群体多个目标的轨迹。为了实现上述目的，本专利技术采用的技术方案是：一种基于无碰撞LSTM的多目标轨迹预测方法，包括以下步骤：步骤1：从监控视频中得到目标的运动轨迹；步骤2：通过排斥力共享池计算影响每个目标方向的隐状态张量；步骤3：利用无碰撞LSTM模型，对多目标进行位置预测。所述步骤1中，通过监视视频获取监画面中目标的运动轨迹，具体方法如下：经过监控视频预处理，获取的监控视频中某一条轨迹是按时间排列的坐标序列，轨迹在监控中的持续点数为序列长度。对视频进行抽帧处理，例如，每隔15帧，截取当前帧受关注的运动目标检测结果，然后利用目标检测算法对帧中运动目标进行检测，将检测到的运动目标的几何中心作为目标中心点，记录运动目标中心点的移动坐标，得到目标的运动轨迹。所述步骤2中，利用排斥力模型，计算不同类别目标间的排斥力，然后利用排斥力共享池计算影响每个目标方向的隐状态张量。所述不同类别目标间的排斥力计算方法如下：确定目标空间坐标以及设定不同类别目标直径，设置不同类别目标放大系数和距离调节因子，首先计算目标间欧式距离进而利用排斥力模型计算排斥力Ri,j(Si,j)＝ai,jexp(Si,j/Di,j)ai,j＞0,Di,j＞0，其中，(xi,yi)和(xj,yj)是目标i个目标j的坐标，参数ai,j为排斥力大小的放大系数，参数Di,j为排斥力作用距离的调节因子。需要注意，不同类别目标间的放大系数与调节因子大小不同，如：人-人之间的放大系数与调节因子和人-自行车之间的放大系数与调节因子大小是不同的。本专利技术设定三类目标，分别为人、自行车和汽车。所述影响每个目标方向的隐状态张量的计算方法如下：确定预测目标，设以预测目标为中心，长度为r的排斥力共享池半径，划分N个扇形区域，扇形区域的个数即方向维度，利用排斥力模型计算预测目标与排斥力共享池范围内每个目标的排斥力，计算每个扇形区域，即不同方法影响预测目标的共享隐状态张量。所述步骤3中，对多目标进行位置预测的方法如下：通过步骤1所得目标的运动轨迹的空间位置，预测目标的运动轨迹多个空间位置，即，无碰撞LSTM模型的输入序列是在一定空间的所有目标的空间位置，输出序列是预测目标未来的轨道点位置。所述目标轨迹多个空间位置的预测计算方法如下：轨迹分布符合二元高斯分布，通过前t-1个时间的隐状态，可以预测t时刻的轨迹位置。所述无碰撞LSTM模型的参数进行如下优化：给定目标的真实轨迹空间坐标值和参数集，无碰撞LSTM网络通过最小化负对数似然估计优化模型参数。将多个目标轨迹空间位置信息输入无碰撞LSTM模型，进而输出多个目标轨迹多个空间位置信息：训练时，利用现有数据集的描述，设置方向维度，共享池空间半径，无碰撞LSTM模型隐藏状态的维度，以及观测轨迹值的帧数，预测未来帧数的轨迹，使用梯度下降法优化目标函数，使用反向传播算法更新权值，进而训练无碰撞LSTM网络；测试时，将从测试视频中的观测帧数得到的多个目标轨迹空间坐标位置输入无碰撞LSTM，该网络输出的空间位置即为预测轨迹信息。与现有技术相比，本专利技术的有益效果是：该模型能够适应不同场景，学习影响目标轨迹方向的因素，获取目标间相互作用的隐状态，预测多个目标的轨迹。附图说明图1是无碰撞LSTM模型示意图。图2是提取运动目标轨迹过程示意图，其中：(a)初始目标检测图，(b)15帧后目标检测图，(c)30帧后目标检测图，(d)45帧目标检测图，(e)60帧后目标检测图，(f)75帧后目标检测图，(g)运动目标轨迹图。图3是排斥力共享池模型工作示意图。图4是轨迹预测网络解码过程。图5是排斥力模型示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和实施例详细说明本专利技术的实施方式。本专利技术一种基于无碰撞LSTM的多目标轨迹预测方法，利用每个目标的空间坐标位置的连续记录，形成一段时间内的轨迹序列数据，建立基于目标距离关系的排斥力模型，进而设计了排斥力共享池(ReplusionPooling)，尝试引入到LSTM网络，成功构建了基于序列学习的轨迹预测网络(Collision-FreeLSTM,CF-LSTM)。该模型能够适应不同场景，学习影响目标轨迹方向的因素，获取目标间相互作用的隐状态，预测多个目标的轨迹。如图1所示，左侧图显示了关于目标2的排斥力共享池(R-Pooling)的具体描述，目标2在半径为r的范围内，不同的位置对目标2内的有不同的排斥影响。右侧显示LSTMs通过排斥力共享池(R-Pooling)连接一定范围内的每个目标，目标1和目标3在某时刻的隐状态分别为h1和h3，通过排斥力共享池计算得出对目标2的排斥力影响值H2。本专利技术的具体方法如下：1.目标运动轨迹提取如图2中(a)-(f)所示，对监视视频每隔15帧，截取当前帧受关注的运动目标检测结果，运用MaskR-CNN模型对图像目标检测，将检测到的运动目标的几何中心作为目标中心点，记录运动目标中心点的移动本文档来自技高网...

【技术保护点】
1.一种基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，包括以下步骤：/n步骤1：从监控视频中得到目标的运动轨迹；/n步骤2：通过排斥力共享池计算影响每个目标方向的隐状态张量；/n步骤3：利用无碰撞LSTM模型，对多目标进行位置预测。/n

【技术特征摘要】
1.一种基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，包括以下步骤：
步骤1：从监控视频中得到目标的运动轨迹；
步骤2：通过排斥力共享池计算影响每个目标方向的隐状态张量；
步骤3：利用无碰撞LSTM模型，对多目标进行位置预测。


2.根据权利要求1所述基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，所述步骤1中，通过监视视频获取监画面中目标的运动轨迹，具体方法如下：
对视频进行抽帧处理，然后利用目标检测算法对帧中运动目标进行检测，将检测到的运动目标的几何中心作为目标中心点，记录运动目标中心点的移动坐标，得到目标的运动轨迹。


3.根据权利要求1所述基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，所述步骤2中，利用排斥力模型，计算不同类别目标间的排斥力，然后利用排斥力共享池计算影响每个目标方向的隐状态张量。


4.根据权利要求3所述基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，所述不同类别目标间的排斥力计算方法如下：
确定目标空间坐标以及设定不同类别目标直径，设置不同类别目标放大系数和距离调节因子，首先计算目标间欧式距离进而利用排斥力模型计算排斥力Ri,j(Si,j)＝ai,jexp(Si,j/Di,j)ai,j＞0,Di,j＞0，其中，(xi,yi)和(xj,yj)是目标i个目标j的坐标，参数ai,j为排斥力大小的放大系数，参数Di,j为排斥力作用距离的调节因子。


5.根据权利要求3所述基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，所述影响每个目标方向的隐状态张量的计算方法如下：
确定预测目标，设以预测目标为中心，长度为r的排斥力共享池半径...

【专利技术属性】
技术研发人员：覃征，徐凯平，王国龙，叶树雄，黄凯，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11