基于改进Social-GAN算法的复杂场景行人轨迹预测方法及装置制造方法及图纸

本发明专利技术公开了一种基于改进Social

【技术实现步骤摘要】
基于改进Social
‑
GAN算法的复杂场景行人轨迹预测方法及装置


[0001]本专利技术属于智能交通数据处理领域，具体为一种基于改进Social
‑
GAN算法的复杂场景行人轨迹预测方法及装置。

技术介绍

[0002]行人作为复杂交通场景中的弱势群体，其意图和轨迹存在不确定性，尤其是在一些无信号灯交叉口，减少了交通信号灯的约束作用，行人的过街意图尤为多变，对行人的实时轨迹预测对于车辆快速通行具有重要意义，而无信号灯交叉口人车交互较多，很容易产生交通堵塞以及交通安全事故，因此需要一种能够高效预测行人轨迹的方法。
[0003]对于行人轨迹预测方法，一般有三类：基于物理学的方法、基于规划的方法、数据驱动的方法。物理学建模方法过于复杂，对行人的动态模型难以捕捉。而规划的方法受限于时长的要求，对于长期的行人行为预测具有一定的优越性。近年来发展较为迅速的是RNN以及LSTM类轨迹预测方法，但大多学者都把注意力放在环境对行人运动轨迹的影响，而忽略了人车，人人的信息共享性。
[0004]针对以上问题，社会上也有学者提出建立行人过街自动警示系统，利用双向预警功能使得行人注意来车，同时让车辆注意行人。该方法较好地考虑到人车对抗的问题，通过提前预警来减小发生碰撞的概率。但规避了轨迹预测这一难题，通过提前介入来提高复杂交通场景下的安全性。该方法只适用较少车辆与行人过街的情况，若出现较多车辆、多向行人的复杂场景，则会出现效率低下以及交通拥堵的情况。对于没有过街需求的行人，很容易产生误触的情况，从而传达错误信息使得无信号灯交叉口路段通行效率低下。
[0005]本专利致力于提高行人过街的安全性以及复杂场景的过街效率，提高行人意图识别，方向判断以及轨迹预测可靠性。

技术实现思路

[0006]本专利技术要解决的技术问题在于：针对以上提到的复杂场景下行人过街安全问题，本专利技术提供一种高精度、可靠性强的基于改进Social
‑
GAN算法的复杂场景行人轨迹预测方法及装置，能够及时对潜在人车交通事故进行预警，减少交通事故发生的概率，进一步提升驾驶的智能性，安全性和经济性。
[0007]本专利技术提出的技术方案为：
[0008]一种基于改进Social
‑
GAN算法的复杂场景行人轨迹预测方法及装置，包括如下步骤：
[0009]步骤1，获取复杂场景的固定视角数据训练集，对行人目标进行跟踪检测。
[0010]步骤2，利用混合高斯模型和骨骼点检测算法，对检测到的行人进行过街意图的识别以及过街方向的判别。
[0011]步骤3，在确定好行人的过街需求后，利用改进Social
‑
GAN算法，搭建改进GAN网
络，确定生成器、池化块以及鉴别器，利用多元多样性损失函数，对行人的下一时刻轨迹进行多模态轨迹预测；
[0012]进一步的，步骤1的具体过程如下：
[0013]对所提取的数据进行预处理，提取所拍摄视频的当前每帧图像，采用Canny算子边缘检测+Hough变换直线提取的方法进行道路沿线的检测，并对其按照机动车道路，步行道路，路边建筑进行区域划分。
[0014]进一步的，对于路口拍摄的图像数据建立3个高斯背景模型，用于构建混合高斯模型并表征图像中各个像素点的特征，并利用KLT图像匹配跟踪算法来对行人进行跟踪监测。
[0015]进一步的，对于非静止的行人，利用基于改进混合高斯模型进行行人的识别并对机动车道上正在过街的行人判别为有过街意图的行人。
[0016]进一步的，步骤2的具体过程如下：
[0017]步骤2.1、对于未做出明显意图的行人，选用OpenPose算法提取图像中行人的关键骨骼点，当图像中存在多个行人时，通过PAFs的方法进行关键骨骼点聚类分析，将每个行人的骨骼点数据分为一组，得到每个行人的骨架图。
[0018]步骤2.2、将人的行为信息和位移信息构成复合特征对循环神经网络LSTM进行训练，实现过街意图和过街方向的识别。
[0019]步骤2.3、对于运动的行人，采用帧间差法计算前景的坐标变换，得出目标行人在这两帧时间内的运动方向，对于正在过街的行人，即可实现对行人运动方向的识别。
[0020]进一步的，步骤3的具体过程如下：
[0021]步骤3.1、我们首先使用单层MLP(多层感知器)嵌入每个人的位置，以获得固定长度的向量这些嵌入在时间t用作编码器的LSTM单元的输入，并使用以下递归函数：
[0022][0023][0024]其中，φ(
·
)具有ReLU非线性的嵌入函数，λ是嵌入权重。为人i的历史编码，LSTM权重β场景中共享信息值的权重。
[0025]步骤3.2、为了能够产生与过去一致的未来场景，将解码器的隐藏初始状态设为，
[0026][0027][0028]其中，γ(
·
)具有ReLU非线性的嵌入函数,δ是嵌入权重,z为潜变量，P
i
为人i的集合张量。
[0029]进行一次池化后上下文作为解码器的输入，通过直接预测坐标及姿态角信息我们可以得到，
[0030][0031][0032][0033][0034]其中，φ(
·
)是具有ReLU非线性的嵌入函数,λ1为嵌入权的嵌入函数。LSTM权重由β1表示，并且γ是MLP。
[0035]步骤3.3、对于池化层的设计，为了跨多个人联合推理，我们需要一种跨LSTM共享信息的机制。利用相对位置以及相对姿态角来对增加池化层的输入，同时对网络进行全局配置，减少远处行人的影响。
[0036]步骤3.4、鉴别器由单独的编码器组成。具体地说，它接受或作为输入，并将它们分类为真或假。我们对编码器的最后一个隐藏状态应用MLP以获得分类分数。
[0037]步骤3.5、生成GAN网络由相互对立训练的两个神经网络组成。两个冲突对抗训练的模型是：捕获数据分布的生成模型Gen和估计样本来自训练数据而非Gen的概率的判别模型Dis。生成器Gen将潜变量z作为输入，并输出样本Gen(z)。鉴别器Dis将样本x作为输入并输出Dis(x)，Dis(x)表示其为真的概率。训练过程类似于两人最小
‑
最大博弈，具有以下目标函数：
[0038][0039]步骤3.6、最后引入多元损失函数，生成多模态的轨迹预测路线，损失函数如下，
[0040][0041]其中，k是超参数，表示k个可能的输出。
[0042]一种基于NVIDIAJetson TX2的复杂场景预警装置，其特征在于，包括：
[0043]意图识别模块，利用背景建模的方法来获取行人目标，然后利用骨骼点检测算法识别行人过街意图，在确定好行人的过街意图后，利用帧间差法确定行人的过街方向。
[0044]行人轨迹预测模块，在获取行人的过街需求与过街方向后，我们行人的历史轨迹，以及相对于相机的姿态作为GAN网络的输入，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Social
‑
GAN算法的复杂场景行人轨迹预测方法，其特征在于，包括如下步骤：步骤1，获取复杂场景的固定视角数据训练集，对行人目标进行跟踪检测。步骤2，利用混合高斯模型和骨骼点检测算法，对检测到的行人进行过街意图的识别以及过街方向的判别。步骤3，在确定好行人的过街需求后，利用改进Social
‑
GAN算法，搭建改进GAN网络，确定生成器、池化块以及鉴别器，利用多元多样性损失函数，对行人的下一时刻轨迹进行多模态轨迹预测。2.根据权利要求1所述基于改进Social
‑
GAN算法的复杂场景行人轨迹预测方法，其特征在于，所述步骤1中，提取所拍摄视频的当前帧并采用Canny算子边缘检测和Hough变换直线提取的方法进行道路沿线的检测，并根据道路沿线对道路区域进行划分。3.根据权利要求1所述基于改进Social
‑
GAN算法的复杂场景行人轨迹预测方法，其特征在于，所述步骤2的具体过程如下，步骤2.1、选用OpenPose算法提取图像中行人的骨骼点，当图像中存在多个行人时，通过PAFs的方法进行骨骼点聚类分析，将每个行人的骨骼点数据分为一组，得到每个行人的骨架图，根据骨架图分析行人的行为，包括行人的行走、跑动、头部信息(是否注意到来车)等，并利用这些行为信息对循环神经网络LSTM进行训练，实现过街意图的识别。步骤2.2、为实现相机运动补偿，先将前一帧和当前帧分别分成24
×
18的若干像素块，并取每个像素块的中心点作为跟踪点进行初始化，使用KLT图像匹配跟踪算法在当前帧中找到与各跟踪点相匹配的目标点，此后，采用RANSAC算法对上述匹配跟踪算法的结果进行筛选，得到补偿后的背景模型。步骤2.3、先将像素点与当前帧背景模型作比较，在判断为前景时，进一步与上一帧的背景模型作比较，当判断依旧为前景时则最终判断该像素点为前景点，否则判断其为背景点。提取前后帧的前景坐标，采用帧差法计算前景的坐标变换，即可实现对行人运动方向的识别。4.根据权利要求1所述的基于改进Social
‑
GAN算法的复杂场景行人轨迹预测方法，其特征在于，所述步骤3的具体过程如下，步骤3.1、我们首先使用单层MLP(多层感知器)嵌入每个人的位置，以获得固定长度的向量这些嵌入在时间t用作编码器的LSTM单元的输入，并使用以下递归函数：这些嵌入在时间t用作编码器的LSTM单元的输入，并使用以下递归函数：其中，φ(
·
)具有ReLU非线性...

【专利技术属性】
技术研发人员：周竹萍，颜浩楠，刘苏桐，丁健，姜子新，念心怡，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：