一种端到端的多目标识别、追踪与预测方法技术

本发明专利技术公开了一种端到端的多目标识别、追踪与预测方法，属于车联网、智能汽车技术领域。本发明专利技术方法包括：建立端到端的多目标识别、追踪和预测模型，包括目标检测器、目标追踪模块和轨迹预测模块；目标检测模块使用基于中心点的多目标检测器；目标追踪模块采用基于图卷积神经网络对多目标追踪；轨迹预测模块基于图网络对多目标进行运动轨迹预测，包括轨迹目的点的预测，智能体间信息传递，生成未来轨迹；本发明专利技术将端到端的多目标识别、追踪和预测模型作为一个整体，采用联合训练框架进行同时训练。本发明专利技术三个模块同时训练、相互促进，进一步提高了最终的轨迹预测精度，可以更优对多目标轨迹预测，预测轨迹更加合理。预测轨迹更加合理。预测轨迹更加合理。

【技术实现步骤摘要】
一种端到端的多目标识别、追踪与预测方法


[0001]本专利技术涉及车联网、智能汽车
，尤其涉及一种基于端到端的多目标识别、追踪及轨迹预测技术。

技术介绍

[0002]随着自动驾驶技术的出现和激增，道路场景中的多目标追踪和预测变为了城市场景语义理解的一个重要组成部分，精确的多目标识别、追踪和预测系统在导航、路线规划、定位和交通分析等智能交通任务中起到了至关重要的作用。现有的一部分目标追踪和预测模型是针对单个目标进行的，在车联网和智能驾驶场景下，路径规划和导航等任务需要准确掌握当前道路环境中所有目标物体的位置及轨迹，因此单目标追踪和预测无法满足需求。多目标识别的主要任务是识别出当前场景中的所有目标物体，整个过程包括识别出来车辆、行人等全部目标物体，得到目标在场景的位置以及形状信息。多目标追踪任务的输入是多目标识别任务输出的识别结果，多目标追踪的主要任务是在连续的图像序列上找到所有感兴趣的目标的最优轨迹集，通过考虑时间序列的信息，将识别到的目标物体集合随着时间的推移联系起来。轨迹预测任务的输入是多目标智能体的历史轨迹，预测智能体的未来轨迹的多模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端到端的多目标识别、追踪与预测方法，其特征在于，包括：步骤1，建立端到端的多目标识别、追踪和预测模型；所述模型包括目标检测器、目标追踪模块和轨迹预测模块；对输入的每帧图像，利用目标检测器识别图像中所有目标物体；利用目标追踪模块对每帧识别出的每个目标物体，提取时空聚合特征，根据时空聚合特征进行目标关联，输出目标物体的轨迹关联结果；得到多目标历史轨迹，利用轨迹预测模块预测目标未来轨迹；步骤2，在目标检测模块使用基于中心点的多目标检测器进行目标检测；在目标追踪模块中采用基于图卷积神经网络对多目标追踪，输出轨迹关联矩阵结果；步骤3，在轨迹预测模块中基于图网络对多目标进行运动轨迹预测，分为三个阶段：(1)轨迹目的点的预测，包括：提取场景特征、智能体历史轨迹特征和目的点特征，输入变分自动编码模块编码为隐变量Z，对隐变量Z采样，并通过VAE解码模块解码，得到预测的目的点；(2)智能体间信息传递，包括：将交通场景构建为异质图，交通参与者作为智能体，每个交通参与者作为异质图中一个节点；对任意两个节点，若两节点间的欧式距离小于设定的阈值δ
s
，且两节点历史轨迹的时间窗口的距离小于设定的阈值δ
t
，则两节点间建立一条边；对构建好的异质图，使用异质图卷积神经网络学习交通参与者在运动过程中的相互影响，包括：对(1)预测的目的点编码得到目的点特征，将交通参与者的历史轨迹特征和预测的目的点特征组合形成节点特征；将相互连接的两交通参与者的节点特征H
i
和H
j
输入到全连接网络，得到二者之间的关系特征H
e(i,j)
；将节点特征和关系特征输入到异质图卷积神经网络，得^到交通参与者交互后的节点特征H；^(3)生成未来轨迹，包括：用全连接网络对节点特征H进行解码，预测交通参与者的未来轨迹；步骤4，将目标检测器、目标追踪模块和轨迹预测模块作为一个整体，采用联合训练框架进行同时训练；所述的联合训练框架中，将当前帧图片输入目标检测器，得到目标识别结果，和历史轨迹一起输入目标追踪模块，得到多个目标轨迹，将多个目标轨迹和交通场景输入轨迹预测模块，得到最终的轨迹预测结果；反向传播时，损失函数由目标检测、目标追踪和轨迹预测三部分组成，目标检测器的损失包括目标的中心点和长、宽的真实值和预测值的L2距离，目标追踪模块的损失是预测的目标关联矩阵和实际的目标关联矩阵之间的L2距离，轨迹预测模块的损失是预测轨迹与真实轨迹的每个坐标点间的L2距离；将三个模块的损失求和得到最终的损失函数，并基于该损失函数反向传播，训练端到端的多目标识别、追踪和预测模型。2.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：李静林，罗贵阳，袁泉，李冠略，薛亚清，刘志晗，周傲，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：