基于路口多视角的车辆轨迹预测规划方法及系统技术方案

本发明专利技术公开了一种基于路口多视角的车辆轨迹预测规划方法及系统，基于部署在路测设备的多视角相机实现，所述方法包括：对多视角相机一段时间内采集的路口多帧原始图像分别进行预处理；对预处理后的多帧视角图像分别进行特征提取、透视变换和聚合，生成一段时间内的连续多帧路口车辆分布鸟瞰图；根据连续多帧路口车辆分布鸟瞰图，通过卡尔曼滤波获得每个待预测车辆位置的匹配信息；根据分布鸟瞰图和匹配信息，分别得到每辆车的预测信息，并随同该车辆的ID号发送至对应车辆。本发明专利技术的方法不需要使用激光雷达设备进行定位，避免了昂贵的费用；本发明专利技术在路侧设备中进行更便于维护，信息通过交互的方式传递给路口车辆，也会降低车载系统的体量。系统的体量。系统的体量。

【技术实现步骤摘要】
基于路口多视角的车辆轨迹预测规划方法及系统


[0001]本专利技术属于车辆轨迹预测与规划领域，具体涉及一种利用多视角的路口车辆轨迹预测方法，特别涉及基于路口多视角的车辆轨迹预测规划方法及系统。

技术介绍

[0002]随着技术的发展，智能交通极大的改变着人们的生活方式，而作为核心的无人驾驶系统更是近年来的研究热点。无人驾驶车辆的关键技术有环境感知、导航定位、路径规划和决策控制。
[0003]环境感知中，最常用的是对输入的图片信息进行目标检测，区分行人与车辆，也会使用点云信息，用以提供目标物的深度信息，两者相互结合，确定了自动驾驶车辆周围的环境信息。但雷达点云信息相对于图片信息，获取的价格昂贵，所以有大量的研究学者对点云信息的可替代性进行研究。多视角的图片信息作为一种可行的方案，不仅价格相对便宜，同时多视角的图片信息也能获得目标物的深度信息，能够替代激光点云，成为自动驾驶系统中环境感知部分的主要信息来源。单一图片的目标检测，可能会因为目标物之间的遮挡，光线的因素，视角的不同，从而使得获得的目标物信息有限，对这种情况下得到的图片做目标检测，得到的检测精度不高。对同一地点的多视角图片进行目标检测，最后将检测结果融合到一起，由于提供了更多的环境信息，得到的检测结果精度更高。
[0004]路径规划连接了环境感知定位和决策控制两个部分，是实现自动驾驶功能的基础。路径规划的目的是参考某一个参数指标，在路口的状态下选择一条可以实现最优或次优的避障路径。路径规划可以分为全局路径规划和局部路径规划。全局路径规划首先需要获得全局环境信息，建立全局地图模型后进而做出路径规划。而局部路径规划是根据实时获得的环境信息，动态做出路径规划。

技术实现思路

[0005]本专利技术的目的在于克服现有技术缺陷，提出了基于路口多视角的车辆轨迹预测规划方法及系统。
[0006]为了实现上述目的，本专利技术提出了一种基于路口多视角的车辆轨迹预测规划方法，基于部署在路测设备的多视角相机实现，所述方法包括：
[0007]步骤1)对多视角相机一段时间内采集的路口多帧原始图像分别进行预处理；
[0008]步骤2)对预处理后的多帧视角图像分别进行特征提取、透视变换和聚合，生成一段时间内的连续多帧路口车辆分布鸟瞰图；
[0009]步骤3)根据连续多帧路口车辆分布鸟瞰图，通过卡尔曼滤波获得每个待预测车辆位置的匹配信息；
[0010]步骤4)根据分布鸟瞰图和匹配信息，分别得到每辆车的预测信息，并随同该车辆的ID号发送至对应车辆。
[0011]作为上述方法的一种改进，所述步骤1)的预处理包括白化和去噪处理。
[0012]作为上述方法的一种改进，所述步骤2)具体包括：
[0013]步骤2
‑
1)将预处理后的多视角图像依次输入预先建立和训练好的特征提取模型得到每一帧图像对应的特征；
[0014]步骤2
‑
2)通过联合旋转
‑
平移矩阵对每一帧图像对应的特征进行转换，设置采样网格的尺寸为H
×
W，将转换后的特征图透视变换到地平面上，视野外的区域用统一的数字填充；其中，H和W分别表示预测的路口车辆鸟瞰图的高度和宽度；
[0015]步骤2
‑
3)将平面栅格化为H
×
W的大小，平面位置的X
‑
Y坐标信息分别存放在一个二维张量中，将坐标张量和投影到地平面上的张量沿通道方向进行拼接，得到对应时刻路口车辆分布的鸟瞰图，重复该步骤得到一段时间内连续多帧路口车辆分布鸟瞰图。
[0016]作为上述方法的一种改进，所述特征提取模型使用ResNet50作为主干网络，并将两个3
×
3的卷积替换为1
×
1+3
×
3+1
×
1的卷积层以减少计算时间。
[0017]作为上述方法的一种改进，所述步骤3)具体包括：
[0018]根据连续多帧路口车辆分布鸟瞰图，得到每个待预测车辆在最后一帧的预测位置信息，并建立每个待预测车辆对应于卡尔曼滤波中的目标状态模型X为：
[0019][0020]其中，u和v分别表示待预测车辆的位置中心相对于分布鸟瞰图的横纵坐标，s和r分别表示该车辆的目标边界框尺寸大小和比例，和分别表示待预测车辆的横纵方向分量速度，T表示转置；
[0021]使用匈牙利指派算法进行数据关联，根据待预测车辆的预测位置信息和真实位置信息之间的距离，对待预测车辆的预测位置信息和车辆进行关联，从而得到鸟瞰图中每个待预测车辆位置的匹配信息。
[0022]作为上述方法的一种改进，所述步骤4)具体包括：
[0023]遍历鸟瞰图中每辆待预测车辆，重复以下步骤：
[0024]根据卡尔曼滤波预测的待预测车辆下一时刻的中心位置和边界框的位置，结合前一时刻鸟瞰图中该车辆位置信息，得到矢量方向即为待预测车辆的前进方向；
[0025]将预测位置信息和最后一帧鸟瞰图中该车辆实际位置的标量大小除以鸟瞰图帧与帧之间的时间间隔，得到待预测车辆的速度；
[0026]将该车辆的预测方向和预测速度信息绑定唯一指向该车的ID号，发送至对应车辆。
[0027]一种基于路口多视角的车辆轨迹预测规划系统，所述系统部署在路测设备，包括：预处理模块、鸟瞰图生成模块、关联匹配模块和预测发送模块；其中，
[0028]所述预处理模块，用于对多视角相机一段时间内采集的路口多帧原始图像分别进行预处理；
[0029]所述鸟瞰图生成模块，用于对预处理后的多帧视角图像分别进行特征提取、透视变换和聚合，生成一段时间内的连续多帧路口车辆分布鸟瞰图；
[0030]所述关联匹配模块，用于根据连续多帧路口车辆分布鸟瞰图，通过卡尔曼滤波获得每个待预测车辆位置的匹配信息；
[0031]所述预测发送模块，用于根据分布鸟瞰图和匹配信息，分别得到每辆车的预测信息，并随同该车辆的ID号发送至对应车辆。
[0032]一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的方法。
[0033]一种非易失性存储介质，用于存储计算机程序，所述计算机程序当被处理器执行时执行上述的方法。
[0034]与现有技术相比，本专利技术的优势在于：
[0035]1、本专利技术的方法不需要使用激光雷达设备进行定位，避免了昂贵的费用；
[0036]2、本专利技术的方法整合了自动驾驶系统中环境感知与路径规划过程，并将结果传递到决策控制阶段，为决策控制提供更多的车辆信息；
[0037]3、轨迹预测过程，连续帧的数据处理计算量很大，本专利技术在路侧设备中进行更便于维护，且信息通过交互的方式传递给路口车辆，也会降低车载系统的体量。
附图说明
[0038]图1是本专利技术的基于路口多视角的车辆轨迹预测规划方法流程图；
[0039]图2为本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于路口多视角的车辆轨迹预测规划方法，基于部署在路测设备的多视角相机实现，所述方法包括：步骤1)对多视角相机一段时间内采集的路口多帧原始图像分别进行预处理；步骤2)对预处理后的多帧视角图像分别进行特征提取、透视变换和聚合，生成一段时间内的连续多帧路口车辆分布鸟瞰图；步骤3)根据连续多帧路口车辆分布鸟瞰图，通过卡尔曼滤波获得每个待预测车辆位置的匹配信息；步骤4)根据分布鸟瞰图和匹配信息，分别得到每辆车的预测信息，并随同该车辆的ID号发送至对应车辆。2.根据权利要求1所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述步骤1)的预处理包括白化和去噪处理。3.根据权利要求1所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述步骤2)具体包括：步骤2
‑
1)将预处理后的多视角图像依次输入预先建立和训练好的特征提取模型得到每一帧图像对应的特征；步骤2
‑
2)通过联合旋转
‑
平移矩阵对每一帧图像对应的特征进行转换，设置采样网格的尺寸为H
×
W，将转换后的特征图透视变换到地平面上，视野外的区域用统一的数字填充；其中，H和W分别表示预测的路口车辆鸟瞰图的高度和宽度；步骤2
‑
3)将平面栅格化为H
×
W的大小，平面位置的X
‑
Y坐标信息分别存放在一个二维张量中，将坐标张量和投影到地平面上的张量沿通道方向进行拼接，得到对应时刻路口车辆分布的鸟瞰图，重复该步骤得到一段时间内连续多帧路口车辆分布鸟瞰图。4.根据权利要求3所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述特征提取模型使用ResNet50作为主干网络，并将两个3
×
3的卷积替换为1
×
1+3
×
3+1
×
1的卷积层以减少计算时间。5.根据权利要求1所述的基于路口多视角的车辆轨迹预测规划方法，其特征在于，所述步骤3)具体包括：根据连续多帧...

【专利技术属性】
技术研发人员：张新钰，李骏，李志伟，王红，周沫，吴新刚，
申请(专利权)人：清华大学，
类型：发明
国别省市：