【技术实现步骤摘要】
本专利技术涉及自动驾驶、深度学习、计算机视觉领域，具体为一种基于全向视觉的bev感知、预测的神经网络方法。
技术介绍
1、随着深度学习的快速发展，自动驾驶技术越来越成熟，汽车对环境的感知和预测能力的要求也提高。鸟瞰图(bev)因其具有较强的可解释性，在自动驾驶环境感知和预测中被广泛使用。如今大多数自动驾驶平台bev感知仍然是使用激光雷达来实现，但是激光雷达点云数据量庞大、计算量大、成本较高，并且激光雷达在一些特定环境受到限制。如果仅仅使用相机来完成bev感知和预测任务将大大降低成本。如今大多数方法都是在笛卡尔坐标系下表示bev，然后进行感知与预测。在笛卡尔坐标系中，近距离目标和远距离目标需要按照比例进行下采样和上采样，但是下采样会导致信息丢失，上采样数据增强的效果小。但是极坐标系本身具备直观可解释性，使用极坐标表示能更直观的表示目标之间直接的关系。本专利技术提出一种基于全向视觉的bev感知、预测的神经网络方法，通过将图像特征投影到极坐标表示的bev特征进行感知，并在感知的基础上对车辆周围的目标进行预测。
2、综上所述，现有技术存在的问题是：目前大多数使用激光雷达的bev感知与预测方法存在计算量大且成本高。使用笛卡尔坐标表示进行数据处理会造成信息的损失。
3、解决上述技术问题的难题：
4、根据现有的视觉传感器，提出一种基于全向视觉的bev感知、预测的神经网络方法，对车辆周围的目标进行感知以及对感知到的目标进行未来预测，并以bev的形式输出预测结果，训练中采用使用激光雷达数据来生成bev视图真值的
5、cn116653953a，一种基于bev视角和数字孪生的智能车换道决策系统及方法，系统包括：智能车端和边缘云端；所述智能车端包括：智能车感知模块和智能车运动控制模块；所述边缘云端包括：bev模块、换道决策模块和验证模块；本专利技术通过bev感知技术获得智能车行驶过程中的bev视角，在该视角下，综合考虑智能车位置、周围车辆数量以及相对距离因素，获得最合适的智能车换道方向，通过换道轨迹规划算法规划出智能车按换道方向行驶所需的换道轨迹集，并通过数字孪生技术对换道轨迹集进行并行测试，获得满足智能车换道行驶安全性的最优换道决策方案。
6、cn116653953a采用的是一种相机、激光雷达融合的bev感知方法，使用激光雷达会增加大量的计算量和存储量，并且在周围干扰物较多的环境效果不好。本专利技术采用的是一种纯视觉的bev鸟瞰图感知方法，激光雷达只是用来生成bev鸟瞰图标签数据，并不会在感知中使用激光雷达的数据。针对纯视觉的感知方法，本专利技术提出了一种显式极坐标转换的方法，将提取的图像特征转到bev视角的极坐标系中；再通过增加一个维度的方法和相机到参考车辆的转换关系将所有相机特征进行融合；最后通过一个未来预测模块再感知的基础上对指定目标时刻的感知目标进行预测，其中未来预测模块中是将感知特征进行离散化采样，抽样出两种分布来融合预测。
技术实现思路
1、本专利技术旨在解决以上现有技术的问题。提出了一种基于全向视觉的车辆周围目标bev感知预测方法。本专利技术的技术方案如下：
2、一种基于全向视觉的车辆周围目标bev感知预测方法，其包括以下步骤：
3、步骤1，对激光雷达采集数据进行3d标注，并压缩场景标注目标的高度信息生成bev鸟瞰图标签；
4、步骤2，构建感知模型，所述感知模型用于将相机输入的图像进行2d特征提取，并将所有相机的特征融合转换成极坐标系表示的bev特征；
5、步骤3，构建未来预测模型，所述未来预测模型用于把当前帧和历史帧作为条件帧，通过未来预测模型来预测当前帧后面指定时刻的目标帧；
6、步骤4，构建解码模块，所述解码模块用于将预测信息转换到笛卡尔坐标系中，并通过一个多头解码器解码出对应预测信息，语义分割和未来光流信息；
7、步骤5、将部署至车载嵌入式平台中，在嵌入式平台中运行模型检测车辆周围的目标信息，并对检测到的目标进行预测，并将预测信息以bev的形式可视化显式，其中不同目标采用不同颜色表示。
8、进一步的，所述步骤2构建感知模型包括如下步骤：
9、步骤21，特征提取，使用预训练的resnet-101作为编码器，该编码器用于对相机输入图像进行特征提取，对每个相机该编码器共享权重；
10、步骤22，特征转换，将编码器提取的特征从笛卡尔坐标系转换到极坐标系；
11、步骤23，特征划分，将按照极半径和极性角对每个相机以极坐标表示的特征进行递进的划分，并使用平均正则化来融合每个划分区域的特征；
12、步骤24，特征融合，通过标定相机到激光雷达的关系和激光雷达到参考车辆坐标系的关系，将每个相机以极坐标表示的特征投影到参考车辆坐标系中，其中每个相机通过使用一个额外的高度维度来标识不同相机的特征，并以额外的高度维度为基准，对于所有特征信息以加权求和的方式进行融合，得到某一时刻极坐标表示的bev特征。
13、进一步的，所述步骤22特征转换包括，使用公式(1)和公式(2)将以笛卡尔坐标系表示的特征转换成极坐标系表示，公式如下所示：
14、
15、
16、其中c表示的是相机平面，i表示的是图像平面，p表示极坐标平面；u0和fx则是相机内参矩阵中的参数，x(i)表示图像坐标系的x，x(c)表示相机坐标系x，φ(p)、ρ(p)其表示极坐标系中的极性角和极半径，其中极半径ρ需要使用深度信息z来计算；通过一个小型的卷积神经网络来对每一个特征点进行离散深度估计，值最大的表示该特征点的深度值，并通过语义分割和光流损失函数来隐式监督深度估计。
17、进一步的，所述步骤23特征划分具体包括：
18、按照极半径将整个平面划分为同心圆，按照极性角将极坐标表示的特征平面划分为不同大小的区域，极性角随着极半径的增大，划分越小，极性角划分大小与极半径成负线性；使用平均正则化来融合每个划分区域的特征。
19、进一步的，所述步骤24特征融合具体包括：通过标定得到的相机与激光雷达的转换关系和激光雷达与参考车辆坐标系的转换公式，将每个相机的特征都投影到参考车辆坐标系中；通过增加一个高度维度来表示不同相机的特征，投影后的特征尺度为h×w×c×d，其中h和w分别表示特征的2维大小，c表示通道数，d表示增加的高度维度，d的大小与相机的数量相关；以高度维度为基准，对所有特征信息以加权求和的方式进行融合，这样就得到了某一时刻极坐标表示的bev特征；对融合得到的极坐标表示的bev特征按照0°的极性角所对应的极半径将bev特征展开，并通过采样的方式将其填充成矩形的形式。
20、进一步的，所述步骤3的未来预测模型具体包括，以多帧条件帧为输入，其中多帧条件帧包括当前帧和当前帧之前的历史帧；通过从第一个条件帧开始逐帧融合时间信息和逐帧预测，直到目标时刻位置；通过离散对角高斯采样将bev特征分为静态分布和动本文档来自技高网...
【技术保护点】
1.一种基于全向视觉的车辆周围目标BEV感知预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于全向视觉的车辆周围目标BEV感知预测方法，其特征在于，所述步骤2构建感知模型包括如下步骤：
3.根据权利要求1所述的一种基于全向视觉的车辆周围目标BEV感知预测方法，其特征在于，所述步骤22特征转换包括，使用公式(1)和公式(2)将以笛卡尔坐标系表示的特征转换成极坐标系表示，公式如下所示：
4.根据权利要求1所述的一种基于全向视觉的车辆周围目标BEV感知预测方法，其特征在于，所述步骤23特征划分具体包括：
5.根据权利要求1所述的一种基于全向视觉的车辆周围目标BEV感知预测方法，其特征在于，所述步骤24特征融合具体包括：通过标定得到的相机与激光雷达的转换关系和激光雷达与参考车辆坐标系的转换公式，将每个相机的特征都投影到参考车辆坐标系中；通过增加一个高度维度来表示不同相机的特征，投影后的特征尺度为H×W×C×D，其中H和W分别表示特征的2维大小，C表示通道数，D表示增加的高度维度，D的大小与相机的数量相关；以高度维度为基准
6.根据权利要求1所述的一种基于全向视觉的车辆周围目标BEV感知预测方法，其特征在于，所述步骤3的未来预测模型具体包括，以多帧条件帧为输入，其中多帧条件帧包括当前帧和当前帧之前的历史帧；通过从第一个条件帧开始逐帧融合时间信息和逐帧预测，直到目标时刻位置；通过离散对角高斯采样将BEV特征分为静态分布和动态分布，通过两种分布来融合预测，静态分布使用第一个条件帧的BEV特征离散采样初始化，后面每一时刻的静态分布通过与融合两种分布的信息进行融合得到，每一时刻的静态分布表示当前时刻的预测信息；动态分布是每个时刻BEV特征经过离散化后通过一个基于GRU的时间模块融合前面时刻的信息，再对角化采样得到；通过一个小型CNN来融合每个时刻静态分布和动态分布，得到融合信息；通过将每一时刻的BEV标签采用同样离散化采样得到真实分布，并使用KL散度损失函数来计算每一时刻真实分布与静态分布的损失值，其损失函数如下所示：
7.根据权利要求1所述的一种基于全向视觉的车辆周围目标BEV感知预测方法，其特征在于，所述步骤4的解码模块具体包括：将得到的目标时刻的预测信息通过如下的公式将其转换成笛卡尔坐标系表示，公式如下：
8.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于全向视觉的车辆周围目标BEV感知预测方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于全向视觉的车辆周围目标BEV感知预测方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于全向视觉的车辆周围目标BEV感知预测方法。
...【技术特征摘要】
1.一种基于全向视觉的车辆周围目标bev感知预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于全向视觉的车辆周围目标bev感知预测方法，其特征在于，所述步骤2构建感知模型包括如下步骤：
3.根据权利要求1所述的一种基于全向视觉的车辆周围目标bev感知预测方法，其特征在于，所述步骤22特征转换包括，使用公式(1)和公式(2)将以笛卡尔坐标系表示的特征转换成极坐标系表示，公式如下所示：
4.根据权利要求1所述的一种基于全向视觉的车辆周围目标bev感知预测方法，其特征在于，所述步骤23特征划分具体包括：
5.根据权利要求1所述的一种基于全向视觉的车辆周围目标bev感知预测方法，其特征在于，所述步骤24特征融合具体包括：通过标定得到的相机与激光雷达的转换关系和激光雷达与参考车辆坐标系的转换公式，将每个相机的特征都投影到参考车辆坐标系中；通过增加一个高度维度来表示不同相机的特征，投影后的特征尺度为h×w×c×d，其中h和w分别表示特征的2维大小，c表示通道数，d表示增加的高度维度，d的大小与相机的数量相关；以高度维度为基准，对所有特征信息以加权求和的方式进行融合，这样就得到了某一时刻极坐标表示的bev特征；对融合得到的极坐标表示的bev特征按照0°的极性角所对应的极半径将bev特征展开，并通过采样的方式将其填充成矩形的形式。
6.根据权利要求1所述的一种基于全向视觉的车辆周围目标bev感知预测方法，其特征在于，所述步骤3的未来预测模型具体包括，以多帧条件帧为输入，其中多帧条件帧包括当前帧和当前帧之前的历史帧；通过从...
【专利技术属性】
技术研发人员：冯明驰，陈毅，白昊宇，徐林杰，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。