一种基于群等变的鸟瞰图目标方向预测方法技术

一种基于群等变的鸟瞰图目标方向预测方法，根据群等变的思想设计了可嵌入式的群等变网络，嵌入现有的鸟瞰图目标方向预测的管道网络；其中，群等变网络将图像特征迁移到群上，使其具有群的性质，并设计了一个群卷积层直接在群上进行卷积操作，充分提取旋转等变特征；对基于群等变网络的鸟瞰图目标方向预测模型利用数据集进行训练，得到具有旋转等变性的目标方向预测模型，能够在场景旋转的情况下降低平均方向预测误差。均方向预测误差。均方向预测误差。

【技术实现步骤摘要】
一种基于群等变的鸟瞰图目标方向预测方法


[0001]本公开涉及目标方向预测领域，特别涉及一种基于群等变的鸟瞰图目标方向预测方法。

技术介绍

[0002]感知系统作为自动驾驶汽车、室内室外机器人最核心的部分，近年来不断的发展。卓越的环境感知能力是实现自动驾驶任务的保障，感知系统利用传感器获取环境信息。例如，激光雷达采用光学飞行时间法（TOF），通过激光束获取距离等几何点云信息，提供物体的轮廓和位置信息。然而，它仍然存在一些缺点限制了它的应用，如成本高、远处物体点云稀疏、缺乏语义信息等。与LiDAR相比，相机已广泛应用于感知系统，其技术成熟，成本低。它可以提供感知上丰富的语义信息，例如，目标的颜色和纹理，它可以识别道路场景中的交通信号灯和招牌。然而，在恶劣的驾驶条件下，例如下雨、下雪和曝光的天气条件下，仍然存在许多不确定性，感知系统很难从昏暗或曝光的图像中提取足够的上下文信息。因此，能够安全高效地执行环境感知任务的多传感器融合技术受到青睐。
[0003]近年来，许多研究工作集中在多传感器融合目标检测网络上。由多个传感器提供的多模态信息可以有效地利用每个传感器的优点来提供安全可靠的感知信息。然而，大多数先前的融合工作选择一个传感器作为主导，而另一个传感器提供补充信息。这样的方式严重丢失了点云的几何特征或者丢弃图像的语义密度。将相机和激光雷达的数据统一为同一种形式进行融合已经成为多传感器融合的重要研究工作。最近，Liu 等人和Liang等人在鸟瞰图上统一了相机和激光雷达。它可以统一表示不同模态的信息，并在一定程度上解决了目标遮挡问题。
[0004]在实际道路场景中，车辆不可避免的需要转向，遇到地面起伏会产生颠簸，以上的情况都会造成场景旋转。尽管基于鸟瞰图的融合方法克服了先前的融合方法的缺点，这类方法不会严重损失几何特征或者语义密度，从而在目标检测中获得了更好的性能。但这类方法尚未充分考虑场景旋转问题对方向预测造成的影响。

技术实现思路

[0005]本公开提供一种基于群等变的鸟瞰图目标方向预测方法，其能够降低实际道路场景中由于场景旋转导致的方向预测时的平均方向误差。
[0006]本公开提供的基于群等变的鸟瞰图目标方向预测方法，包括以下步骤：步骤S1：构建鸟瞰图目标方向预测基础模型，其中包括鸟瞰图生成模块、以及对鸟瞰图中的目标方向进行预测的模块；获取训练所用的原始样本数据集；步骤S2：构建群等变网络，将其嵌入到模型中的鸟瞰图生成模块之后，得到基于群等变的鸟瞰图方向预测模型。群等变网络用于对鸟瞰图生成模块给出的鸟瞰图进行群等变处理，并在群上提取鸟瞰图中的旋转等变特征。
[0007]步骤S3：使用数据集对模型进行训练，得到具有提取旋转等变特征能力的鸟瞰图方向预测模型。
[0008]进一步的，所述模型中的鸟瞰图生成模块包括：多个传感器分支的鸟瞰图生成子模块，以及对各传感器生成的鸟瞰图进行融合的子模块。
[0009]进一步的，所述模型中的鸟瞰图生成子模块包括相机分支和激光雷达分支，其中相机分支由主干网络Swin
‑
Transformer、颈部网络FPN和相机鸟瞰图生成网络LSS构建，激光雷达分支由主干网络SECOND、颈部网络FPN和鸟瞰图池化模块构成。
[0010]进一步的，所述模型中对鸟瞰图进行目标方向预测的模块采用TransFusionHead算法模型。
[0011]进一步的，所述步骤S2中构建的群等变网络，由提升层、群卷积层和群池化层构成，该网络的功能为：将鸟瞰图映射到群上，使鸟瞰图具有群的性质；然后在群上进行鸟瞰图卷积操作，提取鸟瞰图中的旋转等变特征；再将卷积结果退化至原来的平面；其中：提升层用于将图像特征从平面提升至群，维度从（B,C,H,W）提升为（B,C,R,H,W），其中B、C、R、H和W分别代表单次传递训练样本个数、特征通道数、旋转方向数量、特征高度和特征宽度；群卷积层满足群的性质，用于实现不同于传统卷积的群上卷积操作；群池化层用于使群上图像特征退化至平面，维度从（B,C,R,H,W）退化为（B,C*R,H,W），以适应模型中原有的对鸟瞰图进行目标方向预测的模块。
[0012]进一步的，所述群卷积层的层数根据具体的任务设置。
[0013]一种应用上述方法得到的群等变鸟瞰图目标方向预测装置，包括：基于多个传感器分支的鸟瞰图生成以及对各传感器生成的鸟瞰图进行融合的模块；群等变处理模块，用于对融合后得到的鸟瞰图进行群等变处理，提取鸟瞰图中的旋转等变特征；目标方向预测模块，用于基于群等变网络模块的输出进行目标方向预测。
[0014]进一步的，其中的群等变处理模块采用群等变网络，所述群等变网络由提升层、群卷积层和群池化层构成。其中的群卷积层层数不固定，根据具体的任务设置。
[0015]本公开提供的基于群等变的鸟瞰图目标方向预测方法，根据群等变的思想设计了一个可嵌入式的群等变网络，可以自由并合理嵌入现有目标方向预测的管道网络；其中，群等变网络将图像特征迁移到群上，使其具有群的性质，并设计了一个群卷积层直接在群上进行卷积操作，充分提取旋转等变特征；将群等变网络嵌入到鸟瞰图的生成与目标方向预测模块之间，并利用数据集进行训练，得到具有旋转等变性的目标方向预测模型，在场景旋转的情况下可以有效降低平均方向误差。
[0016]与现有技术相比，本公开的有益效果是：
①
通过在现有目标方向预测管道网络中嵌入群等变网络，提取旋转等变特征，实现了在场景旋转的情况下有效降低平均方向误差；
②
群等变网络中群卷积层的层数可以根据具体的任务设置灵活调整，提取合适深度的旋转
等变特征；
③
群等变网络中加入最优的群池化层，使其可以直接适应现有的目标方向预测算法。
附图说明
[0017]通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例方式中，相同的参考标号通常代表相同部件。
[0018]图1为根据本公开的一种示例性实施例流程图。
[0019]图2为示例性的群等变网络结构示意图。
具体实施方式
[0020]下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0021]本公开提供了一种基于群等变的鸟瞰图目标方向预测方法，附图1中给出了根据本公开的一种示例性实施例流程图，包括以下步骤：步骤S1：构建鸟瞰图目标方向预测基础模型，和获取训练所用的原始样本数据，并将数据划分成训练集和测试集；其中，鸟瞰图目标方向预测基础模型，包括鸟瞰图目标生成模块和目标方向预测模块；其中，鸟瞰图目标生成模块优选采用基于多传感器的鸟瞰图目标生成模型，包括各个传感器分支的鸟瞰图生成部分和融合部分，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于群等变处理的鸟瞰图目标方向预测方法，其特征在于，包括以下步骤：S1：构建鸟瞰图目标方向预测基础模型，其中包括鸟瞰图生成模块、以及对鸟瞰图中的目标方向进行预测的模块；获取训练所用的原始样本数据集；S2：构建群等变网络，将其嵌入到模型中的鸟瞰图生成模块之后，得到基于群等变的鸟瞰图目标方向预测模型；所述群等变网络，用于对鸟瞰图生成模块输出的鸟瞰图进行群等变处理，提取数据中的旋转等变特征；S3：使用数据集对模型进行训练，得到具有提取旋转等变特征能力的鸟瞰图目标方向预测模型。2.根据权利要求1所述的方法，其特征在于，所述模型中的鸟瞰图生成模块包括：多个传感器分支的鸟瞰图生成子模块，以及对各传感器生成的鸟瞰图进行融合的子模块。3.根据权利要求2所述的方法，其特征在于，所述模型中的鸟瞰图生成子模块包括相机分支和激光雷达分支，其中相机分支由主干网络Swin
‑
Transformer、颈部网络FPN和相机鸟瞰图生成网络LSS构建，激光雷达分支由主干网络SECOND、颈部网络FPN和鸟瞰图池化模块构成。4.根据权利要求1
‑
3中任一所述的方法，其特征在于，所述步骤S2通过群等变网...

【专利技术属性】
技术研发人员：郭杰龙，魏宪，刘宏纬，俞辉，邵东恒，张剑锋，李杰，汤璇，
申请(专利权)人：闽都创新实验室，
类型：发明
国别省市：