一种具有关系增广注意力的逆序分层鸟瞰图推理方法技术

本发明专利技术公开了一种具有关系增广注意力的逆序分层鸟瞰图推理方法。本发明专利技术利用分层级框架来细化鸟瞰图的特征表示，使其末端特征尺寸为最终鸟瞰图的一半。利用逆序对应的方式学习特征间关系，以避免分层级结构导致的计算量增加，并使用鸟瞰图特征的残差连接来促进尺度间的信息传递。本发明专利技术利用关系增广注意力区分有益和无益关系，通过在归一化前增益注意力分数来强调视图

【技术实现步骤摘要】
一种具有关系增广注意力的逆序分层鸟瞰图推理方法


[0001]本专利技术属于自动驾驶领域的一种鸟瞰图推理方法，尤其涉及一种具有关系增广注意力的逆序分层鸟瞰图推理方法。

技术介绍

[0002]感知车辆周围场景是自动驾驶的一项至关重要的任务，它为下游的规划、导航和转向任务提供周围物体和道路的信息。鉴于感知信息的展现形式随传感器种类而异，目前主要有两种描绘周围场景的方式：雷达检测和鸟瞰语义分割图推理。由于鸟瞰语义分割图的易可视和易处理特点，其在业界有着广泛的应用并有望推动自动驾驶的进一步发展。这项任务要求推理模型根据多视角相机图像推理鸟瞰视角下的各种类物体的分割图。
[0003]现有的鸟瞰语义分割研究主要是去学习鸟瞰特征和相机视图特征间的全局关系。由于注意力模型的二次复杂度，特征关系的学习被限制在潜层内，潜层特征和鸟瞰图的尺寸差距阻碍了细粒度物体的特征表示，亟需一种高效的分层级鸟瞰特征表征和学习框架；在鸟瞰特征的关系学习中，特定的鸟瞰块仅从部分视角中抓取信息，但其通过合并和加权平均操作融合了所有视图信息，这使无益特征干扰有益特征的融合表征，亟需一种关系区分机制去强调有益关系并抑制无益关系。
[0004]综上，现有的技术在鸟瞰特征的分层特征学习和多视角的有益特征融合存在技术难题。

技术实现思路

[0005]本专利技术旨在解决其在分层特征学习和多视图融合的技术难点，推动鸟瞰语义分割朝高精度和低计算成本的方向发展。本专利技术提供一种具有关系增广注意力的逆序分层鸟瞰图推理方法，本专利技术面向自动驾驶中的鸟瞰语义分割，通过跨尺度分层级注意力模型细化鸟瞰特征的表征和关系学习，利用关系增广注意力机制区分视角与鸟瞰位置关系并强调有益关系的注意力分数，从而实现对鸟瞰图的高精度和低计算成本的推理。
[0006]本专利技术的目的是通过以下技术方案来实现的：
[0007]1)由多组多视角相机视图图像和对应的真实鸟瞰分割图组成训练集，构建跨尺度分层级注意力模型，根据训练集对跨尺度分层级注意力模型进行训练，获得训练好的跨尺度分层级注意力模型；
[0008]2)将待推理的多视角相机视图图像输入到训练好的跨尺度分层级注意力模型中，预测获得对应的鸟瞰分割图。
[0009]所述跨尺度分层级注意力模型包括编码器、第一尺度鸟瞰特征分支、第二尺度鸟瞰特征分支和第三尺度鸟瞰特征分支；
[0010]每组多视角相机视图图像中，每个视角下的相机视图图像均输入编码器中，编码器提取每个视角下三个尺度的相机视图图像特征并分别作为第一尺度鸟瞰特征分支、第二尺度鸟瞰特征分支、第三尺度鸟瞰特征分支的输入，第一尺度鸟瞰特征分支输出第二尺度
鸟瞰特征并作为第二尺度鸟瞰特征分支的输入，第二尺度鸟瞰特征分支输出第三尺度鸟瞰特征并作为第三尺度鸟瞰特征分支的输入，第三尺度鸟瞰特征分支输出预测鸟瞰分割图。
[0011]所述第一尺度鸟瞰特征分支包括第一位置嵌入层、第二位置嵌入层、第一关系增广注意力模块和两个卷积模块；第三尺度的相机视图图像特征作为第一位置嵌入层的输入，第一尺度鸟瞰特征经第二位置嵌入层后的结果与第三尺度的相机视图图像特征、第一位置嵌入层的输出一起输入到第一关系增广注意力模块中，第一关系增广注意力模块与第一卷积模块相连，第一尺度鸟瞰特征经第二卷积模块后的结果与第一卷积模块的输出进行相加，然后将相加后的输出作为第一尺度鸟瞰特征分支的输出，第一尺度鸟瞰特征分支的输出记为第二尺度鸟瞰特征。
[0012]所述第二尺度鸟瞰特征分支包括第三位置嵌入层、第四位置嵌入层、第二关系增广注意力模块和两个卷积模块；第二尺度的相机视图图像特征作为第三位置嵌入层的输入，第二尺度鸟瞰特征经第四位置嵌入层后的结果与第二尺度的相机视图图像特征、第三位置嵌入层的输出一起输入到第二关系增广注意力模块中，第二关系增广注意力模块与第三卷积模块相连，第二尺度鸟瞰特征经第四卷积模块后的结果与第三卷积模块的输出进行相加，然后将相加后的输出作为第二尺度鸟瞰特征分支的输出，第二尺度鸟瞰特征分支的输出记为第三尺度鸟瞰特征。
[0013]所述第三尺度鸟瞰特征分支包括第五位置嵌入层、第六位置嵌入层、第三关系增广注意力模块和第五卷积模块；
[0014]第一尺度的相机视图图像特征作为第五位置嵌入层的输入，第三尺度鸟瞰特征经第四位置嵌入层后的结果与第一尺度的相机视图图像特征、第五位置嵌入层的输出一起输入到第三关系增广注意力模块中，第三关系增广注意力模块与第五卷积模块相连，第五卷积模块的输出作为第三尺度鸟瞰特征分支的输出并记为预测鸟瞰分割图。
[0015]所述关系增广注意力模块包括三个输入转换模块、注意力增广模块、激活层和输出转换模块，每个尺度鸟瞰特征经第一输入转换模块后获得查询矩阵，每个相机视图图像特征经位置嵌入层后的结果再经第二输入转换模块后获得键矩阵，每个相机视图图像特征经第三输入转换模块后获得值矩阵，将查询矩阵与键矩阵进行矩阵相乘后获得注意力分数矩阵，注意力分数矩阵经注意力增广模块后获得增广的注意力分数矩阵，改变值矩阵的形状后获得改变形状的值矩阵，增广的注意力分数矩阵经激活层后再与改变形状的值矩阵进行矩阵相乘后获得聚合特征矩阵，聚合特征矩阵经输出转换模块后的结果作为关系增广注意力模块的输出并记为每个尺度注意力图。
[0016]所述注意力增广模块中，首先，改变注意力分数矩阵的形状后获得改变形状的注意力分数矩阵，接着，在维度NK上计算并获得改变形状的注意力分数矩阵的标准差，最后，将改变形状的注意力分数矩阵、标准差以及增广系数ξ相乘后获得增广的注意力分数矩阵。
[0017]所述三个输入转换模块结构相同，均由第一全连接层和多头转换块相连组成，每个输入转换模块的输入作为第一全连接层的输入，多头转换块的输出作为每个输入转换模块的输出。
[0018]所述输出转换模块由第二全连接层、归一化层和多感知层相连组成，输出转换模块的输入作为第二全连接层的输入，多感知层的输出作为输出转换模块的输出。
[0019]所述跨尺度分层级注意力模型的损失函数值的计算公式如下：
[0020][0021]其中，f(
·
,
·
)是聚焦损失函数，β
i
表示第i尺度鸟瞰特征；u(
·
)是进行卷积模块操作；λ
i
是第i尺度权重，表示真实鸟瞰分割图，表示预测鸟瞰分割图，λ3表示第三权重。
[0022]本专利技术的有益效果是：
[0023]本专利技术以自动驾驶中鸟瞰分割图的推理方法为主，能帮助解决鸟瞰特征和相机图像特征的潜层关系学习导致的细粒度物体的表征难问题，实现由粗到细的鸟瞰特征表示和特征关系学习，还能帮助解决多视角相机特征的有益和无益融合问题，以提高鸟瞰图中物体分割的精度。
附图说明
[0024]下面结合附图对本专利技术具体实施方式进行详细说明：
[0025]图1是跨尺度分层级框架的结构图。
[0026]图2是关系增广注意力机制的结构图。
[0027]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有关系增广注意力的逆序分层鸟瞰图推理方法，其特征在于，包括以下步骤：1)由多组多视角相机视图图像和对应的真实鸟瞰分割图组成训练集，构建跨尺度分层级注意力模型，根据训练集对跨尺度分层级注意力模型进行训练，获得训练好的跨尺度分层级注意力模型；2)将待推理的多视角相机视图图像输入到训练好的跨尺度分层级注意力模型中，预测获得对应的鸟瞰分割图。2.根据权利要求1所述的一种具有关系增广注意力的逆序分层鸟瞰图推理方法，其特征在于，所述跨尺度分层级注意力模型包括编码器、第一尺度鸟瞰特征分支、第二尺度鸟瞰特征分支和第三尺度鸟瞰特征分支；每组多视角相机视图图像中，每个视角下的相机视图图像均输入编码器中，编码器提取每个视角下三个尺度的相机视图图像特征并分别作为第一尺度鸟瞰特征分支、第二尺度鸟瞰特征分支、第三尺度鸟瞰特征分支的输入，第一尺度鸟瞰特征分支输出第二尺度鸟瞰特征并作为第二尺度鸟瞰特征分支的输入，第二尺度鸟瞰特征分支输出第三尺度鸟瞰特征并作为第三尺度鸟瞰特征分支的输入，第三尺度鸟瞰特征分支输出预测鸟瞰分割图。3.根据权利要求2所述的一种具有关系增广注意力的逆序分层鸟瞰图推理方法，其特征在于，所述第一尺度鸟瞰特征分支包括第一位置嵌入层、第二位置嵌入层、第一关系增广注意力模块和两个卷积模块；第三尺度的相机视图图像特征作为第一位置嵌入层的输入，第一尺度鸟瞰特征经第二位置嵌入层后的结果与第三尺度的相机视图图像特征、第一位置嵌入层的输出一起输入到第一关系增广注意力模块中，第一关系增广注意力模块与第一卷积模块相连，第一尺度鸟瞰特征经第二卷积模块后的结果与第一卷积模块的输出进行相加，然后将相加后的输出作为第一尺度鸟瞰特征分支的输出，第一尺度鸟瞰特征分支的输出记为第二尺度鸟瞰特征。4.根据权利要求2所述的一种具有关系增广注意力的逆序分层鸟瞰图推理方法，其特征在于，所述第二尺度鸟瞰特征分支包括第三位置嵌入层、第四位置嵌入层、第二关系增广注意力模块和两个卷积模块；第二尺度的相机视图图像特征作为第三位置嵌入层的输入，第二尺度鸟瞰特征经第四位置嵌入层后的结果与第二尺度的相机视图图像特征、第三位置嵌入层的输出一起输入到第二关系增广注意力模块中，第二关系增广注意力模块与第三卷积模块相连，第二尺度鸟瞰特征经第四卷积模块后的结果与第三卷积模块的输出进行相加，然后将相加后的输出作为第二尺度鸟瞰特征分支的输出，第二尺度鸟瞰特征分支的输出记为第三尺度鸟瞰特征。5.根据权利要求2所述的一种具有关系增广注意力的逆序分层鸟瞰图推理方法，其特征在于，所述第三尺度鸟瞰特征分支包括第五位置嵌入层、第六位置嵌入层、第三关系增广注意力模块和...

【专利技术属性】
技术研发人员：裘乐淼，房乃玉，张树有，王阳，王自立，刘晓健，
申请(专利权)人：浙江大学，
类型：发明
国别省市：