一种基于跨位置及通道的注意力机制的点云特征增强方法技术

本发明专利技术涉及自动驾驶技术、机器人环境感知等领域，尤其涉及一种基于跨位置及通道的注意力机制的点云特征增强方法，所述方法包括：将点云特征输入点云特征增强模型，得到特征增强的特征矩阵；所述点云特征增强模型，基于自注意力机制，利用不同位置的不同通道元素的显式相关性实现点云特征的增强。本发明专利技术通过建模输入不同位置的不同通道元素的显式相关性进行特征重新校准，网络可以学会使用全局信息，有选择地强调信息特征，并抑制不太有用的特征；本发明专利技术将自注意表示为核特征映射的线性点积，并利用矩阵乘积的结合性来降低复杂度。并利用矩阵乘积的结合性来降低复杂度。并利用矩阵乘积的结合性来降低复杂度。

【技术实现步骤摘要】
一种基于跨位置及通道的注意力机制的点云特征增强方法


[0001]本专利技术涉及自动驾驶技术、机器人环境感知等领域，尤其涉及一种基于跨位置及通道的注意力机制的点云特征增强方法。

技术介绍

[0002]目前，随着自动驾驶研究的热度增加，三维目标检测技术在高速发展。在三维目标检测中，一种主要用到的数据是激光雷达检测到的空间物体的点云信息。由于三维点云在结构上与图像不同，无法立即应用计算机视觉中常用的标准的深度网络设计，例如基于离散卷积算子的网络。
[0003]因此，目前基于三维点云信息的目标检测算法中，一部分方法体素化三维空间，以启用三维离散卷积进行目标检测，这类方法会导致大量的计算和内存成本，并没有充分利用三维中点集的稀疏性；一部分方法设计直接对点进行操作，并通过池化算子或连续卷积传播信息；一部分方法将点集连接到用于消息传递的图中，利用图神经网络对点云进行处理。
[0004]无论是哪种方法进行三维目标检测，本质上都利用深度神经网络处理点云信息，而捕获输入数据内各部分长期依赖关系在深度神经网络中至关重要。对于顺序数据(例如，语音、语言数据)，循环操作是远程依赖建模的主要解决方案。对于图像数据，捕获其长期依赖关系是由卷积操作的深层堆叠形成的大接收域建模而得到的。卷积和递归运算都处理输入数据的一个局部邻域，无论是在空间上还是在时间上，因此，只有当这些操作被重复应用，并通过数据逐步传播信号时，才能捕获长期依赖关系。然而，不断重复这些操作有几个缺点：首先，它的计算效率很低；其次，它会造成优化困难，需要认真解决。最后，这些挑战使得长距离依赖关系建模变得困难，例如，当消息需要在长距离位置之间来回传递时。点云数据往往空间规模较大，所以对深度神经网络分析点云数据中各部分之间的关系的能力提出了更高的要求。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺陷，提出了一种基于跨位置及通道的注意力机制的点云特征增强方法。通过学习通道中所有元素之间的显式相关性来增强点云特征的表达能力。
[0006]为了实现上述目的，本专利技术提出了一种基于跨位置及通道的注意力机制的点云特征增强方法，所述方法包括：
[0007]将点云特征输入点云特征增强模型，得到特征增强的特征矩阵；
[0008]所述点云特征增强模型，基于自注意力机制，利用不同位置的不同通道元素的显式相关性实现点云特征的增强。
[0009]作为上述方法的一种改进，所述点云特征增强模型包括并联的Q、K和V三个分支以及聚合模块、最终线性投影层和相加模块；其中，
[0010]所述Q、K和V三个分支，用于将输入的点云x映射到三个不同的特征空间；
[0011]所述聚合模块，用于对Q、K和V三个分支的输出进行特征聚合，对点云的不同位置不同通道的特征进行增强，得到矩阵Q'；
[0012]所述线性投影层，用于对矩阵Q'进行线性投影，并输入相加模块；
[0013]所述相加模块，用于对线性投影后的输出与输入的点云x进行相加，得到增强的特征矩阵Z。
[0014]作为上述方法的一种改进，
[0015]Q分支包括依次连接的线性投影层、展平模块和指数线性单位；Q分支的输出为Φ(Q)，其中，Φ()表示指数线性单位；矩阵Q满足下式：
[0016]Q＝flatten(xW
Q
)。
[0017]式中，x表示输入的点云特征，flatten()表示将矩阵展平为向量，W
Q
为x在Q映射空间的特征表达；
[0018]K分支包括依次连接的线性投影层、展平模块、指数线性单位和转置模块；K分支的输出为Φ(K)
T
，其中，T表示转置，矩阵K满足下式：
[0019]K＝flatten(xW
K
)
[0020]式中，W
K
为x在K映射空间的特征表达；
[0021]V分支包括依次连接的线性投影层和展平模块，V分支的输出为：
[0022]V＝flatten(xW
V
)
[0023]式中，W
V
为x在V映射空间的特征表达。
[0024]作为上述方法的一种改进，所述聚合模块对Q分支的输出Φ(Q)，K分支的输出Φ(K)
T
，以及V分支的输出V，进行特征聚合，对点云的不同位置不同通道的特征进行增强，得到矩阵Q'满足下式：
[0025]Q'＝Φ(Q)(Φ(K)
T
V)。
[0026]作为上述方法的一种改进，所述相加模块对线性投影后的输出Q'W
Q'
与输入的点云x进行相加，得到增强的特征矩阵Z：
[0027]Z＝x+Q
′
W
Q'
[0028]式中，W
Q'
为线性投影层的参数。
[0029]一种基于跨位置及通道的注意力机制的点云特征增强系统，所述系统包括：特征增强模块和点云特征增强模型；其中，
[0030]所述特征增强模块，用于将点云特征输入点云特征增强模型，得到特征增强的特征矩阵；
[0031]所述点云特征增强模型，基于自注意力机制，利用不同位置的不同通道元素的显式相关性实现点云特征的增强。
[0032]一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述所述的方法。
[0033]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上述所述的方法。
[0034]与现有技术相比，本专利技术的优势在于：
[0035]1、本专利技术通过建模输入中不同位置的不同通道元素的显式相关性进行特征重新校准，通过这种机制，网络可以学会使用全局信息，有选择地强调信息特征，并抑制不太有用的特征；
[0036]2、本专利技术将自注意表示为核特征映射的线性点积，并利用矩阵乘积的结合性来降低复杂度。
附图说明
[0037]图1是本专利技术的基于自注意力机制的特征增强模型示意图。
具体实施方式
[0038]受经典的非局部图像滤波方法的启发，最近提出的非局部神经网络注意力机制解决了这一挑战，它通过在单个模块中直接建模特征映射中任意两个位置之间的相关性。这种非局部方法可以大大提高现有网络在许多视频分类基准上的性能。
[0039]由于在二维计算机视觉任务中也表现良好，一些工作尝试将基于注意力机制的transformer模型应用于点云信息的处理中，transformer模型之所以适用于点云处理，是因为作为transformer网络核心的自注意力算子本质上是一个集合算子，不受输入集合内元素的排列顺序的影响。在transformer模型中，需要对每个输入的向量进行位置编码，而点云本质上是嵌入在三维空间中的向量集合，可以将原始的三维点云的位置坐标信息用于位置编码。以上这些原因本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨位置及通道的注意力机制的点云特征增强方法，所述方法包括：将点云特征输入点云特征增强模型，得到特征增强的特征矩阵；所述点云特征增强模型，基于自注意力机制，利用不同位置的不同通道元素的显式相关性实现点云特征的增强。2.根据权利要求1所述的基于跨位置及通道的注意力机制的点云特征增强方法，其特征在于，所述点云特征增强模型包括并联的Q、K和V三个分支以及聚合模块、最终线性投影层和相加模块；其中，所述Q、K和V三个分支，用于将输入的点云x映射到三个不同的特征空间；所述聚合模块，用于对Q、K和V三个分支的输出进行特征聚合，对点云的不同位置不同通道的特征进行增强，得到矩阵Q'；所述线性投影层，用于对矩阵Q'进行线性投影，并输入相加模块；所述相加模块，用于对线性投影后的输出与输入的点云x进行相加，得到增强的特征矩阵Z。3.根据权利要求2所述的基于跨位置及通道的注意力机制的点云特征增强方法，其特征在于，Q分支包括依次连接的线性投影层、展平模块和指数线性单位；Q分支的输出为Φ(Q)，其中，Φ()表示指数线性单位；矩阵Q满足下式：Q＝flatten(xW
Q
)。式中，x表示输入的点云特征，flatten()表示将矩阵展平为向量，W
Q
为x在Q映射空间的特征表达；K分支包括依次连接的线性投影层、展平模块、指数线性单位和转置模块；K分支的输出为Φ(K)
T
，其中，T表示转置，矩阵K满足下式：K＝flatten(xW
K
)式中，W
K
为x在K映射空间的特征表达；V分支包括依次连接的线性投影层和展...

【专利技术属性】
技术研发人员：张新钰，王力，刘华平，高涵文，
申请(专利权)人：苏州驾驶宝智能科技有限公司，
类型：发明
国别省市：