基于深度协同注意网络的点云配准方法及装置、训练方法制造方法及图纸

本发明专利技术涉及智能感知技术领域，提供一种基于深度协同注意网络的点云配准方法及装置、训练方法。所述方法包括：获取第一点云数据与第二点云数据，将第一点云数据与第二点云数据输入预先训练的深度协同注意网络模型，得到第一点云数据与第二点云数据之间的点云配准结果。所述深度协同注意网络模型包括特征提取网络和基于注意力的重叠显著模块，所述特征提取网络用于提取点云数据的多尺度点云特征，所述基于注意力的重叠显著模块用于基于多个点云数据的多尺度点云特征，获取多个点云数据之间的交互注意力信息，并基于交互注意力信息对多个点云数据进行配准。本发明专利技术解决了低重叠率场景下点云配准精度差的问题。下点云配准精度差的问题。下点云配准精度差的问题。

【技术实现步骤摘要】
基于深度协同注意网络的点云配准方法及装置、训练方法


[0001]本专利技术涉及智能感知
，具体地涉及一种基于深度协同注意网络的点云配准方法、一种基于深度协同注意网络的点云配准装置、一种深度协同注意网络模型的训练方法、一种应用于工程机械的智能感知系统以及一种计算机可读存储介质。

技术介绍

[0002]智能感知系统为提升工程机械领域的自动化和智能化水平，完成高效的自动控制、自主作业和机群协同带来了巨大的契机。
[0003]目前工程机械领域的智能感知系统以单目相机、双目相机以及单体激光雷达为主，在实际工况条件下由于灰尘、光照和工程设备不规律的震动等干扰，基于视觉相机的智能感知系统的抗干扰性较差，无法精确定位目标的三维坐标。由于单体激光雷达的纵向视场角有限，且所获取为低重叠率稀疏点云，会导致配准误差较大，难以精确描述施工场景。现有的点云配准方法主要应用于高重叠率场景下的点云配准任务，难以面向更贴合实际工程机械领域的低重叠率场景下的点云配准任务。因此亟需一种针对低重叠率点云的配准方法，以解决低重叠率场景下对应点云数量少而导致配准精度差的问题，为智慧施工提供高精度的三维感知场景。

技术实现思路

[0004]本专利技术的目的是提供一种基于深度协同注意网络的点云配准方法及装置，以解决低重叠率场景下点云配准精度差的问题。
[0005]本专利技术第一方面提供一种基于深度协同注意网络的点云配准方法，包括：
[0006]获取第一点云数据与第二点云数据，其中，所述第一点云数据与所述第二点云数据之间存在重叠点云；
[0007]将所述第一点云数据与所述第二点云数据输入预先训练的深度协同注意网络模型，得到所述第一点云数据与所述第二点云数据之间的点云配准结果，其中，所述深度协同注意网络模型包括特征提取网络和基于注意力的重叠显著模块，所述特征提取网络用于提取点云数据的多尺度点云特征，所述基于注意力的重叠显著模块用于基于多个所述点云数据的多尺度点云特征，获取多个所述点云数据之间的交互注意力信息，并基于所述交互注意力信息对多个所述点云数据进行配准。
[0008]本专利技术实施例中，所述基于注意力的重叠显著模块具体用于：
[0009]接收第一多尺度点云特征与第二多尺度点云特征，所述第一多尺度点云特征为所述特征提取网络对所述第一点云数据提取的多尺度点云特征，所述第二多尺度点云特征为所述特征提取网络对所述第二点云数据提取的多尺度点云特征；
[0010]获取所述第一多尺度点云特征与第二多尺度点云特征之间的交互注意力权值，该交互注意力权值作为所述第一点云数据与所述第二点云数据之间的交互注意力信息；
[0011]基于所述交互注意力权值分别对所述第一多尺度点云特征与第二多尺度点云特
征进行增强，得到第一增强特征与第二增强特征；
[0012]对所述第一增强特征与所述第二增强特征进行配准，得到所述点云配准结果。
[0013]本专利技术实施例中，所述获取所述第一多尺度点云特征与第二多尺度点云特征之间的交互注意力权值之前，所述方法还包括：将所述第一多尺度点云特征与所述第二多尺度点云特征分别优化为第一优化特征与第二优化特征；
[0014]所述获取所述第一多尺度点云特征与第二多尺度点云特征之间的交互注意力信息权值，具体包括：获取所述第一优化特征与所述第二优化特征之间的交互注意力权值；
[0015]所述基于所述交互注意力权值分别对所述第一多尺度点云特征与第二多尺度点云特征进行增强，得到第一增强特征与第二增强特征，具体包括：基于所述交互注意力权值分别对所述第一优化特征与所述第二优化特征进行增强，得到第一增强特征与第二增强特征。
[0016]本专利技术实施例中，所述将所述第一多尺度点云特征与所述第二多尺度点云特征分别优化为第一优化特征与第二优化特征，包括：分别对所述第一多尺度点云特征和所述第二多尺度点云特征进行卷积操作；利用激活函数对卷积操作后的特征进行激活得到激活特征；将所述第一多尺度点云特征的激活特征与所述第一多尺度点云特征进行点乘操作得到第一优化特征，将所述第二多尺度点云特征的激活特征与所述第二多尺度点云特征进行点乘操作得到第二优化特征。
[0017]本专利技术实施例中，分别对所述第一多尺度点云特征和所述第二多尺度点云特征进行卷积操作，包括：获取对多尺度点云特征进行优化的卷积核的特征通道数；根据所述特征通道数确定卷积核尺寸；基于所述卷积核尺寸对所述第一多尺度点云特征和所述第二多尺度点云特征进行卷积操作。
[0018]本专利技术实施例中，所述基于所述卷积核尺寸对所述第一多尺度点云特征和所述第二多尺度点云特征进行卷积操作，包括：分别对所述第一多尺度点云特征和所述第二多尺度点云特征进行全局均值处理；基于所述卷积核尺寸对全局均值处理后的第一多尺度点云特征和第二多尺度点云特征进行卷积操作。
[0019]本专利技术实施例中，获取所述第一多尺度点云特征与第二多尺度点云特征之间的交互注意力权值，包括：将所述第一多尺度点云特征的激活特征与所述第二多尺度点云特征的激活特征进行特征串联，得到第一融合特征；对所述第一融合特征进行全连接和激活得到交互注意力权值。
[0020]本专利技术实施例中，对所述第一增强特征与所述第二增强特征进行配准，得到所述点云配准结果，包括：对所述第一增强特征与所述第二增强特征进行特征串联，得到第二融合特征；基于多层感知机对所述第二融合特征进行感知，得到旋转四元数，所述点云配准结果包括所述旋转四元数。
[0021]本专利技术实施例中，所述将所述第一点云数据与所述第二点云数据输入预先训练的深度协同注意网络模型，得到所述第一点云数据与所述第二点云数据之间的点云配准结果，包括：
[0022]在第n轮迭代运算中，将中间点云数据与所述第二点云数据输入预先训练的深度协同注意网络模型，得到中间变换矩阵，其中，在n等于1的情况下，所述中间点云数据为所述第一点云数据，在n大于1的情况下，所述中间点云数据为第n
‑
1轮迭代周期中输入的中间
点云数据与第n
‑
1轮迭代周期中得到的中间变换矩阵的乘积；
[0023]在所述中间变换矩阵收敛的情况下，结束所述迭代运算，将全部轮次的迭代运算中得到的中间变换矩阵的乘积确定为所述点云配准结果。
[0024]本专利技术第二方面提供一种深度协同注意网络模型的训练方法，包括：
[0025]获取点云数据构建训练集，所述训练集包括训练样本及所述训练样本对应的标注结果，每一所述训练样本均包括第一训练点云数据与第二训练点云数据，所述标注结果用于反映所述第一训练点云数据与第二训练点云数据之间的变换关系；
[0026]将所述训练样本输入初始深度协同注意网络模型，得到预测变换矩阵；
[0027]根据所述预测变换矩阵和所述标注结果计算损失函数的损失值，所述损失函数用于计算第一变换点云与第二变换点云之间的距离，所述第一变换点云为使用所述预测变换矩阵对所述第一训练点云数据进行变换得到，所述第二变换点云为使用所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度协同注意网络的点云配准方法，其特征在于，包括：获取第一点云数据与第二点云数据，其中，所述第一点云数据与所述第二点云数据之间存在重叠点云；将所述第一点云数据与所述第二点云数据输入预先训练的深度协同注意网络模型，得到所述第一点云数据与所述第二点云数据之间的点云配准结果，其中，所述深度协同注意网络模型包括特征提取网络和基于注意力的重叠显著模块，所述特征提取网络用于提取点云数据的多尺度点云特征，所述基于注意力的重叠显著模块用于基于多个所述点云数据的多尺度点云特征，获取多个所述点云数据之间的交互注意力信息，并基于所述交互注意力信息对多个所述点云数据进行配准。2.根据权利要求1所述的基于深度协同注意网络的点云配准方法，其特征在于，所述基于注意力的重叠显著模块具体用于：接收第一多尺度点云特征与第二多尺度点云特征，所述第一多尺度点云特征为所述特征提取网络对所述第一点云数据提取的多尺度点云特征，所述第二多尺度点云特征为所述特征提取网络对所述第二点云数据提取的多尺度点云特征；获取所述第一多尺度点云特征与第二多尺度点云特征之间的交互注意力权值，该交互注意力权值作为所述第一点云数据与所述第二点云数据之间的交互注意力信息；基于所述交互注意力权值分别对所述第一多尺度点云特征与第二多尺度点云特征进行增强，得到第一增强特征与第二增强特征；对所述第一增强特征与所述第二增强特征进行配准，得到所述点云配准结果。3.根据权利要求2所述的基于深度协同注意网络的点云配准方法，其特征在于，所述获取所述第一多尺度点云特征与第二多尺度点云特征之间的交互注意力权值之前，所述方法还包括：将所述第一多尺度点云特征与所述第二多尺度点云特征分别优化为第一优化特征与第二优化特征；所述获取所述第一多尺度点云特征与第二多尺度点云特征之间的交互注意力信息权值，具体包括：获取所述第一优化特征与所述第二优化特征之间的交互注意力权值；所述基于所述交互注意力权值分别对所述第一多尺度点云特征与第二多尺度点云特征进行增强，得到第一增强特征与第二增强特征，具体包括：基于所述交互注意力权值分别对所述第一优化特征与所述第二优化特征进行增强，得到第一增强特征与第二增强特征。4.根据权利要求3所述的基于深度协同注意网络的点云配准方法，其特征在于，所述将所述第一多尺度点云特征与所述第二多尺度点云特征分别优化为第一优化特征与第二优化特征，包括：分别对所述第一多尺度点云特征和所述第二多尺度点云特征进行卷积操作；利用激活函数对卷积操作后的特征进行激活得到激活特征；将所述第一多尺度点云特征的激活特征与所述第一多尺度点云特征进行点乘操作得到第一优化特征，将所述第二多尺度点云特征的激活特征与所述第二多尺度点云特征进行点乘操作得到第二优化特征。5.根据权利要求4所述的基于深度协同注意网络的点云配准方法，其特征在于，分别对所述第一多尺度点云特征和所述第二多尺度点云特征进行卷积操作，包括：
获取对多尺度点云特征进行优化的卷积核的特征通道数；根据所述特征通道数确定卷积核尺寸；基于所述卷积核尺寸对所述第一多尺度点云特征和所述第二多尺度点云特征进行卷积操作。6.根据权利要求5所述的基于深度协同注意网络的点云配准方法，其特征在于，所述基于所述卷积核尺寸对所述第一多尺度点云特征和所述第二多尺度点云特征进行卷积操作，包括：分别对所述第一多尺度点云特征和所述第二多尺度点云特征进行全局均值处理；基于所述卷积核尺寸对全局均值处理后的第一多尺度点云特征和第二多尺度点云特征进行卷积操作。7.根据权利要求4所述的基于深度协同注意网络的点云配准方法，其特征在于，获取所述第一多尺度点云特征与第二多尺度点云特征之间的交互注意力权值，包括：将所述第一多尺度点云特征的激活特征与所述第二多尺度点云特征的激活特征进行特征串联，得到第一融合特征；对所述第一融合特征进行全连接和激活得到交互注意力权值。8.根据权利要求2所述的基于深度协同注意网络的点云配准方法，其特征在于，对所述第一增强特征与所述第二增强特征进行配准，得到所述点云配准结果，包括：对所述第一增强特征与所述第二增强特征进行特征串联，得到第二融合特征；基于多层感知机对所述第二融合特征进行感知，得到旋转四元数，所述点云配准结果包括所述旋转四元数。9.根据权利要求1所述的基于深度协同注意...

【专利技术属性】
技术研发人员：付玲，李骁，赵键，刘延斌，范卿，于晓颖，尹莉，
申请(专利权)人：中联重科股份有限公司，
类型：发明
国别省市：