点云融合方法、装置、电子设备及存储介质制造方法及图纸

本申请属于数据处理技术领域，提供一种点云融合方法、装置、电子设备及存储介质，包括以下步骤：获取第一点云数据及第二点云数据；基于多头自注意力机制对第一点云数据与第二点云数据进行初步融合，得到初步融合结果；计算第一点云数据的权重衰减量及第二点云数据的权重衰减量；根据第一点云数据的权重衰减量及第二点云数据的权重衰减量反向传播分别对第一点云数据的融合参数及第二点云数据的融合参数进行更新，直至第一点云数据融合权重的更新变化率及第二点云数据融合权重的更新变化率分别小于预设阈值，停止迭代，得到最优融合参数。本申请点云融合方法、装置、电子设备及存储介质降低了融合过程中的计算复杂度，提高了点云融合的效率和精度。点云融合的效率和精度。点云融合的效率和精度。

【技术实现步骤摘要】
点云融合方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
，具体而言，涉及一种点云融合方法、装置、电子设备及存储介质。

技术介绍

[0002]三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
[0003]目前，现有的三维重建点云融合方法主要采用基于空间体素的融合方法和基于聚类思想的点云融合方法，但是基于空间体素的融合方法和基于聚类思想的点云融合方法存在融合效率低、精度低的问题。
[0004]针对上述问题，目前尚未有有效的技术解决方案。

技术实现思路

[0005]本申请的目的在于提供一种点云融合方法、装置、电子设备及存储介质，能够降低点云融合过程中的计算复杂度，提高点云融合的效率和精度。
[0006]第一方面，本申请提供了一种点云融合方法，用于对无人机采集的第一点云数据及四足机器人采集的第二点云数据进行融合，所述方法包括以下步骤：获取所述第一点云数据及所述第二点云数据；基于多头自注意力机制对所述第一点云数据与所述第二点云数据进行初步融合，得到初步融合结果；计算所述第一点云数据的权重衰减量及所述第二点云数据的权重衰减量；根据所述第一点云数据的权重衰减量及所述第二点云数据的权重衰减量反向传播分别对所述第一点云数据的融合参数及所述第二点云数据的融合参数进行更新，直至所述第一点云数据融合权重的更新变化率及所述第二点云数据融合权重的更新变化率分别小于预设阈值，停止迭代，得到最优融合参数；根据所述最优融合参数融合所述第一点云数据及所述第二点云数据，得到最终融合结果。
[0007]本申请提供的点云融合方法可以通过并行计算的方法降低点云融合过程中的计算复杂度，提高点云融合的效率和精度，而且，还可以对输入维数不统一的情况进行自适应调节，缩小时间复杂度。
[0008]可选地，在本申请所述的点云融合方法中，所述基于多头自注意力机制对所述第一点云数据与所述第二点云数据进行初步融合之前包括以下步骤：根据设定比例对所述第一点云数据及所述第二点云数据进行随机采样。
[0009]本申请通过对第一点云数据及第二点云数据进行随机采样后再进行初步融合，进一步降低了融合过程中的计算复杂度。
[0010]可选地，在本申请所述的点云融合方法中，所述计算所述第一点云数据的权重衰减量及所述第二点云数据的权重衰减量均包括以下步骤：求取融合矩阵；根据所述融合矩阵计算得到融合矩阵权重向量；根据所述融合矩阵及所述融合矩阵权重向量计算得到融合矩阵输出向量；基于权重矩阵和偏置利用前馈神经网络计算得到输出；根据所述输出计算得到损失函数；根据所述损失函数求偏导得到权重衰减量。
[0011]本申请通过上述步骤计算初步融合结果的权重衰减量，使得输出的融合点云的每个点坐标依赖于输入的所有点坐标，从而使得融合更加精确。
[0012]可选地，在本申请所述的点云融合方法中，所述求取融合矩阵通过以下公式计算：其中，融合矩阵包括、及，为输入键融合矩阵，为输入值融合矩阵，为输出融合矩阵，、及的初始值符合高斯分布的0
‑
1范围的随机数矩阵；表示所述第一点云数据中的第个点云数据或所述第二点云数据中的第个点云数据，，为所述第一点云数据中或所述第二点云数据中点云数据的总数，、及分别表示通过输入键融合矩阵、输入值融合矩阵及输出融合矩阵对所述第一点云数据中的第个点云数据或所述第二点云数据中的第个点云数据的初步融合结果。
[0013]可选地，在本申请所述的点云融合方法中，所述根据所述融合矩阵计算得到融合矩阵权重向量通过以下公式计算：其中，表示融合矩阵权重向量，表示通过输入键融合矩阵对所述第一点云数据中的第个点云数据或所述第二点云数据中的第个点云数据的初步融合结果，表示输入值融合矩阵对所述第一点云数据中的第个点云数据或所述第二点云数据中的第个点云数据的初步融合结果。
[0014]可选地，在本申请所述的点云融合方法中，所述根据所述融合矩阵及所述融合矩阵权重向量计算得到融合矩阵输出向量通过以下公式计算：阵权重向量计算得到融合矩阵输出向量通过以下公式计算：其中，表示融合矩阵输出向量，为所述融合矩阵权重向量中的第个元素，
表示通过与计算得到的进一步融合结果，表示输入值融合矩阵对所述第一点云数据中的第个点云数据或所述第二点云数据中的第个点云数据的初步融合结果，表示输出融合矩阵对所述第一点云数据中的第个点云数据或所述第二点云数据中的第个点云数据的初步融合结果。
[0015]可选地，在本申请所述的点云融合方法中，所述基于多头自注意力机制对所述第一点云数据与所述第二点云数据进行初步融合通过以下公式计算：其中，为自注意力层输出的初步融合结果，和均为行列数值相同的多头加权矩阵，表示所述第一点云数据，表示所述第二点云数据，，表示第一点云数据中第个数据，，表示所述第一点云数据基于自注意力机制的第n个输出，表示所述第二点云数据基于自注意力机制的第n个输出，表示第二点云数据中第个数据。
[0016]第二方面，本申请还提供了一种点云融合装置，用于对无人机采集的第一点云数据及四足机器人采集的第二点云数据进行融合，所述装置包括：获取模块，用于获取所述第一点云数据及所述第二点云数据；初融模块，用于基于多头自注意力机制对所述第一点云数据与所述第二点云数据进行初步融合，得到初步融合结果；计算模块，用于计算所述第一点云数据的权重衰减量及所述第二点云数据的权重衰减量；更新模块，用于根据所述第一点云数据的权重衰减量及所述第二点云数据的权重衰减量反向传播分别对所述第一点云数据的融合参数及所述第二点云数据的融合参数进行更新，直至所述第一点云数据融合权重的更新变化率及所述第二点云数据融合权重的更新变化率分别小于预设阈值，停止迭代，得到最优融合参数；融合模块，用于根据所述最优融合参数融合所述第一点云数据及所述第二点云数据，得到最终融合结果。
[0017]本申请提供的点云融合装置可以通过并行计算的方法降低点云融合过程中的计算复杂度，提高点云融合的效率和精度，而且，还可以对输入维数不统一的情况进行自适应调节，缩小时间复杂度。
[0018]第三方面，本申请提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
[0019]第四方面，本申请提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
[0020]由上可知，本申请提供的点云融合方法、装置、电子设备及存储介质通过获取所述第一点云数据及所述第二点云数据；基于多头自注意力机制对所述第一点云数据与所述第二点云数据进行初步融合，得到初步融合结果；计算第一点云数据的权重衰减量及第二点云数据的权重衰减量；根据第一点云数据的权重衰减量及第二点云数据的权重衰减量反向传播分别对第一点云数据的融合参数及第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云融合方法，用于对无人机采集的第一点云数据及四足机器人采集的第二点云数据进行融合，其特征在于，所述方法包括以下步骤：获取所述第一点云数据及所述第二点云数据；基于多头自注意力机制对所述第一点云数据与所述第二点云数据进行初步融合，得到初步融合结果；计算所述第一点云数据的权重衰减量及所述第二点云数据的权重衰减量；根据所述第一点云数据的权重衰减量及所述第二点云数据的权重衰减量反向传播分别对所述第一点云数据的融合参数及所述第二点云数据的融合参数进行更新，直至所述第一点云数据融合权重的更新变化率及所述第二点云数据融合权重的更新变化率分别小于预设阈值，停止迭代，得到最优融合参数；根据所述最优融合参数融合所述第一点云数据及所述第二点云数据，得到最终融合结果。2.根据权利要求1所述的点云融合方法，其特征在于，所述基于多头自注意力机制对所述第一点云数据与所述第二点云数据进行初步融合之前包括以下步骤：根据设定比例对所述第一点云数据及所述第二点云数据进行随机采样。3.根据权利要求1所述的点云融合方法，其特征在于，所述计算所述第一点云数据的权重衰减量及所述第二点云数据的权重衰减量均包括以下步骤：求取融合矩阵；根据所述融合矩阵计算得到融合矩阵权重向量；根据所述融合矩阵及所述融合矩阵权重向量计算得到融合矩阵输出向量；基于权重矩阵和偏置利用前馈神经网络计算得到输出；根据所述输出计算得到损失函数；根据所述损失函数求偏导得到权重衰减量。4.根据权利要求3所述的点云融合方法，其特征在于，所述求取融合矩阵通过以下公式计算：其中，融合矩阵包括、及，为输入键融合矩阵，为输入值融合矩阵，为输出融合矩阵，、及的初始值符合高斯分布的0
‑
1范围的随机数矩阵；表示所述第一点云数据中的第个点云数据或所述第二点云数据中的第个点云数据，，为所述第一点云数据中或所述第二点云数据中点云数据的总数，、及分别表示通过输入键融合矩阵、输入值融合矩阵及输出融合矩阵对所述第一点云数据中的第个点云数据或所述第二点云数据中的第个点云数据的初步融合结果。5.根据权利要求3所述的点云融合方法，其特征在于，所述根据所述融合矩阵计算得到融合矩阵权重向量通过以下公式计算：其中，表示融合矩阵权重向量，表示通过输入键融合矩阵对所述第一点云数据
中的第个点云数据或所述第二点云数据中的第个点云数据的初步融合结果，表示输入值融合矩阵对所述第一点云...

【专利技术属性】
技术研发人员：邓涛，张晟东，李志建，古家威，霍震，陈海龙，黄秀韦，何昊名，
申请(专利权)人：季华实验室，
类型：发明
国别省市：