一种基于深度学习的点云上采样方法、设备、介质及终端技术

本发明专利技术提供一种基于深度学习的点云上采样方法，包括：计算稀疏点的法向量，并在其切平面生成栅格点；根据所述栅格点与其邻近稀疏点的相对位置信息，使用深度学习方法对所述栅格点进行线性组合，生成3D平面点；根据所述3D平面点之间的相对位置关系和所述3D平面点与所述邻近稀疏点的相对位置关系，使用深度学习模型计算各3D平面点的移动偏置，获得最终的上采样点。本发明专利技术实施例中一种基于深度学习的点云上采样方法，引入栅格点辅助进行点云上采样，利用点云间相对位置关系的同时，加深点云上采样块之间的联系，从而达到更好的点云上采样效果。果。果。

【技术实现步骤摘要】
一种基于深度学习的点云上采样方法、设备、介质及终端


[0001]本专利技术涉及点云上采样
，特别涉及一种基于深度学习的点云上采样方法、设备、介质及终端。

技术介绍

[0002]随着三维传感器(如3D scanners和LIDARs等)的普及，三维数据的获取日益方便。三维数据极大地弥补了许多应用场景中图像对于空间结构信息的缺失，更利于理解周围环境。三维数据的表示形式多样，有点云、体素网格、三角网格、多视图等。其中，点云可由传感器直接获得，它是三维空间中点的集合。点云中的每个点包含其位置信息，也可包含其他属性(如颜色，强度等)。由于点云表示形式简单，接近原始数据，因而在各领域应用广泛。然而现实中获得的点云往往是不完整或稀疏的，因而需要对输入点云进行补全或上采样处理进行前期处理，便于后续各类点云任务。
[0003]点云上采样指的是依据稀疏点云生成稠密点云，生成的稠密点云需要能够均匀附着在稀疏点云的潜在曲面上。现有的点云上采样方法可分为传统方法和基于深度学习的方法。传统方法对先验知识的依赖性大，因此难以处理复杂的点云上采样问题。基于深度学习的方法则依托庞大的数据集和高性能的模型，从而获得更好的上采样的效果。
[0004]现有的一些深度学习方法在性能上优于传统方法，但是它们聚焦于将图像领域的想法迁移至点云领域并在抽象的特征空间中处理问题。因此，它们没有能够充分利用点云自身的几何信息。因而，有方法提出将离散微分几何和深度学习相结合，侧重学习每个点的局部参数化和法向量，用纯几何操作来进行点云上采样。但是这类方法往往只专注于块内点云的生成，而忽略块与块之间的依赖关系。因而如何更好地利用点云自身的几何特征以及如何加强点云上采样中块与块之间关联性，达到更好的点云上采样效果是亟待解决的问题。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于深度学习的点云上采样方法、设备、介质及终端。
[0006]根据本专利技术的一个方面，提供一种基于深度学习的点云上采样方法，包括：
[0007]S11,计算稀疏点的法向量，并在其切平面生成栅格点；
[0008]S12,根据所述栅格点与其邻近稀疏点的相对位置信息，使用深度学习方法对所述栅格点进行线性组合，生成3D平面点；
[0009]S13,根据所述3D平面点之间的相对位置关系和所述3D平面点与所述稀疏点的相对位置关系，使用深度学习模型计算3D平面点的移动偏置，获得最终的上采样点。
[0010]优选地，所述S11,包括：使用深度学习方法计算稀疏点的法向量，并依据法向量和稀疏点位置，生成位于稀疏点切平面的栅格点。
[0011]使用深度学习学习稀疏点和其K个邻近稀疏点的相对位置关系，获得该稀疏点云
块的全局特征以及邻近稀疏点的局部点特征；
[0012]基于所述全局特征和局部点特征，通过Softmax函数计算每一个稀疏邻近点对法向量估计的权重；
[0013]将所述权重代入n
‑
jet模型中，获得点云的法向量；
[0014]根据所述法向量，在稀疏点的切平面生成均匀分布的M个栅格点。
[0015]优选地，所述S12包括：
[0016]通过深度学习将所述栅格点与周围稀疏点的低维相对位置关系映射成高维空间特征，
[0017]所述高维空间特征与所述全局特征级联获得栅格点的特征；
[0018]基于所述栅格点的特征，通过MLP(Multi
‑
layer perception，多层感知机)映射获得栅格点对应相应上采样数量的平面点的权重；
[0019]基于所述平面点权重进行加权求和，获得3D平面点(一个稀疏点周围人为设置了M个栅格点，然后通过线性组合用M个栅格点生成μ个上采样点)。
[0020]优选地，所述S13包括：
[0021]使用基于块间的non
‑
local特征增强模块，加深每一个3D平面点与其邻近块(是指每个稀疏点的邻近K个点周围生成的μ个点，总共K个块，kμ个3D平面点)中所有3D平面点的关联，获得增强后的包含局部和非局部信息的3D平面点特征；
[0022]基于所述3D平面点特征，通过MLP映射得到每一个平面点的移动偏置；
[0023]所述3D平面点按照所述移动偏置移动到其对应曲面，从而获得最终的上采样点云。
[0024]优选地的，所述3D平面点特征的获取，包括：
[0025]基于所述格栅点的特征和所述平面权重，得到平面融合点特征；
[0026]将所述格栅点映射至高位空间，获得特征空间中的相对平面位置关系；
[0027]基于块间的non
‑
local特征增强模块，获得块间的non
‑
local特征；
[0028]将所述块间的non
‑
local特征和平面融合点特征变换融合，得到3D平面点特征。
[0029]根据本专利技术的第二个方面，提供一种基于深度学习的点云上采样系统，包括：
[0030]栅格点生成模块，所述,计算稀疏点的法向量，并在其切平面生成栅格点；
[0031]平面点生成模块，所述平面点生成模块根据所述栅格点与其邻近稀疏点的相对位置信息，使用深度学习方法对所述栅格点进行线性组合，生成3D平面点；
[0032]上采样点生成模块，所述上采样点生成模块根据所述平面点之间的相对位置关系和所述平面点与所述稀疏点的相对位置关系，使用深度学习模型计算各点沿其移动偏置，获得最终的上采样点。
[0033]根据本专利技术的第三个方面，提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现：任一项所述的方法，或，所述的系统。
[0034]根据本专利技术的第四个方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行：任一项所述的方法，或，所述的系统。
[0035]根据本专利技术的第五个方面，提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于深度学习的点云上采样系统或方法。
[0036]与现有技术相比，本专利技术具有如下的有益效果：
[0037]本专利技术实施例中一种基于深度学习的点云上采样方法和系统，引入栅格点辅助进行点云上采样，利用点云间相对位置关系的同时，加深点云上采样块之间的联系，从而达到更好的点云上采样效果。该方法在量化指标包括倒角距离(Chamfer Distance,CD)、豪斯多夫距离(Harsdorff Distance,HD)、点到表面距离(Point
‑
to
‑
face Distance,P2F)以及视觉感知上均优于现有的其他技术；
[0038本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的点云上采样方法，其特征在于，包括：计算稀疏点的法向量，并在其切平面生成栅格点；根据所述栅格点与其邻近稀疏点的相对位置信息，使用深度学习方法对所述栅格点进行线性组合，生成3D平面点；根据所述3D平面点之间的相对位置关系和所述3D平面点与所述邻近稀疏点的相对位置关系，使用深度学习模型计算3D平面点的移动偏置，获得最终的上采样点。2.根据权利要求1所述的一种基于深度学习的点云上采样方法，其特征在于，所述计算稀疏点的法向量，并在其切平面生成栅格点,包括：使用深度学习方法计算所述稀疏点的法向量，并依据所述法向量和所述稀疏点位置，生成位于稀疏点切平面的栅格点。3.根据权利要求2所述的一种基于深度学习的点云上采样方法，其特征在于，使用深度学习学习稀疏点和其邻近稀疏点的相对位置关系，获得该稀疏点云块的全局特征以及邻近稀疏点的局部点特征；基于所述全局特征和局部点特征，通过Softmax函数计算所述稀疏点云块中的每一个点对法向量估计的权重；将所述权重代入n
‑
jet模型中，获得所述稀疏点云的法向量；根据所述法向量，在稀疏点的切平面生成均匀分布的栅格点。4.根据权利要求3所述的一种基于深度学习的点云上采样方法，其特征在于，所述根据栅格点与其邻近稀疏点的相对位置信息，使用深度学习方法对所述栅格点进行线性组合，生成3D平面点；包括：通过深度学习将所述栅格点与邻近稀疏点的低维相对位置关系映射成高维空间特征；所述高维空间特征与所述稀疏点云块的全局特征级联获得栅格点的特征；基于所述栅格点的特征，通过MLP(Multi
‑
layer perception，多层感知机)映射获得所述栅格点相应上采样数量的3D平面点权重；基于所述平面点权重进行加权求和，获得3D平面点。5.根据权利要求4所述的一种基于深度学习的点云上采样方法，其特征在于，所述根据3D平面点之间的相对位置关系和所述3D平面点与所述邻近稀疏点的相对位置关系，使用深度学习模型计算3D平面点的移动偏置，获得最终的上采样点，包括：使用基于块间的non
‑
local特征增强模块，加深每一个3D平面点与其邻近块中所有3D平面点的关联，获得增强后的包含局部和非局部信息的3D平面点特征；基于所述3D平面点特征，通过MLP映射得到每一个平面点的移动偏置；所...

【专利技术属性】
技术研发人员：安平，邓小宝，陈亦雷，黄新彭，
申请(专利权)人：上海大学，
类型：发明
国别省市：