增量式稀疏三维卷积的三维点云数据处理方法及设备技术

本发明专利技术提出一种增量式稀疏三维卷积的三维点云数据处理方法及设备，该方法通过获取三维点云数据，进行数据预处理后，形成三维点云数据的训练集；构建稀疏三维卷积网络模型，并所述将三维点云数据的训练集输入所述稀疏三维卷积网络模型中，进行模型训练；基于训练完成的所述稀疏三维卷积网络模型，构建增量式稀疏三维卷积网络模型；将实时的三维点云数据输入所述增量式稀疏三维卷积网络模型，输出结果即为对实时三维点云数据的处理结果。通过本发明专利技术，能够加速采用稀疏卷积的在线任务，实现增量计算，加速网络预测。加速网络预测。加速网络预测。

【技术实现步骤摘要】
增量式稀疏三维卷积的三维点云数据处理方法及设备


[0001]本专利技术涉及深度学习
，尤其涉及一种增量式稀疏三维卷积的三维点云数据处理方法、计算机设备及非临时性计算机可读存储介质。

技术介绍

[0002]增量式稀疏三维卷积计算在计算机视觉的时序问题中有重要的应用。一些时序问题，比如视频上的视觉任务，通常采用单帧计算的方法，将每帧都输入到卷积神经网络中得到单独的结果，而使用增量计算技术可以减少重复计算，因为视频帧之间存在大量重复信息，从而实现更快的处理速度。目前来说，现有的大部分增量卷积计算方法都是针对稠密卷积操作的，而难以应用在最近兴起的子流形稀疏卷积，其广泛应用于三维分割、检测任务。随着自动驾驶、机器人等的发展，时序上的三维任务获得了广泛的关注。这些任务依赖于三维重建，并且在实时重建出的三维模型上做检测、分割，对速度提出了严格要求。而现有的增量卷积计算都针对稠密卷积操作，不能适用于稀疏卷积。

技术实现思路

[0003]本专利技术提供一种增量式稀疏三维卷积的三维点云数据处理方法、计算机设备及非临时性计算机可读存储介质，旨在加速采用稀疏卷积的在线任务，实现增量计算，加速网络预测。
[0004]为此，本专利技术的目的在于提出一种增量式稀疏三维卷积的三维点云数据处理方法，包括：获取三维点云数据，进行数据预处理后，形成三维点云数据的训练集；并输入增量式稀疏三维卷积网络模型中，进行模型训练；构建稀疏三维卷积网络模型，并将三维点云数据的训练集输入稀疏三维卷积网络模型中，进行模型训练；基于训练完成的稀疏三维卷积网络模型，构建增量式稀疏三维卷积网络模型；其中，增量式稀疏三维卷积网络模型是对稀疏三维卷积网络模型中的稀疏卷积层进行增量替换；将实时的三维点云数据输入增量式稀疏三维卷积网络模型，输出结果即为对实时三维点云数据的处理结果；其中，对三维点云数据的处理包括三维语义分割、目标检测、三维分类及视频问题。
[0005]其中，增量式稀疏三维卷积网络模型是对稀疏三维卷积网络模型中的稀疏卷积层进行替换的过程是：将稀疏三维卷积网络模型中的子流形层、卷积层及非线性层替换为增量子流形层、增量卷积层及增量非线性层。
[0006]其中，增量子流形层限制稀疏三维卷积网络模型中子流形层输出层的增量点和输入层的增量点位置一样，而其他点的增量设定为0，从而限制的增量点的扩散，使得计算复
杂度恒定。
[0007]其中，增量卷积层允许稀疏三维卷积网络模型中的卷积层增量点的扩散。
[0008]其中，增量非线性层是在稀疏三维卷积网络模型中的非线性层中使用增量的定义进行传播：dy=g(x+dx)
‑
y，其中g是非线性函数，x和y是上一时刻存下来的特征值。
[0009]其中，增量式稀疏三维卷积网络模型是将子流形稀疏卷积UNet网络中的稀疏卷积层替换为增量型稀疏卷积层。
[0010]其中，模型构建模块构建的增量式稀疏三维卷积网络模型通过ScanNet数据集进行训练和测试。
[0011]其中，子流形稀疏卷积UNet网络进行三维语义分割的步骤包括：计算出当前重建出的场景体素的RGB值与上一时刻的RGB值的增量；输入增量到子流形稀疏卷积UNet网络，得到当前输出结果f(dx)，加上上一时刻存储的输出结果f(x)，即可得到当前网络的输出f(x+dx)；由于增量点比起当前重建的点数量稀疏很多，网络的计算复杂度大幅减少。
[0012]本专利技术的目的还在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案任一的方法。
[0013]本专利技术的目的还在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述技术方案的方法。
[0014]区别于现有技术，本专利技术提供的增量式稀疏三维卷积的三维点云数据处理方法，获取三维点云数据，进行数据预处理后，形成三维点云数据的训练集；构建稀疏三维卷积网络模型，并将三维点云数据的训练集输入稀疏三维卷积网络模型中，进行模型训练；基于训练完成的稀疏三维卷积网络模型，构建增量式稀疏三维卷积网络模型；将实时的三维点云数据输入增量式稀疏三维卷积网络模型，输出结果即为对实时三维点云数据的处理结果。通过本专利技术，能够加速采用稀疏卷积的在线任务，实现增量计算，加速网络预测。
附图说明
[0015]本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术提供的一种增量式稀疏三维卷积的三维点云数据处理方法的流程示意图。
[0016]图2是本专利技术提供的一种增量式稀疏三维卷积的三维点云数据处理方法中增量式稀疏三维卷积网络模型的网络结构示意图。
[0017]图3是本专利技术提供的一种增量式稀疏三维卷积的三维点云数据处理方法中实例和语义分割效果示意图。
[0018]图4本专利技术提供的一种非临时性计算机可读存储介质的结构示意图。
具体实施方式
[0019]下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描
述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0020]下面参考附图描述本专利技术实施例的一种增量式稀疏三维卷积的三维点云数据处理方法。
[0021]图1为本专利技术实施例所提供的一种增量式稀疏三维卷积的三维点云数据处理方法的流程示意图。包括：获取三维点云数据，进行数据预处理后，形成三维点云数据的训练集；构建稀疏三维卷积网络模型，并将三维点云数据的训练集输入稀疏三维卷积网络模型中，进行模型训练；基于训练完成的稀疏三维卷积网络模型，构建增量式稀疏三维卷积网络模型；其中，增量式稀疏三维卷积网络模型是对稀疏三维卷积网络模型中的稀疏卷积层进行增量替换；将实时的三维点云数据输入增量式稀疏三维卷积网络模型，输出结果即为对实时三维点云数据的处理结果；其中，对三维点云数据的处理包括三维语义分割、目标检测、三维分类及视频问题。
[0022]增量式稀疏三维卷积网络模型对稀疏三维卷积网络模型中的稀疏卷积层进行替换的过程是：将稀疏三维卷积网络模型中的子流形层、卷积层及非线性层替换为增量子流形层、增量卷积层及增量非线性层。
[0023]卷积神经网络的增量计算是计算机视觉中的重要问题。很多时序问题，比如视频问题，常见的做法是对每帧做卷积网络计算，但导致了大量重复计算。一些增量计算方法找到视频中没有变动的块，对于这些块，使用以前计算过的特征图。还有方法找到变动的点重新计算其特征。这些方法都复用之前计算过的特征图，从而节省大量时间。
[0024]卷积神经网络已经被证明对于二维图像信号处理是非常有效的。然而，对于三维点云信号，额外的维数 z 显著增加了计算量。另一方面，与普通图像不同的是，大多数三维点云的体素是空的，这使得三维体素中的点云数据通常是稀疏信号。采用二维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增量式稀疏三维卷积的三维点云数据处理方法，其特征在于，包括：获取三维点云数据，进行数据预处理后，形成三维点云数据的训练集；构建稀疏三维卷积网络模型稀疏三维卷积网络模型，并将所述三维点云数据的训练集输入所述稀疏三维卷积网络模型中，进行模型训练；基于训练完成的所述稀疏三维卷积网络模型，构建增量式稀疏三维卷积网络模型；其中，所述增量式稀疏三维卷积网络模型是对所述稀疏三维卷积网络模型稀疏三维卷积网络模型中的稀疏卷积层进行增量替换；将实时的三维点云数据输入所述增量式稀疏三维卷积网络模型，输出结果即为对实时三维点云数据的处理结果；其中，对三维点云数据的处理包括三维语义分割、目标检测、三维分类及视频问题。2.根据权利要求1所述的增量式稀疏三维卷积的三维点云数据处理方法，其特征在于，所述增量式稀疏三维卷积网络模型对所述稀疏三维卷积网络模型中的稀疏卷积层进行替换的过程是：将所述稀疏三维卷积网络模型中的子流形层、卷积层及非线性层替换为增量子流形层、增量卷积层及增量非线性层。3.根据权利要求2所述的增量式稀疏三维卷积的三维点云数据处理方法，其特征在于，所述增量子流形层限制所述稀疏三维卷积网络模型中子流形层输出层的增量点和输入层的增量点位置一样，而其他点的增量设定为0，从而限制的增量点的扩散，使得计算复杂度恒定。4.根据权利要求2所述的增量式稀疏三维卷积的三维点云数据处理方法，其特征在于，所述增量卷积层允许所述稀疏三维卷积网络模型中的卷积层增量点的扩散。5.根据权利要求2所述的增量式稀疏三维卷积的三维点云数据处理方法，其特征在于，...

【专利技术属性】
技术研发人员：方璐，刘乐遥，郑添，
申请(专利权)人：清华大学，
类型：发明
国别省市：