基于全融合网络的三维点云语义分割方法及系统技术方案

本发明专利技术公开了一种基于全融合网络的三维点云语义分割方法及系统，涉及计算机视觉的三维场景语义分割领域。该方法包括以下步骤：对点云进行层级下采样，提取高层语义特征和多尺度特征；对高层语义特征进行渐进式逐层解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数。本发明专利技术能保留大小物体信息，准确预测点云类别。

【技术实现步骤摘要】
基于全融合网络的三维点云语义分割方法及系统
本专利技术涉及计算机视觉的三维场景语义分割领域，具体是涉及一种基于全融合网络的三维点云语义分割方法及系统。
技术介绍
在计算机视觉领域中，三维场景语义分割是三维场景分析和理解的关键基础，已经被广泛应用到多个三维场景感知领域。例如：室内场景重建、智能机器人室内导航和增强现实/虚拟现实(AR/VR)都需要先对场景进行语义分割。三维点云一般具有较高的密度和精度，包含丰富的语义信息，如今已经成为三维场景语义分割研究的主要数据表达形式。随着深度学习方法的广泛利用，将深度学习方法直接应用到点云处理上，受到了更多的关注。但是，由于点云的无序性以及变换不变性，设计出一个能直接在点云上使用卷积提取特征的语义分割网络，仍然是当前点云研究的挑战。在实现本专利技术的过程中，专利技术人发现现有技术中至少存在如下问题：现有的网络在卷积网络结构中经常存在采样过程丢失大物体边缘和小物体本身信息的问题。
技术实现思路
本专利技术的目的是为了克服上述
技术介绍
的不足，提供一种基于全融合网络的三维点云语义分割方法及系统，能保留大小物体信息，准确预测点云类别。第一方面，提供一种基于全融合网络的三维点云语义分割方法，包括以下步骤：对点云进行层级下采样，提取高层语义特征和多尺度特征；对高层语义特征逐层进行特征解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数。根据第一方面，在第一方面的第一种可能的实现方式中，对点云进行层级下采样，提取高层语义特征和多尺度特征，包括以下步骤：采用最远点采样算法在输入的点云中选取质心点云，采用K近邻算法提取质心点云周围的相邻点进行局部区域构建；对所有构建的局部区域进行密度加权卷积，完成对点云的一次下采样；对下采样的结果继续进行密度加权卷积，共计完成4次下采样，4次下采样的结果依次记为L1、L2、L3、L4，L1、L2、L3、L4为多尺度特征，L4为高层语义特征。根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述进行密度加权卷积，包括以下步骤：输入局部区域和K个相邻点云，K为点云的数量，将这K个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标；通过核密度估计算法得到点云局部区域密度，将该密度输入多层感知器，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为K×Cin的逆密度张量S，cin是输入层特征维度的索引；将逆密度张量S和局部区域特征Fin进行矩阵间相乘，输出R表示实数；将局部区域K个点云的相对坐标输入多层感知器，得到权重函数，将权重函数、进行卷积运算，得到输出特征。根据第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，对高层语义特征逐层进行特征解码，得到渐进式解码特征图，包括以下步骤：通过反卷积上采样与跨层跳跃联结，对L4、L3进行特征解码，得到L33；对L33、L2进行特征解码，得到L22；对L22、L1进行特征解码，得到L11；对L11、L0进行特征解码，得到L00，L00为渐进式解码特征图。根据第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：通过反卷积上采样与跨层跳跃联结，对L1、L0进行特征解码，对L2、L0进行特征解码，对L3、L0进行特征解码，对L4、L0进行特征解码，各获得一层解码特征图；将四层解码特征图叠加，获得多层次解码特征图。根据第一方面或第一方面的第三种或第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述进行特征解码，包括以下步骤：输入底层及其上一层的质心点云坐标，采用K近邻算法对每一个底层的质心点云坐标在上一层中选取一定数量的点云，得到点云坐标和每个区域点的索引；根据权重公式和点云坐标，得到权重；采用反距离加权插值法，将底层的特征、得到的权重和每个区域内点的索引相结合，得到底层特征的反卷积上采样结果，采用密度加权模块提取该反卷积上采样结果的特征，采用跨层跳跃联结方式将提取的特征与具有相同分辨率的上一层特征串联叠加，采用多层感知器处理串联叠加后的特征，完成一次特征解码。根据第一方面，在第一方面的第六种可能的实现方式中，将渐进式解码特征图与多层次解码特征图融合，包括以下步骤：将渐进式解码特征图与多层次解码特征图串联叠加，实现特征全融合。第二方面，提供一种基于全融合网络的三维点云语义分割系统，包括：下采样单元，用于：对点云进行层级下采样，提取高层语义特征和多尺度特征；特征解码器，用于：对高层语义特征逐层进行特征解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；融合模块，用于：将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；更新模块，用于：根据预测的标签，更新网络参数。根据第二方面，在第二方面的第一种可能的实现方式中，所述下采样单元包括：区域构建模块，用于：采用最远点采样算法在输入的点云中选取质心点云，采用K近邻算法提取质心点云周围的相邻点进行局部区域构建；多个密度加权模块，用于：对所有构建的局部区域进行密度加权卷积，完成对点云的一次下采样；对下采样的结果继续进行密度加权卷积，共计完成4次下采样，4次下采样的结果依次记为L1、L2、L3、L4，L1、L2、L3、L4为多尺度特征，L4为高层语义特征。根据第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述进行密度加权卷积，包括以下步骤：输入局部区域和K个相邻点云，K为点云的数量，将这K个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标；通过核密度估计算法得到点云局部区域密度，将该密度输入多层感知器，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为K×Cin的逆密度张量S，cin是输入层特征维度的索引；将逆密度张量S和局部区域特征Fin进行矩阵间相乘，输出R表示实数；将局部区域K个点云的相对坐标输入多层感知器，得到权重函数，将权重函数、进行卷积运算，得到输出特征。根据第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述特征解码器对高层语义特征逐层进行特征解码，得到渐进式解码特征图，包括以下步骤：通过反卷积上采样与跨层跳跃联结，对L4、L3进行特征解码，得到L33；对L33、L2进行特征解码，得到L22；对L22、L1进行特征解码，得到L11；对L11、L0进行特征解码，得到L00，L00为渐进式解码特征图。根据第二方面的第一种可能的实现方式，在第二方面的第四种可能的实现方式中，所述特征解码器对多尺度特征分别进行特征解码，得到多层次解码特征图本文档来自技高网...

【技术保护点】
1.一种基于全融合网络的三维点云语义分割方法，其特征在于，包括以下步骤：/n对点云进行层级下采样，提取高层语义特征和多尺度特征；/n对高层语义特征逐层进行特征解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；/n将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数。/n

【技术特征摘要】
1.一种基于全融合网络的三维点云语义分割方法，其特征在于，包括以下步骤：
对点云进行层级下采样，提取高层语义特征和多尺度特征；
对高层语义特征逐层进行特征解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；
将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数。


2.如权利要求1所述的方法，其特征在于：
对点云进行层级下采样，提取高层语义特征和多尺度特征，包括以下步骤：
采用最远点采样算法在输入的点云中选取质心点云，采用K近邻算法提取质心点云周围的相邻点进行局部区域构建；
对所有构建的局部区域进行密度加权卷积，完成对点云的一次下采样；对下采样的结果继续进行密度加权卷积，共计完成4次下采样，4次下采样的结果依次记为L1、L2、L3、L4，L1、L2、L3、L4为多尺度特征，L4为高层语义特征。


3.如权利要求2所述的方法，其特征在于：
所述进行密度加权卷积，包括以下步骤：
输入局部区域和K个相邻点云，K为点云的数量，将这K个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标；
通过核密度估计算法得到点云局部区域密度，将该密度输入多层感知器，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为K×Cin的逆密度张量S，cin是输入层特征维度的索引；
将逆密度张量S和局部区域特征Fin进行矩阵间相乘，输出R表示实数；
将局部区域K个点云的相对坐标输入多层感知器，得到权重函数，将权重函数、进行卷积运算，得到输出特征。


4.如权利要求2所述的方法，其特征在于：
对高层语义特征逐层进行特征解码，得到渐进式解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对L4、L3进行特征解码，得到L33；对L33、L2进行特征解码，得到L22；对L22、L1进行特征解码，得到L11；对L11、L0进行特征解码，得到L00，L00为渐进式解码特征图。


5.如权利要求2所述的方法，其特征在于：
对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对L1、L0进行特征解码，对L2、L0进行特征解码，对L3、L0进行特征解码，对L4、L0进行特征解码，各获得一层解码特征图；
将四层解码特征图叠加，获得多层次解码特征图。


6.如权利要求1或4或5所述的方法，其特征在于：
所述进行特征解码，包括以下步骤：
输入底层及其上一层的质心点云坐标，采用K近邻算法对每一个底层的质心点云坐标在上一层中选取一定数量的点云，得到点云坐标和每个区域点的索引；根据权重公式和点云坐标，得到权重；
采用反距离加权插值法，将底层的特征、得到的权重和每个区域内点的索引相结合，得到底层特征的反卷积上采样结果，采用密度加权模块提取该反卷积上采样结果的特征，采用跨层跳跃联结方式将提取的特征与具有相同分辨率的上一层特征串联叠加，采用多层感知器处理串联叠加后的特征，完成一次特征解码。


7.如权利要求1所述的方法，其特征在于：
将渐进式解码特征图与多层次解码特征图融合，包括以下步骤：
将渐进式解码特征图与多层次解码特征图串联叠加，实现特征全融合。


8.一种基于全融合网络的三维点云语义分割系统，其特征...

【专利技术属性】
技术研发人员：刘李漫，谭龙雨，刘佳，胡怀飞，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：湖北;42