本发明专利技术公开了一种场景语义分割方法、装置、电子设备，该方法包括：如果场景原始点云对应体素块的粒度大于粒度阈值，则根据所述体素块特征和原始点云特征，得到下一分割点云；如果所述有效体素块细分后下一体素块粒度小于等于所述粒度阈值，则根据所述下一分割点云添加语义标签作为场景语义分割结果；如果所述有效体素块细分后下一体素块粒度大于所述粒度阈值，则根据所述下一体素块特征和下一分割点云特征，得到新下一分割点云；直至所述有效体素块细分后的新下一体素块的粒度小于等于所述粒度阈值，则将所述新下一分割点云添加语义标签作为场景语义分割结果。本发明专利技术实施例在场景不同粒度下有足够上下文信息进行整合，减少计算复杂度。计算复杂度。计算复杂度。
【技术实现步骤摘要】
一种场景语义分割方法、装置、电子设备
[0001]本专利技术实施例涉及计算机技术，尤其涉及种场景语义分割方法、装置、电子设备。
技术介绍
[0002]随着自动驾驶、机器人、虚拟现实等
的发展，对三维数据的处理与理解的要求逐渐提高。与已经取得很大成功的二维图像处理与理解不同，三维数据由于本身不具有二维图像有效的正则化的格点表达形式，给卷积神经网络的直接应用带来了很大的不便。
[0003]现有的技术手段主要有基于点的多层感知机或卷积网络的方法、基于图的方法以及基于体素的方法等。而处于室外大场景的三维数据的语义理解对这个问题提出了新的挑战，百万乃至上亿级别的点云数量要求处理方法需要拥有良好的计算复杂度，可以层级化的理解场景中不同尺度大小的对象。基于点的多层感知机方法起源于PointNet，可以有效的对目标点云形成特征表达。
[0004]但其全局池化操作不利于有效利用上下文信息，改进的多种点卷积方法存在K近邻查找和连续值卷积核计算的复杂度高等问题，且降采样时容易导致小目标物体难以被识别。基于图的方法将场景预分割为点集并构建超点图，利用图网络等方式进行处理，在超点图构建上复杂度高。基于体素的方法将场景离散化为体素表征，但是随着分辨率的提高，体素数量呈三次增长，巨量的存储和计算量使其不利于直接应用在大场景的大量级点云处理中。
技术实现思路
[0005]本专利技术提供一种图像处理方法、装置、电子设备，以实现精细结构不同的采样粒度的下拥有足够的上下文信息进行信息整合，减少计算的复杂度。
[0006]第一方面，本专利技术实施例提供了一种场景语义分割方法，该包括：如果场景原始点云对应体素块的粒度大于粒度阈值，则根据所述体素块特征和原始点云特征，得到下一分割点云；如果所述体素块中有效体素块细分后的下一体素块的粒度小于等于所述粒度阈值，则将所述下一分割点云添加语义标签作为场景语义分割结果；如果所述体素块中有效体素块细分后的下一体素块的粒度大于所述粒度阈值，则根据所述下一体素块特征和下一分割点云特征，得到新下一分割点云；直至所述下一体素块中有效体素块细分后的新下一体素块的粒度小于等于所述粒度阈值，则将所述新下一分割点云添加语义标签作为场景语义分割结果。
[0007]进一步的，所述如果场景原始点云对应体素块的粒度大于粒度阈值，则根据所述体素块特征和原始点云特征，得到下一分割点云，包括：如果场景原始点云对应体素块的粒度大于粒度阈值，则所述体素块体素化后进行稀疏卷积得到所述体素特征叠加在所述原始点云经多层感知机得到所述原始点云特征上，得到
下一分割点云。
[0008]进一步的，所述如果所述体素块中有效体素块细分后的下一体素块的粒度小于等于所述粒度阈值，则将所述下一分割点云添加语义标签作为场景语义分割结果之前，包括：将所述下一体素块对应点云输入语义复杂度预测网络，得到所述下一体素块的复杂度；如果所述下一体素块的复杂度小于预设复杂度阈值，则将所述下一体素块添加无效标签；如果所述下一体素块的复杂度大于预设复杂度阈值，则将所述下一体素块添加有效标签。
[0009]进一步的，所述如果所述体素块中有效体素块细分后的下一体素块的粒度小于等于所述粒度阈值，则将所述下一分割点云添加语义标签作为场景语义分割结果，包括：如果所述下一体素块的粒度小于等于所述粒度阈值，则根据所述下一分割点云确定所述下一分割点云对应的特征向量；将所述特征向量输入语义标签模型，添加所述下一分割点的语义标签并将所述下一分割点云添加语义标签作为所述场景语义分割结果。
[0010]进一步的，所述语义标签模型，包括：将历史场景点云特征及所述历史场景点云的语义类别数量输入所述多层感知机，得到所述历史场景点云对应的特征向量；根据所述历史场景点云对应的特征向量及历史场景点云真实语义标签输入深度学习语义标签网络进行训练，直至所述深度学习语义标签网络收敛，得到语义标签模型。
[0011]进一步的，所述如果所述体素块中有效体素块细分后的下一体素块的粒度大于所述粒度阈值，则根据所述下一体素块特征和下一分割点云特征，得到新下一分割点云；直至所述下一体素块中有效体素块细分后的新下一体素块的粒度小于等于所述粒度阈值，则将所述新下一分割点云添加语义标签作为场景语义分割结果，包括：如果所述体素块中有效体素块细分后的所述下一体素块的粒度大于所述粒度阈值，则所述下一体素块体素化后进行稀疏卷积得到所述体素特征叠加在所述下一分割点云经所述多层感知机得到所述下一分割点云特征上，得到新下一分割点云；如果所述下一体素块中有效体素块细分的新下一体素块的粒度小于等于所述粒度阈值，则将所述新下一分割点云添加语义标签作为场景语义分割结果；如果所述下一体素块中有效体素块细分的新下一体素块的粒度大于所述粒度阈值，则将所述新下一体素特征和新下一分割点云特征，得到新新下一分割点云；直至所述新下一体素块中有效体素块细分后的新新下一体素块的粒度小于等于所述粒度阈值，则将所述新新下一分割点云语义添加语义标签作为场景语义分割结果。
[0012]进一步的，所述体素块体素化后进行稀疏卷积得到所述体素特征叠加在所述原始点云经多层感知机得到所述原始点云特征上，得到下一分割点云，包括：将所述体素特征与所述原始点云特征经去体素化叠加，得到所述下一分割点云。
[0013]第二方面，本专利技术实施例还提供了一种场景语义分割装置，该装置包括：点云确定模块，用于如果场景原始点云对应体素块的粒度大于粒度阈值，则根据所述体素块特征和原始点云特征，得到下一分割点云；
标签添加模块，用于如果所述体素块中有效体素块细分后的下一体素块的粒度小于等于所述粒度阈值，则将所述下一分割点云添加语义标签作为场景语义分割结果；结果输出模块，用于如果所述体素块中有效体素块细分后的下一体素块的粒度大于所述粒度阈值，则根据所述下一体素块特征和下一分割点云特征，得到新下一分割点云；直至所述下一体素块中有效体素块细分后的新下一体素块的粒度小于等于所述粒度阈值，则将所述新下一分割点云添加语义标签作为场景语义分割结果。
[0014]第三方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的场景语义分割方法。
[0015]第四方面，一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述的场景语义分割方法。
[0016]本专利技术通过如果场景原始点云对应体素块的粒度大于粒度阈值，则根据所述体素块特征和原始点云特征，得到下一分割点云；如果所述有效体素块细分后下一体素块粒度小于等于所述粒度阈值，则根据所述下一分割点云添加语义标签作为场景语义分割结果；如果所述有效体素块细分后下一体素块粒度大于所述粒度阈值，则根据所述下一体素块特征和下一分割点云特征，得到新下一分割点云；直至所述有效体素块细分后的新下一体素块的粒度小于等于所述粒度阈值，则将所述新下一分割点云添加语义标签作为场本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种场景语义分割方法，其特征在于，包括：如果场景原始点云对应体素块的粒度大于粒度阈值，则根据所述体素块特征和原始点云特征，得到下一分割点云；如果所述体素块中有效体素块细分后的下一体素块的粒度小于等于所述粒度阈值，则将所述下一分割点云添加语义标签作为场景语义分割结果；如果所述体素块中有效体素块细分后的下一体素块的粒度大于所述粒度阈值，则根据所述下一体素块特征和下一分割点云特征，得到新下一分割点云；直至所述下一体素块中有效体素块细分后的新下一体素块的粒度小于等于所述粒度阈值，则将所述新下一分割点云添加语义标签作为场景语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述如果场景原始点云对应体素块的粒度大于粒度阈值，则根据所述体素块特征和原始点云特征，得到下一分割点云，包括：如果场景原始点云对应体素块的粒度大于粒度阈值，则所述体素块体素化后进行稀疏卷积得到所述体素特征叠加在所述原始点云经多层感知机得到所述原始点云特征上，得到下一分割点云。3.根据权利要求1所述的方法，其特征在于，所述如果所述体素块中有效体素块细分后的下一体素块的粒度小于等于所述粒度阈值，则将所述下一分割点云添加语义标签作为场景语义分割结果之前，包括：将所述下一体素块对应点云输入语义复杂度预测网络，得到所述下一体素块的复杂度；如果所述下一体素块的复杂度小于预设复杂度阈值，则将所述下一体素块添加无效标签；如果所述下一体素块的复杂度大于预设复杂度阈值，则将所述下一体素块添加有效标签。4.根据权利要求1所述的方法，其特征在于，所述如果所述体素块中有效体素块细分后的下一体素块的粒度小于等于所述粒度阈值，则将所述下一分割点云添加语义标签作为场景语义分割结果，包括：如果所述下一体素块的粒度小于等于所述粒度阈值，则根据所述下一分割点云确定所述下一分割点云对应的特征向量；将所述特征向量输入语义标签模型，添加所述下一分割点的语义标签并将所述下一分割点云添加语义标签作为所述场景语义分割结果。5.根据权利要求4所述的方法，其特征在于，所述语义标签模型，包括：将历史场景点云特征及所述历史场景点云的语义类别数量输入所述多层感知机，得到所述历史场景点云对应的特征向量；根据所述历史场景点云对应的特征向量及历史场景点云真实语义标签输入深度学习语义标签网络进行训练，直至所述深度学习语义标签网络收敛，得到语义标签模型。6.根据权利要求...
【专利技术属性】
技术研发人员：方璐，季梦奇，毛适，王生进，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。