一种基于实例嵌入与语义融合的三维点云场景分割方法技术

本发明专利技术公开了一种基于实例嵌入与语义融合的三维点云场景分割方法，属于图像处理技术领域。本发明专利技术针对基于深度学习的三维场景分割方法存在的技术问题，提出了一种基于实例嵌入与语义融合的三维点云场景分割方法。首先进行点云映射及特征扩展，然后进行深度神经网络模型设置及训练，并基于训练好的神经网络实现三维场景的分割处理。同时，还引入新的CRF进行分割结果优化。本发明专利技术基于三维点云的几何特性，所提取的各特征向量除去点云基本信息之外，通过三维点云的每个点的本地与邻域属性，扩展了一系列新的属性来描述三维点云的特性：散射性、线性、平面性和垂直性，提升分割性能；并基于所引入的新的CRF函数模型进一步提升对三维点云场景的分割性能。

【技术实现步骤摘要】
一种基于实例嵌入与语义融合的三维点云场景分割方法
本专利技术属于图像处理
，具体涉及三维点云场景实例分割与语义分割相结合的三维场景分割技术。
技术介绍
随着低成本的3D传感器(如Kinect)和光场摄像机的日益普及，开启了许多基于3D的应用，如自动驾驶、机器人、移动导航、虚拟现实和3D游戏。三维点云的自动理解、分割识别已成为计算机图形学重要的研究分支，当前很多研究都在致力于该领域，并取得了许多成果。比如：在自动驾驶上，三维点云分割技术对场景的处理、理解、识别等提供了很多实时辅助，帮助驾驶系统更快速准确的规划路径方案及把握突发情况。三维数据与二维图片数据在数据采集、数据处理、几何特征、数据特性等方面都有较大的不同。图片数据通常表示为二维矩阵数据格式(例如RGBpixelarray)，三维数据具有更高的复杂性，有多种表达形式。常见的三维数据分为三种：(1)三维点云数据，由深度传感器或机载雷达扫描得到的深度数据；(2)三维mesh数据，由一组三角面片组成的三维数据，比较适合做数据建模与渲染；(3)三维栅格数据，将一个场景根据设置的分辨率本文档来自技高网...

【技术保护点】
1.基于实例嵌入与语义融合的三维点云场景分割方法，其特征在于，包括下列步骤：/n步骤1、点云映射及特征提取：/n步骤101：将三维点云空间划分为体素空间，从而得到多个体素块；并将同一体素块内的所有点云的位置属性的均值作为映射后的新的点云位置属性；/n步骤102：提取映射后的各点云的特征向量：/n基于预置的邻域范围，计算每个邻域位置的三维位置坐标的协方差矩阵的特征值，并降序排列得到：对于每个邻域，计算邻域的三维位置坐标的协方差矩阵的特征值，并降序排列，得到λ

【技术特征摘要】
1.基于实例嵌入与语义融合的三维点云场景分割方法，其特征在于，包括下列步骤：
步骤1、点云映射及特征提取：
步骤101：将三维点云空间划分为体素空间，从而得到多个体素块；并将同一体素块内的所有点云的位置属性的均值作为映射后的新的点云位置属性；
步骤102：提取映射后的各点云的特征向量：
基于预置的邻域范围，计算每个邻域位置的三维位置坐标的协方差矩阵的特征值，并降序排列得到：对于每个邻域，计算邻域的三维位置坐标的协方差矩阵的特征值，并降序排列，得到λ1≥λ2≥λ3；
计算各邻域位置的本征熵并取本征熵E最小的邻域作为最优邻域；其中，参数
基于最优邻域的特征值λ1、λ2、λ3计算每个点云的属性特征，并连同点云的颜色和三维位置坐标得到各点云的特征向量；
其中，属性特征包括：散射性S、线性L、平面性P和垂直性V，分别为：

uj表示特征值λj的特征向量，ω表示权重；
步骤2、设置并训练三维点云的分类分割网络：
所述分类分割网络包括：第一位置变换网络、第一多层感知器、第二位置变换网络、第二多层感知器、最大池化层、第三多层感知器、第四多层感知器和第五多层感知器；
其中，第一位置变换网络和第二位置变换网络用于对输入的点云进行几何位置变换；
第一多层感知器和第二多层感知器用于对输入的点云进行高纬空间映射处理；
分类分割网络的输入为步骤1得到的点云的特征向量依次经第一位置变换网络、第一多层感知器、第二位置变换网络、第二多层感知器和最大池化层后，得到全局特征图；
将全局特征图与第二位置变换网络后的特征图进行特征拼接，再输入第三多层感知器；
第三多层感知器用于对输入的特征图进行降维处理，降维...

【专利技术属性】
技术研发人员：饶云波，张孟涵，王艺霖，薛俊民，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51