【技术实现步骤摘要】
本专利技术涉及点云数据处理，更具体的说是涉及一种基于深度学习的点云全景分割方法及系统。
技术介绍
1、在计算机视觉领域，语义分割和实例分割是两个非常重要的任务，语义分割为图像中的每个像素分配一个语义类别标签，从而将图像划分为不同的语义区域，而实例分割将同一类物体中的不同实例进行区分，为每个属于同一类的物体实例分配一个唯一的标识符。全景分割是语义分割和实例分割融合的结果，能够同时为一个像素分配其所述类别和所述实例物体。全景分割在智能城市、医疗保健、计算机视觉以及遥感应用等不同研究领域发挥着重要作用。用于图像的全景分割算法已经十分成熟，除了图像之外，对于三维点云数据的全景分割也十分重要，尤其是在自动驾驶等领域，相较于二维图像，三维点云数据能够反映复杂场景的空间信息，对于复杂空间场景识别的帮助更大，然而，三维点云数据同时也具有无序性、无结构性等特点，传统的图像全景分割算法并不能够直接应用于三维点云数据。因此，如何提供一种基于深度学习的点云全景分割方法及系统是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于深度学习的点云全景分割方法及系统，直接对点云数据进行语义分割和全景分割，将分割结果融合后得到全景分割结果，能够适用于大规模场景的点云全景分割，分割结果准确率高。
2、为了实现上述目的，本专利技术提供如下技术方案：
3、一种基于深度学习的点云全景分割方法，包括以下步骤：
4、s1、采集目标场景的点云数据；
6、s3、分别将增强后的点云数据输入语义特征提取模块和实例特征提取模块提取对应的特征；
7、s4、分别通过输入语义分割模块和实例分割模块对提取的特征进行语义分割和实例分割；
8、s5、融合语义分割结果和实例分割结果，得到全景分割结果。
9、可选的，s2中的数据增强模块将点云中每个点在一定半径范围内的其他领域点的原始特征聚集，得到该点的上下文特征，将该点的上下文特征与原始特征融合，得到该点的增强特征，其中，原始特征包括点的坐标、颜色和法线。
10、可选的，语义特征提取模块包括下采样单元、特征聚合单元、上采样单元和特征提取单元；下采样单元通过随机采样减少输入点云的数量，特征聚合单元增加点云的特征维数，上采样单元通过最近邻插值对点特征集进行上采样得到上采样特征，特征提取单元将上采样特征拼接得到语义特征。
11、可选的，s4中的语义分割模块对所有点云数据的语义特征进行分类，得到语义分割结果，确认点云中每个点所属的物体类别。
12、可选的，实例特征提取模块包括下采样特征提取单元、上采样特征传播单元和方向编码单元，下采样特征提取单元将输入的点云数据进行下采样后输出初步特征，上采样特征传播单元通过插值对初步特征进行上采样，方向编码单元对下采样特征提取单元、上采样特征传播单元的输出进行方向编码，使输出特征具有空间信息。
13、可选的，s4中的实例分割模块包括相似度单元、置信度单元和分割单元；相似度单元基于输入的特征得到特征矩阵，基于特征矩阵计算得到相似矩阵后，将点云分为多个候选实例分割组；置信度单元基于输入的特征得到置信度矩阵，基于置信度矩阵判断对应的相似矩阵中的候选实例分割组的置信度，当候选实例分割组置信度小于预设值时，将该候选实例分割组删除；分割单元将置信度单元筛选后的候选实例分割组中的点聚类为完整的实例物体，得到每个点对应的实例分割结果。
14、可选的，s5具体为：语义分割结果为点云数据中的每个点的语义标签，实例分割结果为点云数据中的每个点的实例标签，分别将每个点对应的语义标签和实例标签添加到点中，生成全景分割结果。
15、一种基于深度学习的点云全景分割系统，应用上述任一项所述的一种基于深度学习的点云全景分割方法，包括数据采集模块、数据增强模块、语义特征提取模块、实例特征提取模块、语义分割模块、实例分割模块和全景融合模块；数据采集模块，与数据增强模块连接，用于采集目标场景的点云数据；数据增强模块，分别与语义特征提取模块、实例特征提取模块连接，用于对进行点云数据进行增强；语义特征提取模块，与语义分割模块连接，用于提取点云数据的特征；实例特征提取模块，与实例分割模块连接，用于提取点云数据的特征；语义分割模块，与全景融合模块连接，用于对特征进行语义分割；实例分割模块，与全景融合模块连接，用于对特征进行实例分割；全景融合模块，用于融合语义分割结果和实例分割结果。
16、经由上述的技术方案可知，与现有技术相比，本专利技术提供了一种基于深度学习的点云全景分割方法及系统，具有以下有益效果：本专利技术分别进行语义分割和实例分割所需的特征提取，使得分割结果更加准确；通过对输入点云数据进行随机采样处理，在不丢失特征的前提下完成大规模场景的点云数据全景分割，保证了分割结果的准确率；通过设置置信度单元对实例分割的聚类组进行筛选，提高了分割结果的准确性。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的点云全景分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的点云全景分割方法，其特征在于，S2中的数据增强模块将点云中每个点在一定半径范围内的其他领域点的原始特征聚集，得到该点的上下文特征，将该点的上下文特征与原始特征融合，得到该点的增强特征，其中，原始特征包括点的坐标、颜色和法线。
3.根据权利要求1所述的一种基于深度学习的点云全景分割方法，其特征在于，语义特征提取模块包括下采样单元、特征聚合单元、上采样单元和特征提取单元；下采样单元通过随机采样减少输入点云的数量，特征聚合单元增加点云的特征维数，上采样单元通过最近邻插值对点特征集进行上采样得到上采样特征，特征提取单元将上采样特征拼接得到语义特征。
4.根据权利要求3所述的一种基于深度学习的点云全景分割方法，其特征在于，S4中的语义分割模块对所有点云数据的语义特征进行分类，得到语义分割结果，确认点云中每个点所属的物体类别。
5.根据权利要求1所述的一种基于深度学习的点云全景分割方法，其特征在于，实例特征提取模块包括下采样特征提取单元
6.根据权利要求5所述的一种基于深度学习的点云全景分割方法，其特征在于，S4中的实例分割模块包括相似度单元、置信度单元和分割单元；相似度单元基于输入的特征得到特征矩阵，基于特征矩阵计算得到相似矩阵后，将点云分为多个候选实例分割组；置信度单元基于输入的特征得到置信度矩阵，基于置信度矩阵判断对应的相似矩阵中的候选实例分割组的置信度，当候选实例分割组置信度小于预设值时，将该候选实例分割组删除；分割单元将置信度单元筛选后的候选实例分割组中的点聚类为完整的实例物体，得到每个点对应的实例分割结果。
7.根据权利要求1所述的一种基于深度学习的点云全景分割方法，其特征在于，S5具体为：语义分割结果为点云数据中的每个点的语义标签，实例分割结果为点云数据中的每个点的实例标签，分别将每个点对应的语义标签和实例标签添加到点中，生成全景分割结果。
8.一种基于深度学习的点云全景分割系统，其特征在于，应用权利要求1-7任一项所述的一种基于深度学习的点云全景分割方法，包括数据采集模块、数据增强模块、语义特征提取模块、实例特征提取模块、语义分割模块、实例分割模块和全景融合模块；数据采集模块，与数据增强模块连接，用于采集目标场景的点云数据；数据增强模块，分别与语义特征提取模块、实例特征提取模块连接，用于对进行点云数据进行增强；语义特征提取模块，与语义分割模块连接，用于提取点云数据的特征；实例特征提取模块，与实例分割模块连接，用于提取点云数据的特征；语义分割模块，与全景融合模块连接，用于对特征进行语义分割；实例分割模块，与全景融合模块连接，用于对特征进行实例分割；全景融合模块，用于融合语义分割结果和实例分割结果。
...【技术特征摘要】
1.一种基于深度学习的点云全景分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的点云全景分割方法，其特征在于，s2中的数据增强模块将点云中每个点在一定半径范围内的其他领域点的原始特征聚集，得到该点的上下文特征，将该点的上下文特征与原始特征融合，得到该点的增强特征，其中，原始特征包括点的坐标、颜色和法线。
3.根据权利要求1所述的一种基于深度学习的点云全景分割方法，其特征在于，语义特征提取模块包括下采样单元、特征聚合单元、上采样单元和特征提取单元；下采样单元通过随机采样减少输入点云的数量，特征聚合单元增加点云的特征维数，上采样单元通过最近邻插值对点特征集进行上采样得到上采样特征，特征提取单元将上采样特征拼接得到语义特征。
4.根据权利要求3所述的一种基于深度学习的点云全景分割方法，其特征在于，s4中的语义分割模块对所有点云数据的语义特征进行分类，得到语义分割结果，确认点云中每个点所属的物体类别。
5.根据权利要求1所述的一种基于深度学习的点云全景分割方法，其特征在于，实例特征提取模块包括下采样特征提取单元、上采样特征传播单元和方向编码单元，下采样特征提取单元将输入的点云数据进行下采样后输出初步特征，上采样特征传播单元通过插值对初步特征进行上采样，方向编码单元对下采样特征提取单元、上采样特征传播单元的输出进行方向编码，使输出特征具有空间信息。
6.根据权利要求5所述的一种基于深度学习的点云全景分割方法，其特征在于，s4中的实例分割...
【专利技术属性】
技术研发人员：王波，陈宗仁，余君，
申请(专利权)人：广东科学技术职业学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。