本发明专利技术属于森林点云分割技术领域，公开了一种基于深度学习的三维点云树木结构分割方法及系统，获取森林点云数据的数据集，按照一定比例划分为训练集、验证集、测试集；使用多尺度采样方法对数据集采样并建立投影，采样后的数据构成新的数据集；配置网络运行环境，并使用新数据集中的训练集和验证集进行网络的训练；测试集使用训练好的网络进行预测，并使用投影信息将数据集的标签投影到原始点云中，进行结果的可视化，实现整个点云的树木结构分割。本发明专利技术能够实现数据采集和点云分割的无缝集成；对树枝点有着极好的识别效果，识别的覆盖度遥遥领先；不仅能够识别出一级枝、还能识别出二级枝。
【技术实现步骤摘要】
本专利技术属于森林点云分割，尤其涉及一种基于深度学习的三维点云树木结构分割方法及系统。
技术介绍
1、林业调查为了有效管理和保护森林资源、了解生态系统的健康状况，迫切需要在森林中准确分割和识别树木结构。传统的林业调查方法往往是人工密集性工作，存在着成本高、耗时久、样本数量少等问题。近年来，三维激光扫描技术所收集的激光点云数据可以快速、准确地获取大面积森林的三维空间结构，在林业调查中崭露头角。然而，三维激光扫描技术所获取的点云是离散的、无序的、不规则的，无法直接提供有效的森林参数。对森林点云数据进行精准分割具有极其重要的意义与价值，是提高林业调查效率和精度的关键问题。
2、三维森林点云分割方法的研究起源于木叶分离，即从整个点云场景中，将木质部分与树叶部分分割出来。在传统木叶分离研究中，点云数据的处理多依赖于几何特征，数据类型通常为单木点云数据或是环境简单的多木数据。其中，最短路径算法是木叶分离有效且常用的算法之一。然而，森林环境复杂，点云数据在采集过程中易受到树荫遮蔽而出现缺失，这使得利用单一树木特征进行提取和分离枝叶的方法，难以适用于区域性森林场景。因此，基于机器学习和基于深度学习的算法得到了研究。其中，机器学习算法中的随机森林、支持向量机、图论等理论被广泛应用。然而，机器学习算法依旧离不开人工特征选择。受益于计算机性能的提高，深度学习方法逐渐展示出令人惊叹的表现。深度学习通过构建含有多隐层的机器学习架构模型，对大规模数据进行训练，得到大量更具代表性的特征信息，从而对样本进行分类和预测，提高分类和预测的精度。
3、目前，现有的基于深度学习的森林点云分割方法存在以下几个问题：(1)数据集获取困难。复杂的树木结构与森林环境使其在准确识别和标记树木各成分上充满了挑战，从而阻碍了森林点云高质量标记数据集的获取。现有的方法多采用树级数据集(即每个点云为一颗树)。相比于场景级数据集(即每个点云为一片森林场景)，该数据集更为简单、数据量少。但是在实际应用中，需要先从整个点云场景中提取单颗树木，再进行分割，这不利于现场数据采集与点云分割的无缝集成。(2)现有的深度学习语义分割算法的研究主要依赖于城市点云数据集。相比于森林点云数据，城市点云数据表现出更少的复杂性和不规则性，这种差异在树枝中尤为明显。
4、通过上述分析，现有技术存在的问题及缺陷为：受限于森林点云数据集，已有的基于深度学习的语义分割算法在复杂森林环境中进行树木结构分割的潜力尚未被充分挖掘。考虑实际应用需求，该方法应适用于场景级点云数据以实现现场采集与结构分割的无缝集成，且针对森林中较为重要的树枝类别有所优化。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种基于深度学习的三维点云树木结构分割方法及系统。
2、本专利技术是这样实现的，一种基于深度学习的三维点云树木结构分割方法，被称之为多尺度空间增强网络(multi-scale spatially enhanced network,msse-net)。msse-net是一种端到端网络，拥有编码器-解码器的架构。该专利技术的网络重点关注复杂特征，优化空间意识，从而提高分割的准确性，对于三维点云树木结构能实现更为精细的分割效果。该专利技术的网络在采样过程中引入多尺度融合，以减轻边缘点的丢失并增加小样本点的数量，从而提高准确性，而不增加计算开销。该专利技术的网络提出了一个特征提取模块单元，用于从点云数据中提取特征。该模块中，该专利技术在距离加权中引入位置编码，执行了位置和特征编码的交叉融合，同时应用多头注意池化来提取和聚合特征。
3、进一步，所述实现树木结构分割的方法，包括以下步骤包括以下步骤：
4、步骤一，获取森林点云数据的数据集，按照一定比例划分为训练集、验证集、测试集；
5、步骤二，使用多尺度采样方法对数据集采样并建立投影，采样后的数据构成新的数据集；
6、步骤三，配置网络运行环境，并使用新数据集中的训练集和验证集进行网络的训练；
7、步骤四，测试集使用训练好的网络进行预测，并使用投影信息将数据集的标签投影到原始点云中，进行结果的可视化，实现整个点云的树木结构分割。
8、进一步，步骤二中使用多尺度采样方法对数据集采样并建立投影，采样后的数据构成新的数据集的具体方法包括：
9、s21，利用格网g对点云数据进行采样；将整个点云数据划分为不同格网，每个格网保留一个点，该点的坐标为格网内所有点的坐标的重心，标签为格网内类别最多的点的标签；假设获取的采样后的数据为sg，该数据为中心采样数据；
10、s22，用一系列不同大小的格网对点云进行采样；分别使用g/2，2g，4g的格网对点云数据进行采样，最终获得的采样后的数据分别为sg/2，s2g，s4g。
11、该数据为参考采样数据；
12、s23，以中心采样数据sg为核心，将其他的参考采样数据sg/2，s2g，s4g补充到中心采样数据中；将参考采样数据全部插入到中心采样数据中后所获得的数据集称之为多尺度融合点云数据集；
13、s24，利用原始点云数据对多尺度融合点云数据集进行最近邻索引，并记录原始点云数据中每个点在融合数据集中最近的坐标作为其投影以辅助数据还原。
14、进一步，s23中将其他的参考采样数据补充到中心采样数据中的规则为，针对参考采样数据中的每个点，搜索中心采样数据中与该点所在位置最近的点，并与之相比较；如果两个点的距离大于一定阈值，则将参考采样数据中的点补充到中心采样数据中；如果两个点的标签不一样，同样将其补充进去；除此之外一律丢弃。
15、进一步，步骤三中网络的特征提取模块用于捕获和聚合相邻点的位置和特征信息，使用特征聚集单元和多头注意力池化单元通过有效的编码和表示，显式地将周围点的几何和分布特性嵌入到每个点中。
16、进一步，步骤三中网络的特征聚集模块用于聚集每个点的空间与特征信息，信息主要从该点的近邻点中获取；聚集方法包括：基于点向l2距离(欧氏距离)，利用k近邻算法获取k个近邻点及其点特征；利用该点及其k个近邻点进行空间编码与特征编码，随后将空间编码与特征编码进行交叉融合，聚合为该点的一个特征向量。
17、进一步，在空间编码中，使用该点(后续称之为原点)与其近邻点的x-y-z坐标，对位置相关信息进行了编码；空间编码包括：l1距离(曼哈顿距离)、l2距离(欧氏距离)、原点和近邻点的x-y-z坐标，以及原点与近邻点之间的相对坐标；公式表达如下：
18、
19、其中，pi是原点i的x-y-z坐标；是第k个近邻点j的x-y-z的坐标；⊕是串联操作；||·||1计算l1距离；||·||2计算l2距离。
20、利用一个函数g()对空间编码向量进行加权；权重函数如下：
21、
22、其中，lk是原点与第k个近邻点的l2距离；li_max是原点与所有近邻点的最大l2距离。权重值限制在(0，0.5)范围内；相本文档来自技高网
...
【技术保护点】
1.一种基于深度学习的三维点云树木结构分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于深度学习的三维点云树木结构分割方法，其特征在于，步骤二中使用多尺度采样方法对数据集采样并建立投影，采样后的数据构成新的数据集的具体方法包括：
3.如权利要求2所述的基于深度学习的三维点云树木结构分割方法，其特征在于，S23中将其他的参考采样数据补充到中心采样数据中的规则为，针对参考采样数据中的每个点，搜索中心采样数据中与该点所在位置最近的点，并与之相比较；如果两个点的距离大于一定阈值，则将参考采样数据中的点补充到中心采样数据中；如果两个点的标签不一样，同样将其补充进去；除此之外一律丢弃。
4.如权利要求1所述的基于深度学习的三维点云树木结构分割方法，其特征在于，步骤三中网络的特征提取模块用于捕获和聚合相邻点的位置和特征信息，使用特征聚集单元和多头注意力池化单元通过有效的编码和表示，显式地将周围点的几何和分布特性嵌入到每个点中。
5.如权利要求1所述的基于深度学习的三维点云树木结构分割方法，其特征在于，步骤三中网络的特征聚集模块用于聚集每个点的空间与特征信息，信息主要从该点的近邻点中获取；聚集方法包括：基于点向L2距离(欧氏距离)，利用k近邻算法获取k个近邻点及其点特征；利用该点及其k个近邻点进行空间编码与特征编码，随后将空间编码与特征编码进行交叉融合，聚合为该点的一个特征向量。
6.如权利要求5所述的基于深度学习的三维点云树木结构分割方法，其特征在于，在空间编码中，使用该点(后续称之为原点)与其近邻点的x-y-z坐标，对位置相关信息进行了编码；空间编码包括：L1距离(曼哈顿距离)、L2距离(欧氏距离)、原点和近邻点的x-y-z坐标，以及原点与近邻点之间的相对坐标；公式表达如下：
7.如权利要求5所述的基于深度学习的三维点云树木结构分割方法，其特征在于，在特征编码中，使用原点与其近邻点的特征向量，对特征相关信息进行了编码；特征编码为原点的每个近邻点的特征减去原点的特征；特征编码公式表达为：
8.如权利要求5所述的基于深度学习的三维点云树木结构分割方法，其特征在于，交叉融合过程中，将位置编码向量和近邻点特征向量串联起来，将特征编码向量和未加权的位置向量串联起来，之后使用共享的多层感知机将两组向量的维度统一，并串联起来；该过程在数学上公式如下：
9.如权利要求1所述的基于深度学习的三维点云树木结构分割方法，其特征在于，步骤三中网络的多头注意力池化模块位于特征聚集模块之后，用于学习和保留主要特征；通过使用共享的多层感知机来提取向量特征并通过SoftMax函数获得注意力分数；注意力分数的数学表示如下：
10.一种如权利要求1～9任意一项所述的基于深度学习的三维点云树木结构分割方法的基于深度学习的三维点云树木结构分割系统，其特征在于，该系统包括：
...
【技术特征摘要】
1.一种基于深度学习的三维点云树木结构分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于深度学习的三维点云树木结构分割方法，其特征在于，步骤二中使用多尺度采样方法对数据集采样并建立投影，采样后的数据构成新的数据集的具体方法包括：
3.如权利要求2所述的基于深度学习的三维点云树木结构分割方法，其特征在于，s23中将其他的参考采样数据补充到中心采样数据中的规则为，针对参考采样数据中的每个点，搜索中心采样数据中与该点所在位置最近的点，并与之相比较；如果两个点的距离大于一定阈值，则将参考采样数据中的点补充到中心采样数据中；如果两个点的标签不一样，同样将其补充进去；除此之外一律丢弃。
4.如权利要求1所述的基于深度学习的三维点云树木结构分割方法，其特征在于，步骤三中网络的特征提取模块用于捕获和聚合相邻点的位置和特征信息，使用特征聚集单元和多头注意力池化单元通过有效的编码和表示，显式地将周围点的几何和分布特性嵌入到每个点中。
5.如权利要求1所述的基于深度学习的三维点云树木结构分割方法，其特征在于，步骤三中网络的特征聚集模块用于聚集每个点的空间与特征信息，信息主要从该点的近邻点中获取；聚集方法包括：基于点向l2距离(欧氏距离)，利用k近邻算法获取k个近邻点及其点特征；利用该点及其k个近邻点进行空间编码与特征编码，随后将空间编码与特征编码进行交叉融合，聚合为该点的一个特征向量...
【专利技术属性】
技术研发人员：梁欣廉，修田雨，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。