基于自注意力特征融合的带噪植株点云语义分割方法及系统技术方案

本发明专利技术涉及技术领域，公开了基于自注意力特征融合的带噪植株点云语义分割方法及系统；包括以下步骤：S1：获取二维序列图像；S2：根据二维序列图像进行三维重建，获取植株三维点云；S3：对植株三维点云进行预处理和人工标注，获得植株点云数据集；S4：构建基于自注意力特征融合的带噪植株点云语义分割网络，通过植株点云数据集训练所述的带噪植株点云语义分割网络；S5.通过训练好的带噪植株点云语义分割网络对植株点云进行语义分割，得到每个点的预测语义标签。本发明专利技术解决；额现有技术无法分割带有噪声点的植株场景的问题，且具有抗噪声、高通量、高精度的特点。高精度的特点。高精度的特点。

【技术实现步骤摘要】
基于自注意力特征融合的带噪植株点云语义分割方法及系统


[0001]本专利技术涉及植株三维点云分割
，更具体的，涉及基于自注意力特征融合的带噪植株点云语义分割方法及系统。

技术介绍

[0002]近年来，植株表型参数的自动化测量和监测技术被广泛应用于现代农业。植株点云语义分割是植株表型数据测量的关键技术。通过分割出叶片、茎干及其它点云语义标签，可为后续获取植株各项参数、监测植株的生长状况及后续培育方案的调整等提供数据支撑。但是，由于环境光线影响和摄像头视野的限制，通过三维重建得到的植株点云茎干和叶片之间存在很多的噪声点，彼此连续分布在一起，使得传统的茎叶分割方法行不通。目前植株的三维点云器官分割的传统方法有基于区域增长和欧氏距离聚类的分割方法，基于区域增长的分割方法使用邻域信息来将具有相似属性的附近点归类，以获得分割区域，并区分出不同区域之间的差异性，但是该方法在如何准确确定区域边界方面存在问题，对于噪声点非常敏感。基于欧氏距离聚类通常需要认为的设置分割阈值，分割阈值的精确与否对分割结果的影响很大，该方法同样对噪声点非常敏感。
[0003]深度学习技术凭借出色的数据表征学习能力和强大的通用性，在农业领域也有着广泛的应用。根据处理方法的不同，基于深度学习的3D点云语义分割方法可以分为基于投影的、基于离散化的和直接基于点的方法。基于投影的方法将3D点云投影到多个2D视角，利用先进的图像分割算法分割后融合不同视角的分数得出结论。但该方法对视角选择和遮挡很敏感，投影步骤容易导致信息损失。基于离散化的方法将无序的点云转换为规范化的离散表示，利用3D卷积进行体素分割，该方法很保留了3D点云的邻域结构，但其复杂的数据结构导致内存的计算成本很大。而直接基于点云的方法将原始点云数据作为输入，充分保留点云的空间位置和多维特征信息，虽然基于点的深度学习发展迅速，如PointNet、PointNet++、DGCNN、PointWeb等，但在植物分割方面的研究缺寥寥无几。
[0004]现有一种植物三维点云分割方法及系统，使用的点云是不带噪声点的干净点云，尽管可实现植物植株中茎秆、叶片、雄穗和雌穗器官的三维点云分割，器官距离非常近乃至挨在一起的情况下，也能进行高精度的分割。
[0005]然而现有技术存在无法分割带有噪声点的植株场景的问题，因此，如何提供一种可以分割带有噪声点的植株场景的植株点云分割方法成为本领域技术人员急需解决的问题。

技术实现思路

[0006]本专利技术为了解决现有技术无法分割带有噪声点的植株场景的问题，提供了基于自注意力特征融合的带噪植株点云语义分割方法及系统，其具有抗噪声、高通量、高精度的特点。
[0007]为实现上述本专利技术目的，采用的技术方案如下：
[0008]基于自注意力特征融合的带噪植株点云语义分割方法，包括以下步骤：
[0009]S1：获取二维序列图像；
[0010]S2：根据二维序列图像进行三维重建，获取植株三维点云；
[0011]S3：对植株三维点云进行预处理和人工标注，获得植株点云数据集；
[0012]S4：构建基于自注意力特征融合的带噪植株点云语义分割网络，通过植株点云数据集训练所述的带噪植株点云语义分割网络；
[0013]S5.通过训练好的带噪植株点云语义分割网络对植株点云进行语义分割，得到每个点的预测语义标签。
[0014]优选的，所述的步骤S2中，根据二维序列图像进行三维重建，获取植株三维点云，具体步骤为：
[0015]S201.利用尺度不变特征变换算法在二维序列图像的图像尺度空间中寻找极值点，检测潜在的特征点，并选择最稳健的点作为最终特征点；
[0016]S202.引入K维空间二叉树kd
‑
tree模型，通过kd
‑
tree模型计算二维序列图像的任意两张图像组成的图像对的最终特征点之间的欧氏距离得到其匹配度，通过匹配度的高低决定匹配点，并计算图像对的最终特征点点间对应关系和相机在三维空间中的相机姿态；
[0017]S203.通过三角测量原理将图像对的相机姿态与其最终特征点对求解得到三维坐标，从而生成三维稀疏点云；
[0018]S204.利用多视角立体集群算法对二维序列图像聚簇，然后用多视角拼接算法扩充稀疏点云得到稠密点云作为最终的植株三维点云。
[0019]进一步的，所述的步骤S3中，对植株三维点云进行预处理，具体为：对植株三维点云依次进行点云下采样、颜色阈值分割和噪声点去除：
[0020]对植株三维点云进行点云下采样时，采用三维体素栅格法，通过输入的点云数据创建一个三维体素栅格；在三维体素栅格的每个体素内，用体素中所有点的重心来近似显示体素中其他点，将该体素内所有点用一个重心点表示，对所有体素块处理后得到过滤后的点云，完成下采样；
[0021]对完成点云下采样的植株三维点云，根据不同点云颜色RGB值的不同，手动调整出适合的参数阈值，保留植株三维点云中的植株，过滤植株三维点云中的背景和泥土；
[0022]对完成颜色阈值分割的植株三维点云，采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，得到完成预处理的植株三维点云。
[0023]更进一步的，采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，具体为：
[0024]遍历植株三维点云中所有点，计算每个点与最近K个邻居的平均距离d
ij
；
[0025]计算出所有这些点距离的均值μ与标准差σ，来确定距离阈值；
[0026]手动设置邻居点数，指定在计算给定点的平均距离时要考虑的相邻要素数；手动设置标准差，指定点云中平均距离的标准偏差设置阈值水平；
[0027]定义两点间的距离超过阈值的为噪声点，并通过噪声点的移除公式移除噪声点：
[0028][0029][0030]更进一步的，所述的步骤S3中，人工标注，具体为：
[0031]对于完成预处理的植株三维点云中存在的和叶片、茎干连续分布在一起的噪声点，通过cloudcompare软件人工分割出不同的语义分割标签类别，并为每个点打上标签，获得植株点云数据集。
[0032]更进一步的，所述的带噪植株点云语义分割网络采用编码器解码器结构，包括4个自注意力特征融合模块、2个共享的完全连接层、3个上采样层；
[0033]带噪植株点云语义分割网络通过4个自注意力特征融合模块得到多层次的编码特征；将得到的特征通过3个上采样层进行逐层解码，没上采样层通过最近邻插值算法对输入的点云数据集点中的特征进行上采样，并利用跳跃连接与对应维度的编码层中间特征进行拼接；2个共享的完全连接层分别为dropout层和Log
‑
SoftMax层；拼接后的点云依次通过dropout层和Log
‑
SoftMax层，获得点云数据集中所有点的预测语义。
[0034]更进一步的，自注意力特征融合模块包括下采样模块、局部特征融合模块、双分支注意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：包括以下步骤：S1：获取二维序列图像；S2：根据二维序列图像进行三维重建，获取植株三维点云；S3：对植株三维点云进行预处理和人工标注，获得植株点云数据集；S4：构建基于自注意力特征融合的带噪植株点云语义分割网络，通过植株点云数据集训练所述的带噪植株点云语义分割网络；S5.通过训练好的带噪植株点云语义分割网络对植株点云进行语义分割，得到每个点的预测语义标签。2.根据权利要求1所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：所述的步骤S2中，根据二维序列图像进行三维重建，获取植株三维点云，具体步骤为：S201.利用尺度不变特征变换算法在二维序列图像的图像尺度空间中寻找极值点，检测潜在的特征点，并选择最稳健的点作为最终特征点；S202.引入K维空间二叉树kd
‑
tree模型，通过kd
‑
tree模型计算二维序列图像的任意两张图像组成的图像对的最终特征点之间的欧氏距离得到其匹配度，通过匹配度的高低决定匹配点，并计算图像对的最终特征点点间对应关系和相机在三维空间中的相机姿态；S203.通过三角测量原理将图像对的相机姿态与其最终特征点对求解得到三维坐标，从而生成三维稀疏点云；S204.利用多视角立体集群算法对二维序列图像聚簇，然后用多视角拼接算法扩充稀疏点云得到稠密点云作为最终的植株三维点云。3.根据权利要求1所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：所述的步骤S3中，对植株三维点云进行预处理，具体为：对植株三维点云依次进行点云下采样、颜色阈值分割和噪声点去除：对植株三维点云进行点云下采样时，采用三维体素栅格法，通过输入的点云数据创建一个三维体素栅格；在三维体素栅格的每个体素内，用体素中所有点的重心来近似显示体素中其他点，将该体素内所有点用一个重心点表示，对所有体素块处理后得到过滤后的点云，完成下采样；对完成点云下采样的植株三维点云，根据不同点云颜色RGB值的不同，手动调整出适合的参数阈值，保留植株三维点云中的植株，过滤植株三维点云中的背景和泥土；对完成颜色阈值分割的植株三维点云，采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，得到完成预处理的植株三维点云。4.根据权利要求3所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，具体为：遍历植株三维点云中所有点，计算每个点与最近K个邻居的平均距离d
ij
；计算出所有这些点距离的均值μ与标准差σ，来确定距离阈值；手动设置邻居点数，指定在计算给定点的平均距离时要考虑的相邻要素数；手动设置标准差，指定点云中平均距离的标准偏差设置阈值水平；定义两点间的距离超过阈值的为噪声点，并通过噪声点的移除公式移除噪声点：
5.根据权利要求3所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：所述的步骤S3中，人工标注，具体为：对于完成预处理的植株三维点云中存在的和叶片、茎干连续分布在一起的噪声点，通过cloudcompare软件人工分割出不同的语义分割标签类别，并为每个点打上标签，获得植株点云数据集。6.根据权利要求1所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：所述的带噪植株点云语义分割网络采用编码器解码器结构，包括4个自注意力特征融合模块、2个共享的完全连接层、3个上采样层；带噪植株点云语义分割网络通过4个自注意力特征融合模块得到多层次的编码特征；将得到的特征通过3个上采样层进行逐层解码，没上采样层通过最近邻插值算法对输入的点云数据集点中的特征进行上采样，并利用跳跃连接与对应维度的编码层中间特征进行拼接；2个共享的完全连接层分别为dropout层和Log
‑
SoftMa...

【专利技术属性】
技术研发人员：曾安，陈扬，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：