一种基于三维点云的油菜表型参数提取方法及系统技术方案

本发明专利技术提供一种基于三维点云的油菜表型参数提取方法及系统，涉及农作物表型参数提取技术领域，为解决现有方法难以从单片叶片器官水平对植物的表型参数进行有效提取的问题。本发明专利技术方法包括如下步骤：S1、采集油菜多角度图像，构建油菜图像数据集；S2、对所述油菜图像数据集中的图像进行三维重建，得到油菜点云数据集，对所述点云数据集中的点云进行预处理；S3、对预处理的油菜点云点进行语义分割，得到油菜的叶、茎和底部的点云，筛选出叶片点云，通过边缘滤波去除叶片间的连接点，再通过聚类算法进行单片叶片的实例分割；S4、对油菜的表型参数进行提取。本发明专利技术可实现油菜单片叶片器官水平的点云分割，得到的油菜表型参数结果具有较高的准确性。的准确性。的准确性。

【技术实现步骤摘要】
一种基于三维点云的油菜表型参数提取方法及系统


[0001]本专利技术涉及农作物表型参数提取
，具体而言，涉及一种基于三维点云的油菜表型参数提取方法及系统。

技术介绍

[0002]植物表型是对复杂植物性状的综合评估，对于生长、发育、结构、产量以及构成更复杂性状基础的单个定量参数的基本测量是获取植物表型的重要手段之一。农作物的形状(作物高度、叶面积等)作为植物表型的重要因素之一，既反应了作物本身的性状也反映了环境因素(温度、湿度等)。如何以非破坏的方法获取形状表型参数一直是植物表型学面临的重大挑战。随着计算机视觉技术和光学传感系统的快速发展，研究者们已经接近利用技术手段弥合的方式再现整个植物系统，通过多种数据分析方法获取植物表型参数并在整个过程中不对植物产生破坏。
[0003]由于二维图像方法从特定角度对物体进行观察，而且缺乏深度信息，通常用于处理单子叶或叶片较少的植物。对于叶片数量多、叶片重叠区域大的植株不能准确描述其完整结构，导致测量表型性状的统计结果不可靠。采用三维图像进行作物表型分析，主要依赖于对植株进行三维重建。当前基于三维图像的植物表型研究是通过深度图、点云、体素、网格这四种常见的三维重建表达方式来进行的，虽然实现了通过分析植物的点云数据来提取表型特征，但是并没有直接消耗点云数据。计算量的增大和适应性不强的瓶颈也限制了植物表型学的发展。
[0004]将直接消耗点云数据的深度学习方法引入到处理植物的三维点云数据和表型提取中无疑是具有挑战性的。点云数据具有无序性和旋转不变性，同时，虽然点云数据中包含了颜色信息，但针对植物这种以绿色为主，各器官颜色分界仍然不清晰，导致难以从植物器官水平的对植物点云进行分割。

技术实现思路

[0005]本专利技术要解决的技术问题是：
[0006]现有的方法针对以绿色为主、各器官颜色分界不清晰的植物，难以从单片叶片器官水平对植物的表型参数进行有效提取的问题。
[0007]本专利技术为解决上述技术问题所采用的技术方案：
[0008]本专利技术提供了一种基于三维点云的油菜表型参数提取方法，包括如下步骤：
[0009]S1、采集油菜多角度图像，构建油菜图像数据集；
[0010]S2、对所述油菜图像数据集中的图像进行三维重建，得到油菜点云数据集，对所述点云数据集中的点云进行预处理；
[0011]S3、对预处理的油菜点云点进行语义分割，得到油菜的叶、茎和底部的点云，基于语义分割后的油菜叶片颜色的特征筛选出叶片点云，通过边缘滤波去除叶片间的连接点，消除叶片之间的点云噪声，再通过聚类算法进行单片叶片的实例分割；
[0012]S4、对油菜的表型参数进行提取。
[0013]进一步地，所述采集油菜多角度图像包括采集油菜周向多角度的油菜图像，且每个角度下采集平视、俯视和仰视三个视角下的油菜图像。
[0014]进一步地，S2中基于运动结构方法SFM进行三维重建，首先选取一部分图像进行特征点的提取与匹配，匹配结果一般存在许多误差，使用KNN算法寻找与该特征最匹配的2个特征，若第一个特征的匹配距离与第二个特征的匹配距离之比小于预设阈值，就接受该匹配，否则视为误匹配，得到点云数据，将点云的坐标转换到世界坐标系，依次执行上述操作至所有图像全部计算完成，得到完整油菜的三维点云。
[0015]进一步地，S2中所述点云进行预处理的过程为：首先采用半径滤波器和统计滤波器去除离散点云噪声，然后进行下采样操作和添加高斯噪声操作进行数据扩充和增强。
[0016]进一步地，S3中采用PointNet++对油菜点云进行语义分割，包括：
[0017]首先，通过抽象层(Set Abstraction Layer)，在每一层中对点云进行采样，得到新的点集；包括：
[0018](1)输入点云集合(Point Cloud Set)，由三维空间中的点组成；
[0019](2)将输入点云集合划分为多个球形区域，球形区域的半径为radius；
[0020](3)对每个球形区域执行以下步骤：a.从球形区域内的点中选择一个代表性的点作为新的点集中的中心点；b.使用球形区域内的点与中心点之间的相对位置信息对球形区域内的点进行编码；c.使用一个MLP(Multi
‑
Layer Perceptron)对球形区域内的点进行特征提取；d.将球形区域内的点进行池化(max pooling)操作，得到一个固定长度的特征向量表示；e.将特征向量和中心点的特征向量拼接在一起，形成新的点集；
[0021](4)重复步骤(2)和(3)，直到达到设定的分层次数；
[0022]其次，通过特征提取层(Feature Propagation Layer)将采样后的点集的特征传递给原始点集，从而获得每个点的特征信息；
[0023]再次，通过多尺度分组层(Multi
‑
scale Grouping)将不同尺度的特征进行聚合，得到更为全面的特征表示；
[0024]最后，通过多层感知机将点云的特征映射到更高维的空间，从而得到分割的油菜点云。
[0025]进一步地，S3中所述通过聚类算法进行单片叶片的实例分割，具体采用DBscan聚类算法，将去除叶片间的连接点的叶片点云输入所述DBscan聚类算法中，进行两次迭代计算，得到单片叶片的实例。
[0026]进一步地，S4所述表型参数包括株高、叶片数、叶片长度、叶片宽度和叶面积。
[0027]进一步地，通过叶片长度所在相对应的轴上测量最大值点与最小值点的欧式距离计算叶长，同样的，通过叶片宽度所在相对应的轴上测得最大值点与最小值点的欧式距离计算叶宽，即
[0028][0029][0030]其中，p
i
和p
j
分别表示长度对应轴上第i个点和第j个点，p
l
和p
r
分别表示宽度对应轴上的第l个点和第r个点；
[0031]采用三角形网格法测量叶面积，即
[0032][0033]其中，和分别表示第i个三角形的AB和AC边的向量，通过和所构成的向量的叉积的模长求取叶面积；
[0034]以油菜的底部基准计算缩放比例，即
[0035][0036]其中，r代表真实点云和重建点云之间的缩放比例，h
real
是指油菜底座的真实高度，h
reconstructed
是指油菜底座重建后的高度；
[0037]通过缩放比例，将得到的表型参数转化为油菜表型参数的真实值。
[0038]一种基于三维点云的油菜表型参数提取系统，该系统具有与上述技术方案任一项技术方案的步骤对应的程序模块，运行时执行上述的基于三维点云的油菜表型参数提取方法中的步骤。
[0039]一种基于三维点云的油菜表型参数提取装置，该装置包括旋转底座、深度相机、补光灯、黑色遮光布和电脑，所述旋转底座用于放置油菜，通过旋转底座转动调节油菜的周向角度，通过深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维点云的油菜表型参数提取方法，其特征在于，包括如下步骤：S1、采集油菜多角度图像，构建油菜图像数据集；S2、对所述油菜图像数据集中的图像进行三维重建，得到油菜点云数据集，对所述点云数据集中的点云进行预处理；S3、对预处理的油菜点云点进行语义分割，得到油菜的叶、茎和底部的点云，基于语义分割后的油菜叶片颜色的特征筛选出叶片点云，通过边缘滤波去除叶片间的连接点，消除叶片之间的点云噪声，再通过聚类算法进行单片叶片的实例分割；S4、对油菜的表型参数进行提取。2.根据权利要求1所述的基于三维点云的油菜表型参数提取方法，其特征在于，所述采集油菜多角度图像包括采集油菜周向多角度的油菜图像，且每个角度下采集平视、俯视和仰视三个视角下的油菜图像。3.根据权利要求1所述的基于三维点云的油菜表型参数提取方法，其特征在于，S2中基于运动结构方法SFM进行三维重建，首先选取一部分图像进行特征点的提取与匹配，匹配结果一般存在许多误差，使用KNN算法寻找与该特征最匹配的2个特征，若第一个特征的匹配距离与第二个特征的匹配距离之比小于预设阈值，就接受该匹配，否则视为误匹配，得到点云数据，将点云的坐标转换到世界坐标系，依次执行上述操作至所有图像全部计算完成，得到完整油菜的三维点云。4.根据权利要求3所述的基于三维点云的油菜表型参数提取方法，其特征在于，S2中所述点云进行预处理的过程为：首先采用半径滤波器和统计滤波器去除离散点云噪声，然后进行下采样操作和添加高斯噪声操作进行数据扩充和增强。5.根据权利要求1所述的基于三维点云的油菜表型参数提取方法，其特征在于，S3中采用PointNet++对油菜点云进行语义分割，包括：首先，通过抽象层(Set Abstraction Layer)，在每一层中对点云进行采样，得到新的点集；包括：(1)输入点云集合(Point Cloud Set)，由三维空间中的点组成；(2)将输入点云集合划分为多个球形区域，球形区域的半径为radius；(3)对每个球形区域执行以下步骤：a.从球形区域内的点中选择一个代表性的点作为新的点集中的中心点；b.使用球形区域内的点与中心点之间的相对位置信息对球形区域内的点进行编码；c.使用一个MLP(Multi
‑
Layer Perceptron)对球形区域内的点进行特征提取；d.将球形区域内的点进行池化(max pooling)操作，得到一个固定长度的特征向量表示；e.将特征向量和中心点的特征向量拼接在一起，形成新的点集；(4)重复步骤(2)和(3)，直到达到...

【专利技术属性】
技术研发人员：张喜海，郭锐超，孟繁峰，龚鑫晶，朱家喜，张茹雯，
申请(专利权)人：东北农业大学，
类型：发明
国别省市：