基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法技术

本发明专利技术公开了一种基于MRE

【技术实现步骤摘要】
基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法


[0001]本专利技术涉及参数方程建模、深度学习领域、尤其是植物表型参数估测分析与预训练模型构建，具体是一种基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法。

技术介绍

[0002]植物表型是指受基因和环境决定或影响的复杂植物性状，包括生长、发育、耐性、抗性、生理、结构、产量等。植物叶片是植物外在形态的重要组成部分，同时也是植物进行生理功能运作的主要器官。叶片几何参数不仅是植物生长发育、产量形成和品种特性的重要指标，也是对作物进行合理栽培管理以及病虫害发生检测的重要数据支撑，因此准确的测量叶片的长、宽、叶面积等几何参数，对了解作物生长状况及指导作物育种、栽培等方面具有重要的意义。
[0003]传统的接触式手工测量方法存在操作繁琐、效率低、误差较大的缺点，伴随着硬件技术的不断突破，非接触式测量方法的研究得到快速的发展，其中基于图像的表型特征提取方法和基于点云的三维建模和测量方法吸引了越来越多的人的研究。
[0004]文献《基于机器视觉的温室大枣表型特征测量》([J].江苏农业科学,2018,46(6):182-184.DOI:10.15889/j.issn.1002-1302.2018.06.047)采用非接触式的视觉图像处理技术对大枣的表型参数进行提取。
[0005]文献《基于计算机视觉的玉米果穗三维重建方法》([J].农业机械学报,2014,45(9):274-279,253.DOI:10.6041/j.issn.1000-1298.2014.09.044)采用双目立体视觉技术，以图像方法重建玉米果穗三维造型并进行可视化输出，并对果穗三维形态进行测量比较，但人工进行相机的标定比较复杂。
[0006]文献《基于多视角立体视觉的植株三维重建与精度评估》([J].农业工程学报,2015(11):209-214.DOI:10.11975/j.issn.1002-6819.2015.11.030)采用运动恢复结构(Structure From Motion，SFM)方法和多视角立体视觉(Multiple View Stereo，MVS)方法的结合，基于多角度图像序列对生长前期的植株进行三维重建，对植株叶片进行建模分析并进行三维测量，该方法根据图像序列之间的约束关系建立物体点三维坐标、摄像机参数、图像匹配点之间的大型非线性系统，虽然能够进行相机的自动标定，但是进行迭代求解时需要较大的计算量。
[0007]文献《一种基于图像处理技术的植物形态表型参数获取方法》([J].林业工程学报,1-9[2020-09-20])采用图像分割方法实现簸箕柳与背景环境的分割，结合运动恢复结构算法对分割的二维图像生成三维点云，并利用棋盘格进行坐标系间的距离转换，从而提取簸箕柳的株高、基径、叶面积、分枝数等表型参数。
[0008]文献《基于三维点云的甜菜根表型参数提取与根型判别》([J].农业工程学报,2020,36(10):181-188.DOI:10.11975/j.issn.1002-6819.2020.10.022)采用三维重建的
方法对甜菜根型进行表型数字化处理，并根据提取的表型参数使用支持向量机、决策树、随机森林等预测模型进行根系分类。
[0009]尽管以上的方法可以对植株的外部表型参数进行较为准确的估测，但是无论是相机标定还是迭代计算，亦或是多角度拍摄都需要耗费巨大的时间精力或计算能力。因此更加高效、自动化的植株表型参数获取方法亟需被提出。

技术实现思路

[0010]鉴于以上的问题，本文以长藤绿叶绿萝为研究对象，通过Kinect V2相机对绿萝从单一角度拍摄获取点云数据，采用直通滤波、分割、点云精简算法对数据做预处理，采用参数方程构建绿萝叶片几何模型，并计算几何模型的叶长、叶宽、叶面积。将几何模型离散的点云数据输入多分辨率点云深度学习网络(MRE-PointNet)得到预训练模型，针对叶片遮挡噪声问题，我们通过以几何模型离散的点云数据作为输入经过编码-解码运算得到自编码器的预训练模型，通过自编码器的预训练模型来对输入点云数据进行二次处理降噪，其次，用测得的绿萝叶片外形参数标签对预训练模型(MRE-PointNet)进行参数微调，从而完成对输入绿萝叶片点云数据的外形参数估测。
[0011]技术方案：
[0012]一种基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法，它基于预测模型进行叶片外形参数的估测，所述预测模型的建立包括以下步骤：
[0013]S1、获取绿萝叶片的点云数据以及绿萝叶片的真实数据；
[0014]S2、点云数据预处理；
[0015]S3、绿萝叶片几何模型的构建及几何模型的外部表型参数测量；
[0016]S4、基于自编码模型的点云数据补全；
[0017]S5、基于多分辨率编码点云深度学习网络MRE-PointNet预训练模型进行叶片外形参数的估测；
[0018]S6、基于真实数据对MRE-PointNet预训练模型做模型迁移的参数微调，获得最终的预测模型。
[0019]优选的，S1中使用Kinect V2相机对绿萝从单一角度拍摄，获取叶片的点云数据。
[0020]具体的，以垂直实验台姿态固定为75cm的高度对绿萝冠层表面进行拍摄，获取点云数据，然后将冠层表面叶片离体进行外部表型参数真实值数据的采集，并准备进行下一层绿萝叶片的数据采集。
[0021]优选的，数据预处理包括：
[0022]S2-1、采用直通滤波法去除背景数据；
[0023]S2-2、采用区域增长分割算法对绿萝冠层表面分割成单片叶片；
[0024]S2-3、分割的单片叶片点云采用包围盒算法和迭代最远点采样算法进行精简。
[0025]具体的，基于曲面参数方程进行绿萝叶片几何模型的构建，叶片外形的参数方程Q(u,v)为：
[0026][0027](-0.5≤u≤0.5，0≤v≤1)
[0028]式中，x
Q
：X方向上的参数方程，y
Q
：Y方向上的参数方程，z
Q
：Z方向上的参数方程；
[0029]t
x1
为一个X方向上的叶形干扰函数，t
y1
，t
y2
，t
y3
为3个Y方向上的叶基、叶尖干扰函数，t
y1
为Y方向上叶基的正弦变形函数，t
y2
与t
y3
为Y轴方向上对叶尖两侧的线性变形函数；
[0030][0031]式中：h、b、a
x
、d
y
、a
t
、a
b
、u
t
、u
b
、x
b
、y
b
为参数方程的10个内部模型参数；h：长度系数，b：宽度系数，a本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法，其特征在于它基于预测模型进行叶片外形参数的估测，所述预测模型的建立包括以下步骤：S1、获取绿萝叶片的点云数据以及绿萝叶片的真实数据；S2、点云数据预处理；S3、绿萝叶片几何模型的构建及几何模型的外部表型参数测量；S4、基于自编码模型的点云数据补全；S5、基于多分辨率编码点云深度学习网络MRE-PointNet预训练模型进行叶片外形参数的估测；S6、基于真实数据对MRE-PointNet预训练模型做模型迁移的参数微调，获得最终的预测模型。2.根据权利要求1所述的方法，其特征在于S1中使用Kinect V2相机对绿萝从单一角度拍摄，获取叶片的点云数据。3.根据权利要求2所述的方法，其特征在于以垂直实验台姿态固定为75cm的高度对绿萝冠层表面进行拍摄，获取点云数据，然后将冠层表面叶片离体进行外部表型参数真实值数据的采集，并准备进行下一层绿萝叶片的数据采集。4.根据权利要求1所述的方法，其特征在于数据预处理包括：S2-1、采用直通滤波法去除背景数据；S2-2、采用区域增长分割算法对绿萝冠层表面分割成单片叶片；S2-3、分割的单片叶片点云采用包围盒算法和迭代最远点采样算法进行精简。5.根据权利要求1所述的方法，其特征在于基于曲面参数方程进行绿萝叶片几何模型的构建，叶片外形的参数方程Q(u,v)为：式中，x
Q
：X方向上的参数方程，y
Q
：Y方向上的参数方程，z
Q
：Z方向上的参数方程；t
x1
为一个X方向上的叶形干扰函数，t
y1
，t
y2
...

【专利技术属性】
技术研发人员：王浩云，肖海鸿，徐焕良，王江波，
申请(专利权)人：南京农业大学，
类型：发明
国别省市：