【技术实现步骤摘要】
一种基于多视角的大豆植株三维重建与形状分析方法
[0001]本专利技术属于三维图形重建及大豆植株分析的
，具体涉及一种基于多视角的大豆植株三维重建与形状分析方法。
技术介绍
[0002]尽管大豆品种的生产潜力受多方面因素的影响，但其中理想的株型结构(如株高、节数、叶柄长度及夹角、叶面积、朝向及叶子空间分布等)起着决定性作用，水稻、小麦和玉米等作物通过株型改良大幅度提高产量是成功的例子。随着人工成本增加、规模化标准化的高密度种植、以及对育种研发周期降低的实际需求，使得通过自动优化植株三维形态结构设计理想株型预测模型，以培育高产品种变得必要且迫切。为此，如何对大豆植株的三维形态结构、重要器官、器官之间的关联等内容精准建模与自动定量分析显得尤为重要，同时对大豆植株精准化管理、指导大豆分支设计育种等具有重要意义。
[0003]以往的植物形态信息主要依靠目测或者其他人工测量方法，存在主观性强、误差大、测量速度慢等不足。近年来，随着采集设备和深度学习的迅猛发展，各种粒度的三维植被建模任务，如大型树木的真实感重建、花草叶子重构、小型农作物生长模拟等取得了长足发展；植被三维重建作为机器视觉领域的一项关键任务，成为现实世界场景三维数字化不可或缺的一部分，长期以来受到学界和工业界广泛关注。
[0004]现有的植被三维重建方法包括基于模型重建、基于图像重建、基于激光扫描重建等方法。基于模型的重建方法主要是利用植物的主要器官特征形态变化和拓扑结构演变，提取出植株的生长过程规律，最终动态模拟植物结构形态变化的建模方法，但...
【技术保护点】
【技术特征摘要】
1.基于多视角的大豆植株三维重建与形状分析方法，其特征在于，包括下述步骤：设计并搭建封闭式豆株立体扫描仪，拍摄指定角度的大豆植株图片并记录每张图片的角度，得到豆株初始数据集；对豆株初始数据集进行数据预处理，得到优化数据集；采用SFM算法和MVS算法进行三维重建，从优化数据集中获取豆株稠密点云，通过点云分割算法从豆株稠密点云中提取豆株的株型结构数据，并使用泊松重建算法测量大豆叶的表型数据；基于豆株稠密点云及豆株的株型结果数据，构建三维模型数据库及豆株特征数据库，并提供API接口，用于数据下载及查询。2.根据权利要求1所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述封闭式豆株立体扫描仪包括光度传感器、温湿度传感器、红外传感器、LED光源、雾化转置、旋转转盘、相机、遮光布、陀螺仪、可调相机支架、LED屏幕、转盘控制器、主控制器、扫描仪支架、无线传输模块、及转盘支撑架；所述主控制器包括电源输入、降压模块、单片机、光源控制电路、无线传输电路、屏幕控制电路、控制继电器、温湿度控制电路、光度控制电路、串口及交互按键；所述主控制器的单片机通过引脚分别与主控器的电源输入、降压模块、光源控制电路、无线传输电路、屏幕控制电路、控制继电器、温湿度控制电路、光度控制电路、串口及交互按键进行连接；所述主控制器的光源控制电路与LED光源进行连接；所述主控制器的屏幕控制电路与LED屏幕进行连接；所述主控制器的控制继电器分别与旋转转盘和雾化装置进行连接；所述主控制器的温湿度控制电路与温湿度传感器进行连接；所述主控制器的光度控制电路与光度传感器进行连接；所述主控制器的无线传输电路与无线传输模块进行连接；所述转盘控制器包括电源输入、降压模块、单片机、无线传输电路、串口、红外控制电路、陀螺仪控制电路和一路继电器；所述转盘控制器的单片机通过引脚分别与转盘控制器的电源输入、降压模块、无线传输电路、串口、红外控制电路、陀螺仪控制电路和一路继电器进行连接；所述转盘控制器的红外控制电路与红外传感器进行连接；所述转盘控制器的陀螺仪控制电路与陀螺仪进行连接；所述转盘控制器的一路继电器与相机进行连接；所述转盘控制器的无线传输电路与无线模块进行连接；所述主控制器置于扫描仪支架上；所述光度传感器、温湿度传感器、LED光源和雾化装置设置于扫描仪支架的顶部；所述相机可拆卸安装于可调相机支架上；所述旋转转盘固定安装于转盘支撑架上；所述主控制器通过无线传输模块与转盘控制器无线连接，进行通信；所述可调相机支架、LED屏幕、红外传感器、转盘控制器、陀螺仪和无线传输模块均置于旋转转盘上；所述遮光布覆盖于扫描仪支架上，用于遮蔽封闭式豆株立体扫描仪；所述主控制器用于控制封闭式豆株立体扫描仪的开始与停止；所述光度传感器用于检测封闭式豆株立体扫描仪内部的亮度；所述温湿度传感器用于实时监测封闭式豆株立体扫描仪内部的温度和湿度；所述LED光源用于调节封闭式豆株立体扫描仪内部的亮度；所述雾化装置用于调节封闭式豆株立体扫描仪内部的温度和湿度；所述主控制器的控制继电器用于控制旋转转盘和雾化装置；所述交互按键通过无线传输模块控制旋转转盘复位和停止；
所述LED屏幕用于显示温度、湿度、亮度和陀螺仪信息；所述红外传感器用于检测旋转转盘位置；所述一路继电器用于控制旋转转盘和相机；所述陀螺仪用于获取旋转转盘的偏航角姿态信息。3.根据权利要求2所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述得到豆株初始数据集，具体为：拍摄前，将大豆植株放置于旋转转盘上，打开主控制器开关，封闭式豆株立体扫描仪通过主控制器的单片机采集温湿度传感器信息来判断当前扫描环境的温度和湿度是否在豆株生长的适宜范围，若当前扫描环境温度或湿度超过豆株生长的适宜温湿度，则主控制器的单片机通过控制继电器来控制雾化装置来调节温度和湿度；若调节后检测到当前扫描环境的温度和湿度在适宜范围内，则控制雾化装置停止工作；接着使用光度传感器来检测当前扫描环境的亮度，若当前扫描环境的亮度超过或低于豆株生长的适宜亮度范围时，主控制器的单片机通过光源控制电路来控制LED光源的亮度，使每次扫描环境的光照强度保持一致；当扫描环境的湿度、温度和光度符合要求时，接通转盘控制器；转盘控制器的一路继电器控制旋转转盘开始转动，若转盘控制器接收到主控制器的拍照指令，则转盘控制器的一路继电器使旋转转盘停止转动，再控制相机进行拍照，得到豆株初始数据集。4.根据权利要求3所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述对豆株初始数据集进行数据预处理，得到优化数据集，具体为：使用二阶的泰勒展开式描述优化数据集中豆株图像的径向畸变，表示为：其中，是畸变矫正前的像素坐标，(x
c
,y
c
)表示在理想情况下无畸变时的像素坐标，k1和k2为径向畸变系数；在考虑径向畸变情况下，由于定义的像素坐标系原点与图像坐标系原点不重合，假设像素坐标系原点在图像坐标系下的坐标为(u0,v0)，每个像素点在图像坐标系x轴、y轴方向的尺寸为：d
x
、d
y
，且像素点在实际图像坐标系下的坐标为于是可得到像素点在像素坐标系下的坐标为：进一步转化为：同理，在理想情况下即无径向畸变现象下，豆株图像中该点在矫正后像素坐标系下的坐标表示为：
其中，(u,v)表示在无畸变情况下该像素点在像素坐标系下的坐标；将式(3)和式(4)带入式(1)，得到理想情况下与径向畸变情况下的对应关系，表示为：对式(4)使用最小二乘法估计得到径向畸变系数k1、k2；依据求取的径向畸变系数，对采集到的豆株初始数据集进行径向畸变的矫正，得到优化后的数据集：其中，P
′
表示豆株初始数据集中豆株图像的像素矩阵，P表示优化后的图像数据集。5.根据权利要求4所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述采用SFM算法和MVS算法进行三维重建，从优化数据集中获取豆株稠密点云，具体为：首先使用SFM算法来获取豆株的稀疏点云，包括：
①
使用SIFT算法从优化数据集的每幅图像中检测特征点，获得特征点集；
②
在特征点集中选择特征点匹配对数最多的相邻两幅图像作为初始图像对，利用RANSAC算法计算初始图像对的基础矩阵、相机参数和投影矩阵，重建已匹配特征点并进行集束调整；加入新的图像，将匹配质量高的图像连接起来，构建一个图像连接图；
③
得到图像连接图之后选取初始两帧图像的一对视角进行重建，根据初始两帧图像获取Tracks并对Tracks滤波，通过三角量测来计算初始的三维点坐标，并进行捆绑调整优化当前的相机姿态和三维点坐标；所述视角选取时，要求初始两帧图像的匹配点足够多且基线足够长；
④
得到优化的相机姿态和三维点坐标后，进行Tracks重建，利用PnP获取更多相机姿态，新建Tracks并对Tracks进行滤波，在添加新图像时进行捆绑调整优化，得到豆株稀疏点云；接着使用MVS算法来获取豆株稠密点云，包括：
①
为每一幅豆株稀疏点云选择邻域图像构成立体图像对，利用邻域图像来进行深度重建；
②
计算每幅豆株稀疏点云的深度图，再进行深度图融合，获得豆株稠密点云。6.根据权利要求5所述的基于多视角的大豆植株三维重建与形状分析方法，其特征在于，所述利用RANSAC算法计算初始图像对的基础矩阵，具体为：
①
从初始图像对中随机采取8对匹配点并且利用8点法来求解基础矩阵F；
②
利用获得的基础矩阵来计算每对匹配点的误差，结合Sampson distance来判断匹配点是否是内点，公式为：d(x1,x2)<τ
ꢀꢀꢀꢀ
(5)其中，(x1,x2)表示图像对中对应的匹配点，d(x1,x2)表示图像对的相似性，τ表示设定的
阈值，F表示基...
【专利技术属性】
技术研发人员：郑朱茵，肖冬冬，高月芳，陈湘骥，杨存义，邬锡权，徐继琛，曾小婷，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。