一种基于旋转视角智能规划的植株叶片三维重建方法技术

本发明专利技术涉及一种基于旋转视角智能规划的植株叶片三维重建方法，通过非接触式、无破坏性对植株叶片进行三维重建，针对当前植株三维重建遮挡严重以及多视角采集图像信息，旋转角度固定仍无法拍摄到完整植株导致数据处理误差累积，重建结果不准确等问题，采用对旋转拍摄视角进行智能规划引导，减少不必要的图像拍摄以及处理大量数据，实现植株的准确重建。同时本方法所需设备简单，抗干扰能力强，智能化拍摄多视角图像，植株重建模型精度高，有效提高植株表型参数测量的准确性。高植株表型参数测量的准确性。高植株表型参数测量的准确性。

【技术实现步骤摘要】
一种基于旋转视角智能规划的植株叶片三维重建方法


[0001]本专利技术涉及一种基于旋转视角智能规划的植株叶片三维重建方法，属于农业植株三维表型重建


技术介绍

[0002]近年来，虚拟现实技术在医学、军事航天、农业等领域都有重要的应用前景。特别地，虚拟农业已经成为我国农业发展的一个重要趋势。植株三维重建结果可提供高度、宽度、叶片倾角、叶面积、冠层体积等三维表型信息，不但反映作物内在的基因特性，也反映生长环境及田间管理对其影响作用。植株三维表型重建对植株育种选型、田间作物生长管理、虚拟可视化等方面有重要意义。传统的植株三维表型信息主要依靠人工测量来获取，耗时、耗力且结果不精确。通过构建植株的三维模型可以快速、精确、高效的获取植株表型信息。
[0003]植株三维重建一般采用基于运动恢复结构的方法，利用相机采集静止植株不同视角的彩色图像，通过提取图像特征点以及特征匹配后，结合捆绑调整优化，获得植株三维空间结构数据。由于涉及特征提取、匹配、优化等技术实现环节，导致运算量大，重建效率低。RGBD深度相机是一种同时提供了彩色图像和深度图像的性价比高的三维传感器，通过主动投射红外散斑图案至被测对象上，左右两个相机构成双目立体成像系统，在获得匹配散斑特征点的基础上，可实现散斑所在点的三维坐标重建。采用主动式投射结构光的技术方案，具有抗干扰能力强、稳定性高、重建速度快等优点，已在目标抓取、三维导航、三维重建等领域得到广泛应用。通过旋转待测对象，获得不同视角的点云数据，进而拼接融合成完整点云模型，是目前普遍采用的技术方案。针对叶片不同大小、位置、朝向等多样化情况，通过采集一定旋转角度间隔的序列图像以解决叶片多样化带来的重建挑战问题，涉及大量点云数据的处理，具有盲目性。同时，在采集点云数据时，为保证重建准确度，需尽量保证光轴与叶片法线方向重合，以获得充分的点云数据。为保证点云采集的完整性，减少三维重建过程中视角采集数量，提高视角采集的针对性，提高重建效率和性能，本专利技术提出基于旋转视角智能规划的植株叶片三维重建方法，可用于植株三维表型解析和评价。

技术实现思路

[0004]为了克服现有研究的不足，本专利技术提供了一种基于旋转视角智能规划的植株叶片三维重建方法。
[0005]一种基于旋转视角智能规划的植株叶片三维重建方法的具体步骤如下：
[0006]步骤一：旋转台转轴标定。
[0007]棋盘格标定板与转轴一定夹角倾斜放置在旋转台上；
[0008]电脑控制转台控制器，在相机可见视场范围内，每间隔5
°
旋转，在每个角度处利用深度相机采集标定板的彩色图像和深度图像。
[0009]利用MATLAB软件中Stereo Camera Calibration对采集的标定板彩色图像进行标定处理
[0010]不同角度的标定板上角点坐标拟合成圆，对所有圆心利用最小二乘法拟合成直线，获得转轴在深度相机中RGB相机坐标系下的标定结果。
[0011]步骤二：植株叶片实例分割
[0012]选择一个初始视角，利用深度相机采集初始视角待重建植株的彩色图和深度图。
[0013]基于彩色图进行分割，用Mask RCNN算法分割植株图像，得到每片叶片的分割结果及其掩膜，进而结合深度图像，生成初始视角叶片点云集，并对初始视角叶片进行编号。
[0014]步骤三：旋转视角智能规划
[0015]计算每片叶片法向量与光轴的夹角β，同时将该角度标记在对应叶片编号下。若0
°
≤β≤10
°
，在当前视角重建该叶片。对剩余叶片法向量与光轴的夹角β按顺时针方向进行升序排列。首先对夹角β最小的叶片进行视角规划，引导转台旋转β
°
得到该叶片最佳拍摄视角的点云数据。
[0016]在新视角继续对植株叶片进行分割，将视角下叶片点云旋转统一到初始视角坐标系下，计算当前视角叶片点云中心与初始视角已标记的叶片点云中心的距离L，若L≤1cm，则叶片便是初始视角已标记的叶片，否则为未标记的新叶片并对其编号进行视角规划。计算叶片法向量与光轴的夹角β，同样选择该视角下夹角β最小的叶片进行视角规划。重复步骤实现对所有待重建叶片最佳拍摄视角的智能规划。
[0017]步骤四：点云拼接融合。
[0018]根据步骤一标定的旋转轴，将不同视角下的待重建叶片点云旋转到同一坐标系下，即初始视角坐标系下，统一叶片点云。
[0019]步骤五：叶片三维重建。
[0020]对叶片点云去噪，利用贝塞尔曲线对叶片点云进行曲面拟合，获得完整的叶片曲面，最后纹理映射得到完整植株叶片模型。
[0021]植株因其结构复杂、叶片遮挡严重等导致模型重建困难、精度不高，目前利用多视角实现重建在一定程度上解决遮挡问题，但多视角采集的图像，数据量大且不是每个视角采集的信息有用，造成信息冗余，在进行点云拼接配准过程中误差会不断累积导致重建模型精度不高。旋转视角智能规划可避免多余视角图像采集，数据量小且能有效解决叶片遮挡问题，重建模型精度高。
[0022]与现有技术相比，本专利技术的有益效果在于：
[0023]本专利技术采用一种基于旋转视角智能规划的植株三维表型重建方法，通过非接触式、无破坏性对植株叶片进行三维重建，针对当前植株三维重建遮挡严重以及多视角采集图像信息，旋转角度固定仍无法拍摄到完整植株导致数据处理误差累积，重建结果不准确等问题，采用对旋转拍摄视角进行智能规划引导，减少不必要的图像拍摄以及处理大量数据，实现植株的准确重建。同时本方法所需设备简单，抗干扰能力强，智能化拍摄多视角图像，植株重建模型精度高，有效提高植株表型参数测量的准确性。
附图说明
[0024]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
[0025]图1为本专利技术基于旋转视角智能规划的植株叶片三维重建方法的装置示意图；
[0026]图2为本专利技术的流程图；
[0027]图3是本专利技术旋转视角智能规划的流程图；
[0028]图4是本专利技术视角规划的示意图；
[0029]图5是本专利技术纹理映射最终植物重建模型结果。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]如图1所示，旋转台固定，待测植株放置在旋转台上，根据深度相机的工作距离，相机固定在植株一定距离处，电脑与转台控制器和深度相机连接，控制转台旋转，采集标定板和植株的彩色图像和深度图像。
[0032本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于旋转视角智能规划的植株叶片三维重建方法，包括用于放置待测植株的旋转台、转台控制器、固定在所述待测植株一侧的深度相机和电脑，所述转台控制器、深度相机与电脑相连，其特征在于：包括以下步骤：步骤一：进行旋转轴标定，根据标定的旋转轴，将多个视角的植株拼接统一到同一个坐标系下；步骤二：分割叶片获取叶片点云数据：选择一个初始视角，利用深度相机采集初始视角待重建植株的彩色图和深度图，用MaskRCNN算法分割植株图像，得到每片叶片的分割结果及其掩膜，进而结合深度图像，生成初始视角叶片点云集，并对初始视角叶片进行编号；步骤三：旋转视角规划；步骤四：点云拼接融合：根据步骤一标定的旋转轴，将不同视角下的待重建叶片点云旋转到同一坐标系下，即初始视角坐标系下，统一叶片点云；步骤五：植株三维重建：对叶片点云去噪，利用贝塞尔曲线对叶片点云进行曲面拟合，获得完整的叶片曲面，最后纹理映射得到完整植株叶片模型。2.根据权利要求1所述的一种基于旋转视角智能规划的植株叶片三维重建方法，其特征在于：所述步骤一具体包括：S1.1：固定深度相机，将棋盘格标定板固定在旋转台上，在相机可见视场范围内，每间隔5
°
转动旋转台，相机采集不同位置、不同角度的标定板彩色图像和深度图像；S1.2：将标定板的彩色图像导入，删除不清晰的彩色图像，后进行标定处理；S1.3：拟合圆：利用标定板上45个图像角点，选择四个旋转位置拟合圆，对45个圆心利用最小二乘法拟合成直线，获得转轴在深度相机中RGB相机坐标系下的标定结果。3.根据权利要求1所述的一种基于旋转视角智能规划的植株叶片三维重建方法，其特征在于：所述步骤S1.3具体包括：S1.3.1：计算平面法向量，所有离散点尽可能在一个平面上，平面方程可表示为：ax+by+cz
‑
1＝0(1)写成矩阵形式MA＝L1，式中：A＝[abc]
T
L1＝[111]
T
根据最小二乘法，可以求出平面法向量A＝M
‑1L1(2)S1.3.2：求圆心：设圆心C(x0,y0,z0),取任意两点P1(x1,y1,z1)与P2(x2,y2,z2)，则P1和P2连线的向量V1(x2‑
x1,y2‑
y1,z2‑
z1)，圆心C与P
12
连线向量V1*V2＝0所有的点都在圆上，则有BC＝L2(3)式中：
其中：Δx
12
＝x2‑
x1,Δy
12
＝y2‑
y1,Δz
12
＝z2‑
z1，由于圆心必在平面内，满足A
T
C＝1(4)A是平面的法向量，通过构建在(4)式约束下的最优化问题来求解(3)式，即f(C)＝||BC
‑
L2||2+λ(AC
‑
1)(5)λ为拉格朗日乘子，对f(C)关于C与λ求导，并令导数为0，得到此圆心坐标C为通过圆拟合获得的45个圆心理论上在一条直线上即旋转轴上，对圆心用最小二乘法进行直线拟合，获得转轴在深度相机中RGB相机坐标系下的标定结果。4.根据权利要求1所述的一种基于旋转视角智能规划的植株叶片三维重建方法，其特征在于：所述步骤二具体包括：选择一个初始视角，利用深度相机采集初始视角待重建植...

【专利技术属性】
技术研发人员：陈庆光，刘双，黄沈涛，钟明伟，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：