一种植株器官分离方法及系统技术方案

本发明专利技术公开一种植株器官分离方法及系统。该分离方法包括：获取每个摄像机拍摄的待测植株图像；获取每个摄像机视角下的三维点云；将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云；将初始的待测植株三维点云投影至全局坐标系的OXY平面，得到待测植株二维投影点图像；利用植株图像区域分割模型定位二维投影点图像中待测植株的茎干和叶片区域；根据三维点云与全局坐标系中投影点的对应关系，获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域；利用K均值聚类算法进行待测植株的器官点云分割，得到待测植株每个器官对应的三维点云区域。本发明专利技术能够避免数据拼接时出现盲区，提高植株器官分离的精度。

A Method and System for Isolation of Plant Organs

The invention discloses a plant organ separation method and system. The separation method includes: acquiring the image of the plant to be measured from each camera; acquiring the three-dimensional point cloud from each camera perspective; combining all three-dimensional point clouds into the global coordinate system to obtain the initial three-dimensional point cloud of the plant to be measured; projecting the initial three-dimensional point cloud of the plant to the OXY plane of the global coordinate system to obtain the two-dimensional projection point image of the plant to be measured; The plant image region segmentation model locates the stem and leaf regions of the plant to be measured in the two-dimensional projection point image; according to the corresponding relationship between the three-dimensional point cloud and the projection points in the global coordinate system, the stem point cloud and leaf point cloud regions of the plant to be measured in the initial three-dimensional point cloud are obtained; K-means clustering algorithm is used to segment the organ point cloud of the plant to be measured, and each plant to be measured is obtained. Three-dimensional point cloud region corresponding to each organ. The invention can avoid blind areas in data splicing and improve the accuracy of plant organ separation.

【技术实现步骤摘要】
一种植株器官分离方法及系统
本专利技术涉及植物器官分离领域，特别是涉及一种植株器官分离方法及系统。
技术介绍
目前植株的三维扫描与测量都是直接使用点云数据，利用图像软件建模，很少对点云数据进行分类识别，实现植物器官分离。已有文献提出了分别以树冠、枝干、地面为目标的分类方法，主要适用于大范围景物识别，无法实现单木精细植物器官分类。还有文献提出构造散点空间分布特征，使用支持向量机(Supportvectormachine,SVM)对葡萄藤的植物结构进行了分类，但并没有充分考虑叶面与枝干的几何形态特性。也有文献使用的近似支持向量机(ProximalSVM,PSVM)和广义特征值近似支持向量机(PSVMviageneralizadeigenvalues,GEPSVM)两种分类器。还有文献结合叶面与枝干的几何形态特点，考虑流形结构特性，构造局部切平面分布特征，从而组成多维融合特征，以期提高分类效果，但使用方法并没有实现全自动化枝叶分离，前期仍需人工标记部分训练样本，而且训练样本的标定在一定程度上受到人为因素制约，导致分离精度低。
技术实现思路
本专利技术的目的是提供一种植株器官分离方法及系统，以提高植株器官分离的精度，降低分离过程的复杂度。为实现上述目的，本专利技术提供了如下方案：一种植株器官分离方法，所述植株器官分离方法应用于植株器官分离装置，所述植株器官分离装置包括：扫描探头、测试机架、测试平台和计算机；所述扫描探头固定于所述测试机架上，所述测试机架可上下运动；所述测试平台用于承放待测量植株；所述扫描探头用于随着所述测试机架的运动扫描所述待测量植株不同高度的植株图像，并将所述植株图像传输至所述计算机，所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离；所述扫描探头包括多个摄像机和两个线性激光发射器，多个摄像机位于第一水平面，多个所述摄像机等间距分布在虚拟圆弧上；两个所述线性激光发射器位于所述第一水平面下方的第二水平面，两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机；两个所述线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上，所述第三水平面与所述第一水平面和所述第二水平面均平行；多个摄像机的拍摄角度倾斜向下；所述植株器官分离方法包括：获取每个摄像机拍摄的待测植株图像；根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云；将所述初始的待测植株三维点云投影至所述全局坐标系的OXY平面，得到待测植株二维投影点图像；利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域；根据三维点云与所述全局坐标系中投影点的对应关系，获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域；利用K均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割，得到所述待测植株每个器官对应的三维点云区域。可选的，所述获取每个摄像机拍摄的待测植株图像，之前还包括：对每个摄像机的内参和外参进行标定，得到每个摄像机的标定参数；利用全局校准方法，将每个摄像机的局部坐标系统一至全局坐标系下。可选的，所述将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云，具体包括：利用光条骨架的灰度重心法提取激光条纹中心线；根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；利用全局校准方法，将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云。可选的，所述利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域，具体包括：利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注；采用Mask-RCNN深度学习方法进行茎叶区域检测模型训练，利用茎叶区域检测模型检测待测植株二维投影点图像，得到所述待测植株的茎干和叶片区域。一种植株器官分离系统，所述植株器官分离系统应用于植株器官分离装置，所述植株器官分离装置包括：扫描探头、测试机架、测试平台和计算机；所述扫描探头固定于所述测试机架上，所述测试机架可上下运动；所述测试平台用于承放待测量植株；所述扫描探头用于随着所述测试机架的运动扫描所述待测量植株不同高度的植株图像，并将所述植株图像传输至所述计算机，所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离；所述扫描探头包括多个摄像机和两个线性激光发射器，多个摄像机位于第一水平面，多个所述摄像机等间距分布在虚拟圆弧上；两个所述线性激光发射器位于所述第一水平面下方的第二水平面，两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机；两个所述线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上，所述第三水平面与所述第一水平面和所述第二水平面均平行；多个摄像机的拍摄角度倾斜向下；所述植株器官分离系统包括：待测植株图像获取模块，用于获取每个摄像机拍摄的待测植株图像；三维点云获取模块，用于根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；拼接模块，用于将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云；投影模块，用于将所述初始的待测植株三维点云投影至所述全局坐标系的OXY平面，得到待测植株二维投影点图像；定位模块，用于利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域；植株器官三维点云区域初始获取模块，用于根据三维点云与所述全局坐标系中投影点的对应关系，获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域；植株器官三维点云区域确定模块，用于利用K均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割，得到所述待测植株每个器官对应的三维点云区域。可选的，所述系统还包括：摄像机标定模块，用于对每个摄像机的内参和外参进行标定，得到每个摄像机的标定参数；全局校准模块，用于利用全局校准方法，将每个摄像机的局部坐标系统一至全局坐标系下。可选的，所述拼接模块具体包括：激光条纹中心线提取单元，用于利用光条骨架的灰度重心法提取激光条纹中心线；三维点云获取单元，用于根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；拼接单元，用于利用全局校准方法，将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云。可选的，所述定位模块具体包括：标注单元，用于利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注；模型训练单元，用于采用Mask-RCNN深度学习方法进行茎叶区域检测模型训练，利用茎叶区域检测模型检测待测植株二维投影点图像，得到所述待测植株的茎干和叶片区域。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：通过多台摄像机与激光发射器的配合，从多个角对植物进行全方位扫描，避免了数据拼接时出现盲区，该系统对植物进行三维扫描效率更高、适用性强、成本低，并且点云数据更完整，重建效果也更好。为了完成植物三维器官分离，将三维点投影生成二维投影点以及基于二维点进行三角构网和光照处理生成二维投影图像，基于二维投影图像分割出茎干和叶片区域，再基于二维投影点与三维点的对应关系，自动获取本文档来自技高网...

【技术保护点】
1.一种植株器官分离方法，其特征在于，所述植株器官分离方法应用于植株器官分离装置，所述植株器官分离装置包括：扫描探头、测试机架、测试平台和计算机；所述扫描探头固定于所述测试机架上，所述测试机架可上下运动；所述测试平台用于承放待测量植株；所述扫描探头用于随着所述测试机架的运动扫描所述待测量植株不同高度的植株图像，并将所述植株图像传输至所述计算机，所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离；所述扫描探头包括多个摄像机和两个线性激光发射器，多个摄像机位于第一水平面，多个所述摄像机等间距分布在虚拟圆弧上；两个所述线性激光发射器位于所述第一水平面下方的第二水平面，两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机；两个所述线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上，所述第三水平面与所述第一水平面和所述第二水平面均平行；多个摄像机的拍摄角度倾斜向下；所述植株器官分离方法包括：获取每个摄像机拍摄的待测植株图像；根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云；将所述初始的待测植株三维点云投影至所述全局坐标系的OXY平面，得到待测植株二维投影点图像；利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域；根据三维点云与所述全局坐标系中投影点的对应关系，获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域；利用K均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割，得到所述待测植株每个器官对应的三维点云区域。...

【技术特征摘要】
1.一种植株器官分离方法，其特征在于，所述植株器官分离方法应用于植株器官分离装置，所述植株器官分离装置包括：扫描探头、测试机架、测试平台和计算机；所述扫描探头固定于所述测试机架上，所述测试机架可上下运动；所述测试平台用于承放待测量植株；所述扫描探头用于随着所述测试机架的运动扫描所述待测量植株不同高度的植株图像，并将所述植株图像传输至所述计算机，所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离；所述扫描探头包括多个摄像机和两个线性激光发射器，多个摄像机位于第一水平面，多个所述摄像机等间距分布在虚拟圆弧上；两个所述线性激光发射器位于所述第一水平面下方的第二水平面，两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机；两个所述线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上，所述第三水平面与所述第一水平面和所述第二水平面均平行；多个摄像机的拍摄角度倾斜向下；所述植株器官分离方法包括：获取每个摄像机拍摄的待测植株图像；根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云；将所述初始的待测植株三维点云投影至所述全局坐标系的OXY平面，得到待测植株二维投影点图像；利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域；根据三维点云与所述全局坐标系中投影点的对应关系，获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域；利用K均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割，得到所述待测植株每个器官对应的三维点云区域。2.根据权利要求1所述的植株器官分离方法，其特征在于，所述获取每个摄像机拍摄的待测植株图像，之前还包括：对每个摄像机的内参和外参进行标定，得到每个摄像机的标定参数；利用全局校准方法，将每个摄像机的局部坐标系统一至全局坐标系下。3.根据权利要求1所述的植株器官分离方法，其特征在于，所述将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云，具体包括：利用光条骨架的灰度重心法提取激光条纹中心线；根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；利用全局校准方法，将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云。4.根据权利要求1所述的植株器官分离方法，其特征在于，所述利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域，具体包括：利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注；采用Mask-RCNN深度学习方法进行茎叶区域检测模型训练，利用茎叶区域检测模型检测待测植株二维投影点图像，得到所述待测植株的茎干和叶片区域。5.一种植株器官分离系统，其特征在于，所述植株器官分离系统应用于...

【专利技术属性】
技术研发人员：张永恩，许世卫，邸佳颖，王强，王盛威，刘佳佳，郭树涛，
申请(专利权)人：中国农业科学院农业信息研究所，
类型：发明
国别省市：北京,11