一种植物点云数据分割方法及系统技术方案

本发明专利技术涉及一种植物点云数据分割方法及系统。该方法包括：获取植物周围不同随机点位的RGB图像；对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；将所述RGB输入图像输入至Mask‑RCNN模型进行训练，得到深度学习输出模型；获取植物周围采样点位对应点位的植物RGB图像和深度图像；将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。本发明专利技术能够利用基于深度学习的实例分割算法并结合深度相机的特点，实现更精确更鲁棒的点云分割。

【技术实现步骤摘要】
一种植物点云数据分割方法及系统
本专利技术涉及植物点云数据分割领域，特别是涉及一种植物点云数据分割方法及系统。
技术介绍
植物表型是植物基因与环境相互作用后在时空中的三维表达，是植物基因在与环境的相互作用中其遗传信息被选择性地表征，并形成的一个动态的生活史。了解在不断变化的环境中跨越植物生命周期的过程，对于推进植物基础科学及其转化为包括育种和作物管理在内的应用技术至关重要。因此，植物研究界面临着准确测量越来越多的植物的各种性状的需要，以帮助植物适应资源有限的环境和低投入的农业。然而，植物表型信息的获取面临诸多困难和挑战。由于植物种类繁多，种植规模数量较大，生长周期长短不一，单一的依靠人工进行植物表型信息获取费时费力，且植物表型组所包含的信息量和复杂程度已远远超出人们的预估，采用高通量的植物表型测量方法势在必行。植物的三维形态是植物表型中最直观的性状之一，能够直接反映植物在三维空间的生长状况、提供生长阶段和病虫害发生的判断依据，进而及时给予育种学家以反馈信息，改善种子的优良性状，提高经济效益。常见的植物三维形态获取方法是对植物进行三维重建，构建出植株的三维模型，在此基础上获取植物的形态学参数。可通过三维重建获取的植物表型信息包括植物的形态特征和尺寸参数等。这些形态特征和尺寸参数对于了解植物的生长情况和监视作物收益有着重大帮助。对于叶菜类植物，叶面积和叶面积指数等反映叶片大小的指标能够反映出叶菜类植物的生长状况和衡量其经济效益；对于茎秆类植物，其茎秆的高度和粗细等指标能够反映出茎秆类植物的生长状况和衡量其经济效益；对于景观类植物，其生物量、植被体积、形状尺寸等指标能够反映出景观类植物的生长状况和衡量其经济效益；对于特定的一些植物，其基因表达会反映在其形态学特征上，通过获取形态学指标可以预测其生长趋势。以上这些信息都是可以通过植物三维重建技术获取的，植物三维重建是植物表型研究的新型强力工具。上述许多三维特征不仅需要利用植物整体的模型，还有一些需要植物各个部分的模型，例如某些实际应用需要对植物的某些部位进行检测，或者是对某些器官进行评估，因此植物点云分割是植物三维表型信息提取中十分重要的流程。由于植物的不规则特性以及非结构化特征，当前众多基于统计和浅层机器学习的点云分割技术在植物点云的分割上表现不理想，算法对于类内差异的鲁棒性较差，泛化能力弱，解决类间异质性更加困难。
技术实现思路
本专利技术的目的是提供一种植物点云数据分割方法及系统，能够利用基于深度学习的实例分割算法并结合深度相机的特点，实现更精确更鲁棒的点云分割。为实现上述目的，本专利技术提供了如下方案：一种植物点云数据分割方法包括：获取植物周围不同随机点位的RGB图像；对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型；获取植物周围采样点位对应点位的植物RGB图像和深度图像；将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。可选地，所述实例标注采用labelme中的多边形标注方法。可选地，所述根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据，具体包括：获取采样点位的位姿信息；将所述掩膜、所述深度图像和所述植物RGB图像配准到同一像素坐标系，生成点云信息；根据所述位姿信息和所述点云信息，将不同点位的点云融合至同一空间坐标系下，得到粗配准点云数据。可选地，所述对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据，具体包括：对所述粗配准点云数据利用离群点去除、迭代最近点算法进行去噪和配准处理，得到植物点云分割数据。一种植物点云数据分割系统包括：第一获取模块，用于获取植物周围不同随机点位的RGB图像；RGB输入图像确定模块，用于对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；训练模块，用于将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型；第二获取模块，用于获取植物周围采样点位对应点位的植物RGB图像和深度图像；掩膜确定模块，用于将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；粗配准点云数据确定模块，用于根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；植物点云分割数据确定模块，用于对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。可选地，所述实例标注采用labelme中的多边形标注方法。可选地，所述粗配准点云数据确定模块具体包括：位姿信息获取单元，用于获取采样点位的位姿信息；配准单元，用于将所述掩膜、所述深度图像和所述植物RGB图像配准到同一像素坐标系，生成点云信息；粗配准点云数据确定单元，用于根据所述位姿信息和所述点云信息，将不同点位的点云融合至同一空间坐标系下，得到粗配准点云数据。可选地，所述植物点云分割数据确定模块，具体包括：植物点云分割数据确定单元，用于对所述粗配准点云数据利用离群点去除、迭代最近点算法进行去噪和配准处理，得到植物点云分割数据。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术涉及一种植物点云数据分割方法及系统。该方法包括：获取植物周围不同随机点位的RGB图像；对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型；获取植物周围采样点位对应点位的植物RGB图像和深度图像；将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。本专利技术能够利用基于深度学习的实例分割算法并结合深度相机的特点，实现更精确更鲁棒的点云分割。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术植物点云数据分割方法流程图；图2为植物点云数据分割装置示意图；图3为位置关系和采样点位示意图；图4为多点位采样示意图；图5为整株辣椒植株效果示意图；图6为各参考系相对位置关系示意图；图7为像素坐标系与图像坐标系示意图；图8为不同模式下的相机参考系示意图；图9为TCP和机械臂基座坐标系示意图；图10为本文档来自技高网...

【技术保护点】
1.一种植物点云数据分割方法，其特征在于，包括：/n获取植物周围不同随机点位的RGB图像；/n对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；/n将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型；/n获取植物周围采样点位对应点位的植物RGB图像和深度图像；/n将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；/n根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；/n对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。/n

【技术特征摘要】
1.一种植物点云数据分割方法，其特征在于，包括：
获取植物周围不同随机点位的RGB图像；
对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；
将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型；
获取植物周围采样点位对应点位的植物RGB图像和深度图像；
将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；
根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；
对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。


2.根据权利要求1所述的植物点云数据分割方法，其特征在于，所述实例标注采用labelme中的多边形标注方法。


3.根据权利要求1所述的植物点云数据分割方法，其特征在于，所述根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据，具体包括：
获取采样点位的位姿信息；
将所述掩膜、所述深度图像和所述植物RGB图像配准到同一像素坐标系，生成点云信息；
根据所述位姿信息和所述点云信息，将不同点位的点云融合至同一空间坐标系下，得到粗配准点云数据。


4.根据权利要求1所述的植物点云数据分割方法，其特征在于，所述对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据，具体包括：
对所述粗配准点云数据利用离群点去除、迭代最近点算法进行去噪和配准处理，得到植物点云分割数据。


5.一种植物点云数据分割系统，其特征在于，包括：
第一获取模...

【专利技术属性】
技术研发人员：谢鹏尧，岑海燕，麻志宏，平安，刘羽飞，何勇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33