基于二维图像与三维生长信息的组培苗分级方法及装置制造方法及图纸

本发明专利技术提供了一种基于二维图像与三维生长信息的组培苗分级方法，属于药材植物栽培技术领域。本发明专利技术对环绕采集的植株RGB图像，进行色彩空间变换，得到HSV图像；将RGB图像中的G分量以及HSV图像中的S分量进行融合，获取组培苗的各植株主体；多角度环绕拍摄每株植株的多张植株图像；建立深度学习分级模型，并采用运动结构恢复算法针对所有拍摄的RGB图像进行组培苗三维模型重建；将从重建的三维模型中获取的各植株的外形参数与实际测量参数进行对比，根据分级原则，结合深度学习分级模型分级结果，进行组培苗等级划分。本发明专利技术根据二维彩色图像与三维生长信息进行组培苗分级，提高了组培苗分级精度，同时实现了组培苗的快速分级。同时实现了组培苗的快速分级。同时实现了组培苗的快速分级。

【技术实现步骤摘要】
基于二维图像与三维生长信息的组培苗分级方法及装置


[0001]本专利技术涉及药材植物栽培
，尤其涉及一种基于二维图像与三维生长信息的组培苗分级方法及装置。

技术介绍

[0002]在我国许多珍稀药材因其自身繁殖能力低下以及人为的过度开采，导致野生资源濒危。因此，全国多地应用植物组培快繁技术开展珍稀药材大规模人工种植来缓解这个问题。目前，组培苗是制约珍稀药材大规模人工种植的瓶颈之一，主要存在组培苗质量良莠不齐、移栽成活率低等问题。因此，急需一种针对出瓶组培苗快速分级的方法。
[0003]在中国专利申请文献CN105010148A中，公开了一种铁皮石斛组培苗分级标准指定以及其移栽方法，通过对多个外形参数进行主成分分析确定主要分级指标，通过根长、苗高以及根数三个指标确定样品的聚类中心，将组培苗分为三个等级，通过分级移栽管理将各级苗特别是三级苗成活率从60％提高到90％以上。
[0004]深度学习在图像分类上效果突出，在中国专利申请文献CN109871885.A中，公开了一种基于深度学习和植物分类学的植物识别方法，通过将收集的样本植物图像和待识别植物图像数据增强后输入深度卷积神经网络训练，设置输入层、卷积层、池化层、全连接层、输出层各层的参数，得到99％的分类效果。
[0005]对于组培苗分级，仅采用深度学习进行分级时，由于三个等级的小苗除了大小和小苗数不同外，外形轮廓相似度高，其中A级苗和B级苗仅仅是茎高不一致，采用上述专利文献的技术方案通过外形以及色彩的差异无法区分出来，因此，单纯使用深度学习不适用于组培苗分级研究。
[0006]三维建模与传统手动测量的方法相比，虽然耗时长，但是精度相对于手工测量更高，而且能够保存每一个样本的数据，方便溯源查询，可用于室内针对小型植株以及室外大型植株外形参数测量。在中国专利申请文献CN212034185U中，公开了一种林下植物三维建模摄影的轨道装置，但其只拍摄植株上部分，导致对叶片背部点云重构的效果并不理想。
[0007]现有技术至少存在以下不足：
[0008]1.现有SFM三维建模的方案中，拍摄图像难以保证三张图像内含有相同标识点以及难以从下方多角度拍摄，导致叶片背部点云重构效果不理想。
[0009]2.深度学习的分级方法中，对外形以及颜色相似度非常高的植株分级比较疲软。

技术实现思路

[0010]为解决现有技术中存在的问题，本专利技术提供了一种基于二维图像与三维生长信息的组培苗分级方法及装置，对环绕采集的组培苗植株RGB图像，进行色彩空间变换，得到HSV图像，提取RGB图像中的G分量以及HSV图像中的S分量；将RGB图像中的G分量以及HSV图像中的S分量进行融合，获取组培苗植株主体图像；多角度环绕拍摄组培苗植株图像；建立深度学习分级模型，并采用运动结构恢复算法针对所有拍摄的RGB图像进行组培苗三维模型重
建；获取重建的三维模型中组培苗植株的外形参数；将从重建的三维模型中获取的组培苗植株的外形参数与实际测量参数进行对比，进行组培苗初步分级，再根据分级原则，结合深度学习分级模型分级结果，进行组培苗等级划分。本专利技术根据二维彩色图像与三维生长信息进行组培苗分级，提高了组培苗分级精度，同时实现了组培苗的快速分级。
[0011]本专利技术提供了一种基于二维图像与三维生长信息的组培苗分级方法，包括如下步骤：
[0012]多角度环绕拍摄同一株组培苗的多张RGB图像，包括：
[0013]固定一个垂直方向拍摄角度，在水平方向环绕拍摄同一株组培苗的RGB图像，环绕为围绕植株在水平面的0
°‑
360
°
范围内；
[0014]在垂直方向改变拍摄角度，重复上述水平方向环绕拍摄，直至得到所有预设角度的组培苗图像为止；
[0015]对拍摄到的组培苗RGB图像进行色彩空间转换，得到HSV图像；
[0016]提取RGB图像中的G分量以及HSV图像中的S分量；
[0017]将RGB图像中的G分量以及HSV图像中的S分量进行融合，获取组培苗植株主体图像；
[0018]在同一株组培苗的图像中选取多张能识别出该株组培苗的全部小苗的图像，将选取的图像划分数据集和测试集，建立深度学习分级模型，并对测试集进行训练，得到训练好的深度学习分级模型；
[0019]采用运动结构恢复算法针对所有拍摄的组培苗RGB图像进行组培苗三维模型重建；
[0020]获取重建的三维模型中组培苗植株的外形参数；
[0021]根据从重建的三维模型中获取的组培苗植株的外形参数，对组培苗进行初步分级，再与深度学习分级模型的分级结果相结合，根据分级原则，进行组培苗等级划分。
[0022]优选地，对组培苗RGB图像进行色彩空间转换，得到HSV图像具体包括，输入组培苗RGB图像，将R，G，B归一化，R,G,B∈[0,1]，RGB图像到HSV图像的变换公式为：V＝max(R,G,B)，将变换后的H分量取值范围设为0
°
～360
°
，S,V∈[0,1]，得到HSV图像。
[0023]优选地，将RGB图像中的G分量以及HSV图像中的S分量进行融合，获取组培苗植株主体图像包括如下步骤：
[0024]将RGB图像和HSV图像归一化后融合，并得到融合的灰度值图像；
[0025]根据融合的灰度值图像中的G分量分离组培苗中的绿色元素，获取组培苗植株的茎、叶图像的掩膜；
[0026]根据融合的灰度值图像中的S分量分离组培苗的根部，获取组培苗植株的根部图像的掩膜；
[0027]将组培苗植株的茎、叶以及根部掩膜进行或运算，得到包括噪声的组培苗植株主体图像；
[0028]进行组培苗植株的茎、叶以及根部掩膜闭运算连接茎、叶和根，选取连接茎、叶和根后得到的图像中最大连通域，得到去除噪声的组培苗植株主体图像。
[0029]优选地，在得到包括噪声的组培苗植株主体图像后，去除该图像中的黑边，以去除噪声，得到去除噪声的组培苗植株主体图像。
[0030]优选地，多角度环绕拍摄同一株组培苗为在垂直方向
‑
45
°
到45
°
的范围内每隔15
°
在水平面0
°‑
360
°
范围内每隔30
°
环绕拍摄组培苗植株的图像。
[0031]优选地，采用运动结构恢复算法三维模型重建包括如下步骤：
[0032]输入所有图像；
[0033]从输入的图像中选取两张图像作为初始图像，通过特征点提取、匹配、几何验证对初始的两张图像进行重建，包括：
[0034]对初始的两张图像进行特征点提取，获取两张图像中都出现的特征点；
[0035]将初始的两张图像中的其他点与获取的特征点进行匹配，删除与获取的特征点绝对角力小于预设阈值的点，得到筛选后的特征点；
[0036]对初始的两张图像进行重建；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维图像与三维生长信息的组培苗分级方法，其特征在于，包括如下步骤：多角度环绕拍摄同一株组培苗的多张RGB图像，包括：固定一个垂直方向拍摄角度，在水平方向环绕拍摄同一株组培苗的RGB图像，环绕为围绕植株在水平面的0
°‑
360
°
范围内；在垂直方向改变拍摄角度，重复上述水平方向环绕拍摄，直至得到所有预设角度的组培苗图像为止；对拍摄到的组培苗RGB图像进行色彩空间转换，得到HSV图像；提取RGB图像中的G分量以及HSV图像中的S分量；将RGB图像中的G分量以及HSV图像中的S分量进行融合，获取组培苗植株主体图像；在同一株组培苗的图像中选取多张能识别出该株组培苗的全部小苗的图像，将选取的图像划分数据集和测试集，建立深度学习分级模型，并对测试集进行训练，得到训练好的深度学习分级模型；采用运动结构恢复算法针对所有拍摄的组培苗RGB图像进行组培苗三维模型重建；获取重建的三维模型中组培苗植株的外形参数；根据从重建的三维模型中获取的组培苗植株的外形参数，对组培苗进行初步分级，再与深度学习分级模型的分级结果相结合，根据分级原则，进行组培苗等级划分。2.根据权利要求1所述的基于二维图像与三维生长信息的组培苗分级方法，其特征在于，对组培苗RGB图像进行色彩空间转换，得到HSV图像具体包括，输入组培苗RGB图像，将R，G，B归一化，R,G,B∈[0,1]，RGB图像到HSV图像的变换公式为：V＝max(R,G,B)，将变换后的H分量取值范围设为0
°
～360
°
，S,V∈[0,1]，得到HSV图像。3.根据权利要求2所述的基于二维图像与三维生长信息的组培苗分级方法，其特征在于，将RGB图像中的G分量以及HSV图像中的S分量进行融合，获取组培苗植株主体图像包括如下步骤：将RGB图像和HSV图像归一化后融合，并得到融合的灰度值图像；根据融合的灰度值图像中的G分量分离组培苗中的绿色元素，获取组培苗植株的茎、叶图像的掩膜；根据融合的灰度值图像中的S分量分离组培苗的根部，获取组培苗植株的根部图像的掩膜；将组培苗植株的茎、叶以及根部掩膜进行或运算，得到包括噪声的组培苗植株主体图像；进行组培苗植株的茎、叶以及根部掩膜闭运算连接茎、叶和根，选取连接茎、叶和根后得到的图像中最大连通域，得到去除噪声的组培苗植株主体图像。4.根据权利要求3所述的基于二维图像与三维生长信息的组培苗分级方法，其特征在于，在得到包括噪声的组培苗植株主体图像后，去除该图像中的黑边，以去除噪声，得到去除噪声的组培苗植株主体图像。5.根据权利要求4所述的基于二维图像与三维生长信息的组培苗分级方法，其特征在于，多角度环绕拍摄同一株组培苗为在垂直方向
‑
45
°
到45
°
的范围内每隔15
°
在水平面0
°‑
360
°
范围内每隔30
°
环绕拍摄组培苗植株的图像。6.根据权利要求5所述的基于二维图像与三维生长信息的组培苗分级方法，其特征在
于，采用运动结构恢复算法三维模型重建包括如下步骤：输入所有图像；从输入的图像中选取两张图像作为初始图像，通过特征点提取、匹配、几何验证对初始的两张图像进行重建，包括：对初始的两张图像进行特征点提取，获取两张图像中都出现的特征点；将初始的两张图像中的其他点与获取的特征点进行匹配，删除与获取的特征点绝对角力小于预设阈值的点，得到筛选后的特征点；对初始的两张图像进行重建；重复下面两个步骤，直至加载完所有图像：采用几何验证对外点进行过滤；加载下一张组培苗植株RGB图像，计算该图像与之前参与重建的图像之间的世界坐标变换矩阵；采用光束法平差优化相机参数；建立稠密点云，根据世界坐标变换矩阵通过三角测距对组培苗植株的三维模型表面进行重建。7.根据权利要求6...

【专利技术属性】
技术研发人员：王再花，叶广英，龙腾，刘海林，李杰，
申请(专利权)人：广东省农业科学院环境园艺研究所，
类型：发明
国别省市：