【技术实现步骤摘要】
本专利技术涉及蔬菜生长状态检测，尤其涉及一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法。
技术介绍
1、温室因其作物培育高效和内部环境受控的优点在世界范围内得到广泛应用。有别于传统农业的露天环境显著受自然天气影响，温室的内部环境可以被精确、自动控制。而作物产量和品质与作物生长过程中环境因素和栽培方法息息相关。温室种植过程可以看作是一个控制和优化的过程，其中作物生长监测是至关重要的一步。准确、及时的作物生长信息可以揭示作物当前的生长状况和产量潜力，这对于管理决策大有益处。
2、当前的叶类蔬菜生长监测主要有虫害监测、水分胁迫监测等，叶类蔬菜生长信息的实时获取仍未有可投入实际应用的方案，问题的关键在于温室场景的原始样本数据需要将作物采摘后测量，因此通常只有几百个样本。想实现无损快速获取生长数据可采用图像处理技术，但图像维度通常高达百万级，常见的端到端模型无法实现较高的生长数据预测准确度。同时由于叶类蔬菜的具有较为复杂的纹理和结构，在进行生长状态检测时，一方面图像识别结果不够准确，另一方面仅能获取少量的生长状态特征。
3、针对上述的现有技术存在的问题设计一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法是本专利技术研究的目的。
技术实现思路
1、有鉴于此，本专利技术的目的在于提出一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，能够解决上述的问题。
2、本专利技术提供一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，包括：
3
4、将所述标准rgb图像和三通道图像输入预先训练好的叶类蔬菜特征提取模型进行特征提取，得到rgb图像特征和深度图像特征；
5、将所述rgb图像特征和深度图像特征输入预先训练好的叶类蔬菜生长状态预测模型进行计算，得到叶类蔬菜的生长状态数据。
6、进一步，所述对实时rgb图像进行裁剪，得到标准rgb图像包括：
7、根据一次批量裁剪矩形框大小，对所述实时rgb图像进行一次裁剪，得到一次裁剪后的所述实时rgb图像；
8、使用聚类算法去除一次裁剪后的所述实时rgb图像背景部分；
9、根据二次裁剪矩形框大小，对去除背景部分的一次裁剪后的所述实时rgb图像进行二次裁剪，得到二次裁剪后的所述实时rgb图像。
10、进一步，所述使用聚类算法去除一次裁剪后的所述实时rgb图像背景部分包括：
11、使用k-means聚类算法计算所述实时rgb图像的子图像掩膜；
12、对所述实时rgb图像的子图像掩膜进行二值图像孔填充；
13、将二值图像孔填充后的所述实时rgb图像的子图像掩膜与一次批量剪裁后的所述实时rgb图像进行掩膜运算，得到去除rgb图像背景部分的所述实时rgb图像。
14、进一步，所述根据所述标准rgb图像对实时深度图像进行裁剪计算，得到三通道图像包括：
15、根据所述实时rgb图像的裁剪位置对应裁剪所述实时深度图像；
16、将裁剪后的所述实时深度图像划分成小矩阵，计算每一矩阵的最大值、最小值和平均值，得到三通道图像。
17、进一步，所述叶类蔬菜特征提取模型的预训练步骤包括：
18、采集叶类蔬菜的rgb图像样本、深度图像样本、生长数据样本，对叶类蔬菜的rgb图像样本、深度图像样本进行数据增强，构建叶类蔬菜样本训练集和验证集；
19、使用resnet50网络构建所述叶类蔬菜特征提取模型；
20、通过叶类蔬菜样本训练集和验证集训练所述得到叶类蔬菜特征提取模型参数。
21、进一步，所述对叶类蔬菜的rgb图像样本、深度图像样本进行数据增强包括：
22、对所述rgb图像样本、深度图像样本进行上下翻转、左右翻转、顺时针旋转90°、顺时针旋转180°、顺时针旋转270°；
23、对旋转后的所述rgb图像样本进行亮度调节，将所述rgb图像样本转为hsv图像样本，将hsv图像样本中的v值调节为原有v值的0.8-1.2倍；
24、对旋转后的所述深度图像样本进行对应复制操作，保持rgb图像样本数量和深度图像样本数量一致。
25、进一步，所述将所述标准rgb图像和三通道图像输入预先训练好的叶类蔬菜特征提取模型进行特征提取，得到rgb图像特征和深度图像特征包括：
26、将所述标准rgb图像输入所述resnet50网络中，选取所述resnet50网络的avg_pool层的平均值、activation_46_relu层的平均值、activation_43_relu层的的平均值作为所述rgb图像特征；
27、将所述三通道图像输入所述resnet50网络中，选取所述resnet50网络的avg_pool层的平均值作为所述深度图像特征。
28、进一步，所述一次批量裁剪矩形框大小的获取步骤包括：
29、估算一次裁剪矩形框大小，根据所述一次裁剪矩形框大小批量裁剪所述rgb图像样本，判定一次批量裁剪后的所述rgb图像样本是否裁剪去蔬菜部分；
30、若是则扩大一次裁剪矩形框大小，重新批量裁剪所述rgb图像样本，直至一次批量裁剪后的所述rgb图像样本未裁剪去蔬菜部分，记录所述一次批量裁剪矩形框大小。
31、进一步，所述二次裁剪矩形框大小的获取步骤包括：
32、遍历所有一次裁剪后的所述rgb图像样本，获得最大蔬菜面积的所述rgb图像样本；
33、计算所述rgb图像样本中最大蔬菜图像部分的边缘像素位置和二次批量裁剪矩形框大小；
34、根据二次批量裁剪矩形框大小自动调整每个所述rgb图像样本的裁剪位置，进行二次批量裁剪；
35、记录二次批量裁剪矩形框大小和二次批量裁剪位置。
36、进一步，所述叶类蔬菜生长状态预测模型的预训练步骤包括：
37、使用人工神经网络模型构建叶类蔬菜的湿重预测模型、干重预测模型、直径预测模型、株高预测模型、叶面积预测模型；
38、通过所述叶类蔬菜特征提取模型提取所述叶类蔬菜样本训练集和验证集中的所述rgb图像样本和深度图像样本的图像特征；
39、将所述rgb图像样本和深度图像样本的图像特征训练作为输入，所述生长数据样本作为输出，分别训练所述叶类蔬菜的湿重预测模型、干重预测模型、直径预测模型、株高预测模型、叶面积预测模型，分别得到所述叶类蔬菜的湿重预测模型、干重预测模型、直径预测模型、株高预测模型、叶面积预测模型的参数。
40、本专利技术的有益效果：
41、一是本专利技术中采用k-means聚类算法去除冗余的rgb图像背景信息，计算最大蔬菜的边缘像素位置，自动裁剪rgb图像，降低本文档来自技高网...
【技术保护点】
1.一种基于RGB-D图像识别的叶类蔬菜生长状态检测方法，其特征在于，包括：
2.根据权利要求1所述的一种基于RGB-D图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述对实时RGB图像进行裁剪，得到标准RGB图像包括：
3.根据权利要求2所述的一种基于RGB-D图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述使用聚类算法去除一次裁剪后的所述实时RGB图像背景部分包括：
4.根据权利要求1所述的一种基于RGB-D图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述根据所述标准RGB图像对实时深度图像进行裁剪计算，得到三通道图像包括：
5.根据权利要求1所述的一种基于RGB-D图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述叶类蔬菜特征提取模型的预训练步骤包括：
6.根据权利要求5所述的一种基于RGB-D图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述对叶类蔬菜的RGB图像样本、深度图像样本进行数据增强包括：
7.根据权利要求1或5所述的一种基于RGB-D图像识别的叶类蔬菜生长状态检测方法，其特征
8.根据权利要求2或5所述的一种基于RGB-D图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述一次批量裁剪矩形框大小的获取步骤包括：
9.根据权利要求2或5所述的一种基于RGB-D图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述二次裁剪矩形框大小的获取步骤包括：
10.根据权利要求1或5所述的一种基于RGB-D图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述叶类蔬菜生长状态预测模型的预训练步骤包括：
...【技术特征摘要】
1.一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，包括：
2.根据权利要求1所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述对实时rgb图像进行裁剪，得到标准rgb图像包括：
3.根据权利要求2所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述使用聚类算法去除一次裁剪后的所述实时rgb图像背景部分包括：
4.根据权利要求1所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述根据所述标准rgb图像对实时深度图像进行裁剪计算，得到三通道图像包括：
5.根据权利要求1所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述叶类蔬菜特征提取模型的预训练步骤包括：
6.根据权利要求5所述的一种基于rgb-d图像识...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。