一种基于可见光图像的核桃成熟度检测与预测方法技术

本发明专利技术一种基于可见光图像的核桃成熟度检测与预测方法，属于深度学习和图像处理领域：首先采集不同时期的核桃样本及其彩色图像，并对样本的脂肪含量进行测定，根据不同时期核桃仁中脂肪含量及其外部特征，划分核桃成熟度等级，并建立核桃成熟度检测和预测数据集。然后进行低照度核桃图像筛选并对其进行预处理，之后将图像输入改进的FasterRCNN网络，该网络输出图像中核桃的成熟度，并用建议框标出，同时评估该成熟度下核桃仁中脂肪含量。最后，依据核桃建议框从原图截取核桃区域输入基于LSTM的核桃成熟度预测算法，进行三日后的核桃成熟度与脂肪含量预测。该方法可以准确检测出图像中核桃当前及其三日后的成熟度并评估其脂肪含量。

【技术实现步骤摘要】
一种基于可见光图像的核桃成熟度检测与预测方法
本专利技术属于深度学习和图像处理领域，尤其涉及一种基于可见光图像的核桃成熟度检测与预测方法。
技术介绍
核桃仁的出油率与其成熟度具有密切联系，采摘较早的核桃并未完全成熟，其出油率偏低，各项营养物质的转化也尚未完成；采摘较晚的核桃极易发霉变质，进而影响核桃油品质。所以如何判断当前时期的核桃成熟度，以及对核桃的成熟度进行预测，有利于指导采收，有利于提高核桃仁的出油品质与质量，有利于提高核桃种植行业与榨油企业的经济效益。根据当前掌握知识，尚未发现核桃的成熟度检测以及成熟度预测的方法，而其他作物或者果实的成熟度检测或预测的方法应用于核桃成熟度检测与预测任务中尚有不足：专利申请号为202010400749.0，专利技术名称为“油用牡丹始花期和种子采摘期的预测方法”的中国专利。该专利技术在牡丹成熟期预测过程[0026]、[0029]、[0033]以及[0036]中，需要实地且多次测量油用牡丹模型使用的气象因子，使用气象因子数据代入预测模型，可得出油用牡丹花期和油用牡丹种子采收期。然而该方法具有多本文档来自技高网...

【技术保护点】
1.一种基于可见光图像的核桃成熟度检测与预测方法，其特征在于，包含以下步骤：/n第一步，核桃成熟度等级划分：以“辽宁1号”核桃为实验品种，自果实发育103d开始，每间隔3天，随机选择50个健康无病害、成熟度相对一致的核桃进行采摘，并在采摘前对该核桃进行图像采集，将核桃样本以采摘时间段分批进行脂肪含量检测，结合相应时间采集的图像，探究“核桃内部品质与外观表征的映射关系”，划分核桃成熟度等级，并记录各成熟度核桃仁中脂肪含量；/n第二步，建立核桃成熟度检测数据集：根据划分的核桃成熟度等级，使用LableImg图像标注工具，对拍摄的图像做标注，建立Pascal VOC格式的核桃成熟度检测数据集；/n第...

【技术特征摘要】
1.一种基于可见光图像的核桃成熟度检测与预测方法，其特征在于，包含以下步骤：
第一步，核桃成熟度等级划分：以“辽宁1号”核桃为实验品种，自果实发育103d开始，每间隔3天，随机选择50个健康无病害、成熟度相对一致的核桃进行采摘，并在采摘前对该核桃进行图像采集，将核桃样本以采摘时间段分批进行脂肪含量检测，结合相应时间采集的图像，探究“核桃内部品质与外观表征的映射关系”，划分核桃成熟度等级，并记录各成熟度核桃仁中脂肪含量；
第二步，建立核桃成熟度检测数据集：根据划分的核桃成熟度等级，使用LableImg图像标注工具，对拍摄的图像做标注，建立PascalVOC格式的核桃成熟度检测数据集；
第三步，建立核桃成熟度预测数据集：在核桃种植林场，自果实发育103d开始，选择20棵生长健康的实验树，每棵实验树选择10颗健康无病害且成熟度相对一致的核桃加以保护并做标记，固定拍摄距离与角度，每天对200个核桃的同一位置进行拍摄，并使用图像裁剪工具裁剪出仅含一个核桃的图像，将裁剪处理后的图片名称、拍摄日期以及成熟程度记录在xlsx格式表格中；
第四步，构建基于改进FasterRCNN的核桃成熟度检测网络：首先进行低照度核桃图像筛选并使用直方图均衡化、亮度调节与对比度调节对其进行预处理，以突出低照度图像中核桃的颜色特征和纹理特征，然后将图像长宽尺寸调整为1024×1024大小并输入改进的FasterRCNN网络，改进的FasterRCNN网络使用ResNet101网络提取核桃特征获得特征图，然后取出对输入图像尺寸压缩两倍、三倍、四倍以及五倍的特征图输入BiFPN网络进一步特征提取与特征融合，将BiFPN网络输出的尺寸压缩五倍的特征图取出，输送至区域建议网络，为解决相邻核桃漏检的情况，区域建议网络采用Soft-NMS算法进行非极大值抑制得到候选框，候选区域输入感兴趣区域池化网络，分类器输出核桃的成熟度结果，同时生成精确的建议框位置，通过查询第一步的记录，得出该成熟度下核桃仁中脂肪含量，其中，为提高核桃成熟度检测精度，感兴趣区域池化网络的分类网络采用三层SE_ResNet结构构建，使成熟度分类时更加注重有效的通道信息，从而使核桃成熟度检测更加准确；
第五步，构建基于LSTM的核桃成熟度预测网络：利用第四步提供的建议框位置截取原图像中核桃区域，将裁剪区域图像的长×宽×通道压缩至112×112×3，经ResNet18特征提取后，输入LSTM网络进行核桃三日后的成熟度预测与脂肪含量预测；
第六步，算法训练：对第四步和第五步构建的算法进行训练，首先冻结基于LSTM的核桃成熟度预测网络，使用核桃成熟度检测数据集进行基于改进FasterRCNN的核桃成熟度检测网络的参数训练，Epoch设为200，采用Adam优化器优化训练，使得损失值不断收敛并稳定后，选择验证集损失值最小的训练权重作为基于改进FasterRCNN的核桃成熟度检测网络的权重；然后冻结基于改进FasterRCNN的核桃成熟度检测网络，解冻基于LSTM的核桃成熟度预测网络，使用核桃成熟度预测数据集训练基于LSTM的核桃成熟度预测网络，Epoch设为500，采用Adam优化器使得损失值不断收敛并稳定后，选择验证集损失值最小的训练权重作为基于LSTM的核桃成熟度预测算法的权重，...

【专利技术属性】
技术研发人员：陈锋军，崔凯旋，朱学岩，曹跃腾，于越，
申请(专利权)人：北京林业大学，
类型：发明
国别省市：北京;11