一种基于可见光图像的核桃成熟度检测与预测方法技术

本发明专利技术一种基于可见光图像的核桃成熟度检测与预测方法，属于深度学习和图像处理领域：首先采集不同时期的核桃样本及其彩色图像，并对样本的脂肪含量进行测定，根据不同时期核桃仁中脂肪含量及其外部特征，划分核桃成熟度等级，并建立核桃成熟度检测和预测数据集。然后进行低照度核桃图像筛选并对其进行预处理，之后将图像输入改进的FasterRCNN网络，该网络输出图像中核桃的成熟度，并用建议框标出，同时评估该成熟度下核桃仁中脂肪含量。最后，依据核桃建议框从原图截取核桃区域输入基于LSTM的核桃成熟度预测算法，进行三日后的核桃成熟度与脂肪含量预测。该方法可以准确检测出图像中核桃当前及其三日后的成熟度并评估其脂肪含量。

【技术实现步骤摘要】
一种基于可见光图像的核桃成熟度检测与预测方法
本专利技术属于深度学习和图像处理领域，尤其涉及一种基于可见光图像的核桃成熟度检测与预测方法。
技术介绍
核桃仁的出油率与其成熟度具有密切联系，采摘较早的核桃并未完全成熟，其出油率偏低，各项营养物质的转化也尚未完成；采摘较晚的核桃极易发霉变质，进而影响核桃油品质。所以如何判断当前时期的核桃成熟度，以及对核桃的成熟度进行预测，有利于指导采收，有利于提高核桃仁的出油品质与质量，有利于提高核桃种植行业与榨油企业的经济效益。根据当前掌握知识，尚未发现核桃的成熟度检测以及成熟度预测的方法，而其他作物或者果实的成熟度检测或预测的方法应用于核桃成熟度检测与预测任务中尚有不足：专利申请号为202010400749.0，专利技术名称为“油用牡丹始花期和种子采摘期的预测方法”的中国专利。该专利技术在牡丹成熟期预测过程[0026]、[0029]、[0033]以及[0036]中，需要实地且多次测量油用牡丹模型使用的气象因子，使用气象因子数据代入预测模型，可得出油用牡丹花期和油用牡丹种子采收期。然而该方法具有多个不足：第一，该方法需要重复测量多个气象因子数据，具有繁琐性、耗时性；第二，该方法需要利用不同仪器测量地温、气温、湿度、日照时长以及降水量等数据，每个数据的准确性都易受仪器精确性、环境复杂性以及测量规范性等因素的干扰，所以测量结果不利于最终预测结果的准确度。专利申请号为201911026968.0，专利技术名称为“一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法”的中国专利。该专利技术在蓝莓成熟度无损检测过程[0030]、[0033]、[0034]中，根据蓝莓中叶绿素含量划分叶绿素含量预测数据集BCPD，并进行蓝莓叶绿素预测含量网络BCPN的训练，训练得到的卷积神经网络可以用于蓝莓成熟度预测，然而，该方法对核桃成熟度检测的借鉴具有以下不足：第一，测量每个时期的叶绿素值并使用Label-Image脚本对相应时期的图像打标签，构建叶绿素含量预测数据集BCPD，并将数据集用于蓝莓叶绿素预测含量网络BCPN的训练和测试，该方法根据的是叶绿素的变化，表现在彩色图像上为蓝莓颜色的变化，而核桃在成熟期内外观颜色变化极其微弱，此专利技术所提出的方法不适用于核桃成熟度的检测；第二，该方法主要用于判断图像中蓝莓的成熟程度，但却未对该成熟度下主要营养物质的含量进行预测，然而核桃成熟度检测不仅需要检测该图像中各个核桃的成熟程度，更需要分析该成熟度下核桃仁中主要营养物质含量；第三，该方法主要是对输入预测模型的彩色图像中的蓝莓进行成熟度预测，如若该蓝莓尚未成熟，不能预测该蓝莓未来的成熟程度。
技术实现思路
本专利技术提供了一种基于可见光图像的核桃成熟度检测与预测方法，该方法利用自然条件下挂枝核桃的可见光图像，可以检测出该图像中各个核桃的成熟度，并评估核桃仁中的脂肪含量，针对成熟度尚未达到最佳榨油要求下的核桃，本专利技术会对其三日后的成熟度以及脂肪含量进行预测。根据本专利技术的计算过程，所述的一种基于可见光图像的核桃成熟度检测与预测方法包括：第一步，核桃成熟度等级划分：以“辽宁1号”核桃为实验品种，自果实发育103d开始，每间隔3天随机选择50个健康无病害、成熟度相对一致的核桃进行采摘，并在采摘前对该核桃进行图像采集，将核桃样本以采摘时间段分批进行脂肪含量检测，结合相应时间采集的图像，探究“核桃内部品质与外观表征的映射关系”，划分核桃成熟度等级，并记录各成熟度核桃仁中脂肪含量；第二步，建立核桃成熟度检测数据集：根据划分的核桃成熟度等级，使用LableImg图像标注工具，对拍摄的图像做标注，建立PascalVOC格式的核桃成熟度检测数据集；第三步，建立核桃成熟度预测数据集：在核桃种植林场，自果实发育103d开始，随机选择20棵生长健康的实验树，每棵实验树选择10颗健康无病害且成熟度相对一致的核桃加以保护并做标记，固定拍摄距离与角度，每天对200个核桃进行拍摄，并使用图像裁剪工具裁剪出仅含一个核桃的图像，将裁剪处理后的图片名称、拍摄日期以及成熟程度记录在xlsx格式表格中；第四步，构建基于改进FasterRCNN的核桃成熟度检测网络：首先进行低照度核桃图像筛选并使用直方图均衡化、亮度调节与对比度调节对其进行预处理，以突出低照度图像中核桃的颜色特征和纹理特征，然后将图像长宽尺寸调整为1024×1024大小并输入改进的FasterRCNN网络，改进的FasterRCNN网络使用ResNet101网络提取核桃特征获得特征图，然后取出对输入图像尺寸压缩两倍、三倍、四倍以及五倍的特征图输入BiFPN网络进一步特征提取与特征融合，将BiFPN网络输出的尺寸压缩五倍的特征图取出，输送至区域建议网络，为解决相邻核桃漏检的情况，区域建议网络采用Soft-NMS算法进行非极大值抑制得到候选框，候选区域输入感兴趣区域池化网络，分类器输出核桃的成熟度结果，同时生成精确的建议框位置，通过查询第一步的记录，得出该成熟度下核桃仁的脂肪含量，其中，为提高核桃成熟度检测精度，在感兴趣区域池化网络的分类网络中加入的SENet注意力机制，使核桃的位置检测与成熟度检测更加准确；第五步，构建基于LSTM的核桃成熟度预测网络：利用第四步提供的建议框位置截取原图像中核桃区域，将裁剪区域图像的长×宽×通道压缩至112×112×3，经ResNet18特征提取后，输入LSTM网络进行核桃三日后的成熟度预测与脂肪含量预测；第六步，算法训练：对第四步和第五步构建的算法进行训练，首先冻结基于LSTM的核桃成熟度预测网络，使用核桃成熟度检测数据集进行基于改进FasterRCNN的核桃成熟度检测网络的参数训练，Epoch设为200，采用Adam优化器使得损失值不断收敛并稳定后，选择验证集损失值最小的训练权重作为基于改进FasterRCNN的核桃成熟度检测网络的权重；然后冻结基于改进FasterRCNN的核桃成熟度检测网络，解冻基于LSTM的核桃成熟度预测网络，使用核桃成熟度预测数据集训练基于LSTM的核桃成熟度预测网络，Epoch设为500，采用Adam优化器使得损失值不断收敛并稳定后，选择验证集损失值最小的训练权重作为基于LSTM的核桃成熟度预测算法的权重，最后将基于改进FasterRCNN的核桃成熟度检测网络和基于LSTM的核桃成熟度预测网络全部解冻训练，即对基于可见光图像的核桃成熟度检测与预测方法进行训练，将Epoch设为100，学习率设置为0.001，使用核桃成熟度检测数据集，网络采用Adam算法进行网络优化，使总损失值收敛，选择损失值最小的权重作为基于可见光图像的核桃成熟度检测与预测方法的权重；第七步，算法执行：将测试图像输入基于可见光图像的核桃成熟度检测与预测方法，方法输出图像中各个核桃的成熟度，并根据成熟度与脂肪含量的对应关系，评估当前核桃的脂肪含量，对成熟度未达到榨油要求下的核桃，根据图像中核桃的特征，对三日后该核桃的成熟度进行预测，并评估彼时核桃的脂肪含量；根据如上所述的七个步骤，一种基于可见光图像的核桃成熟度检测与预测本文档来自技高网...

【技术保护点】
1.一种基于可见光图像的核桃成熟度检测与预测方法，其特征在于，包含以下步骤：/n第一步，核桃成熟度等级划分：以“辽宁1号”核桃为实验品种，自果实发育103d开始，每间隔3天，随机选择50个健康无病害、成熟度相对一致的核桃进行采摘，并在采摘前对该核桃进行图像采集，将核桃样本以采摘时间段分批进行脂肪含量检测，结合相应时间采集的图像，探究“核桃内部品质与外观表征的映射关系”，划分核桃成熟度等级，并记录各成熟度核桃仁中脂肪含量；/n第二步，建立核桃成熟度检测数据集：根据划分的核桃成熟度等级，使用LableImg图像标注工具，对拍摄的图像做标注，建立Pascal VOC格式的核桃成熟度检测数据集；/n第三步，建立核桃成熟度预测数据集：在核桃种植林场，自果实发育103d开始，选择20棵生长健康的实验树，每棵实验树选择10颗健康无病害且成熟度相对一致的核桃加以保护并做标记，固定拍摄距离与角度，每天对200个核桃的同一位置进行拍摄，并使用图像裁剪工具裁剪出仅含一个核桃的图像，将裁剪处理后的图片名称、拍摄日期以及成熟程度记录在xlsx格式表格中；/n第四步，构建基于改进Faster RCNN的核桃成熟度检测网络：首先进行低照度核桃图像筛选并使用直方图均衡化、亮度调节与对比度调节对其进行预处理，以突出低照度图像中核桃的颜色特征和纹理特征，然后将图像长宽尺寸调整为1024×1024大小并输入改进的Faster RCNN网络，改进的Faster RCNN网络使用ResNet101网络提取核桃特征获得特征图，然后取出对输入图像尺寸压缩两倍、三倍、四倍以及五倍的特征图输入BiFPN网络进一步特征提取与特征融合，将BiFPN网络输出的尺寸压缩五倍的特征图取出，输送至区域建议网络，为解决相邻核桃漏检的情况，区域建议网络采用Soft-NMS算法进行非极大值抑制得到候选框，候选区域输入感兴趣区域池化网络，分类器输出核桃的成熟度结果，同时生成精确的建议框位置，通过查询第一步的记录，得出该成熟度下核桃仁中脂肪含量，其中，为提高核桃成熟度检测精度，感兴趣区域池化网络的分类网络采用三层SE_ResNet结构构建，使成熟度分类时更加注重有效的通道信息，从而使核桃成熟度检测更加准确；/n第五步，构建基于LSTM的核桃成熟度预测网络：利用第四步提供的建议框位置截取原图像中核桃区域，将裁剪区域图像的长×宽×通道压缩至112×112×3，经ResNet18特征提取后，输入LSTM网络进行核桃三日后的成熟度预测与脂肪含量预测；/n第六步，算法训练：对第四步和第五步构建的算法进行训练，首先冻结基于LSTM的核桃成熟度预测网络，使用核桃成熟度检测数据集进行基于改进Faster RCNN的核桃成熟度检测网络的参数训练，Epoch设为200，采用Adam优化器优化训练，使得损失值不断收敛并稳定后，选择验证集损失值最小的训练权重作为基于改进Faster RCNN的核桃成熟度检测网络的权重；然后冻结基于改进Faster RCNN的核桃成熟度检测网络，解冻基于LSTM的核桃成熟度预测网络，使用核桃成熟度预测数据集训练基于LSTM的核桃成熟度预测网络，Epoch设为500，采用Adam优化器使得损失值不断收敛并稳定后，选择验证集损失值最小的训练权重作为基于LSTM的核桃成熟度预测算法的权重，最后将基于改进Faster RCNN的核桃成熟度检测网络和基于LSTM的核桃成熟度预测网络全部解冻训练，即对基于可见光图像的核桃成熟度检测与预测方法进行训练，将Epoch设为100，学习率设置为0.001，使用核桃成熟度检测数据集，网络采用Adam算法进行网络优化，使总损失值收敛，选择损失值最小的权重作为基于可见光图像的核桃成熟度检测与预测方法的权重；/n第七步，算法执行：将测试图像输入基于可见光图像的核桃成熟度检测与预测方法，方法输出图像中各个核桃的成熟度，并根据成熟度与脂肪含量的对应关系，评估当前核桃的脂肪含量，对成熟度未达到榨油要求下的核桃，根据图像中核桃的特征，对三日后该核桃的成熟度进行预测，并评估彼时核桃的脂肪含量。/n...

【技术特征摘要】
1.一种基于可见光图像的核桃成熟度检测与预测方法，其特征在于，包含以下步骤：
第一步，核桃成熟度等级划分：以“辽宁1号”核桃为实验品种，自果实发育103d开始，每间隔3天，随机选择50个健康无病害、成熟度相对一致的核桃进行采摘，并在采摘前对该核桃进行图像采集，将核桃样本以采摘时间段分批进行脂肪含量检测，结合相应时间采集的图像，探究“核桃内部品质与外观表征的映射关系”，划分核桃成熟度等级，并记录各成熟度核桃仁中脂肪含量；
第二步，建立核桃成熟度检测数据集：根据划分的核桃成熟度等级，使用LableImg图像标注工具，对拍摄的图像做标注，建立PascalVOC格式的核桃成熟度检测数据集；
第三步，建立核桃成熟度预测数据集：在核桃种植林场，自果实发育103d开始，选择20棵生长健康的实验树，每棵实验树选择10颗健康无病害且成熟度相对一致的核桃加以保护并做标记，固定拍摄距离与角度，每天对200个核桃的同一位置进行拍摄，并使用图像裁剪工具裁剪出仅含一个核桃的图像，将裁剪处理后的图片名称、拍摄日期以及成熟程度记录在xlsx格式表格中；
第四步，构建基于改进FasterRCNN的核桃成熟度检测网络：首先进行低照度核桃图像筛选并使用直方图均衡化、亮度调节与对比度调节对其进行预处理，以突出低照度图像中核桃的颜色特征和纹理特征，然后将图像长宽尺寸调整为1024×1024大小并输入改进的FasterRCNN网络，改进的FasterRCNN网络使用ResNet101网络提取核桃特征获得特征图，然后取出对输入图像尺寸压缩两倍、三倍、四倍以及五倍的特征图输入BiFPN网络进一步特征提取与特征融合，将BiFPN网络输出的尺寸压缩五倍的特征图取出，输送至区域建议网络，为解决相邻核桃漏检的情况，区域建议网络采用Soft-NMS算法进行非极大值抑制得到候选框，候选区域输入感兴趣区域池化网络，分类器输出核桃的成熟度结果，同时生成精确的建议框位置，通过查询第一步的记录，得出该成熟度下核桃仁中脂肪含量，其中，为提高核桃成熟度检测精度，感兴趣区域池化网络的分类网络采用三层SE_ResNet结构构建，使成熟度分类时更加注重有效的通道信息，从而使核桃成熟度检测更加准确；
第五步，构建基于LSTM的核桃成熟度预测网络：利用第四步提供的建议框位置截取原图像中核桃区域，将裁剪区域图像的长×宽×通道压缩至112×112×3，经ResNet18特征提取后，输入LSTM网络进行核桃三日后的成熟度预测与脂肪含量预测；
第六步，算法训练：对第四步和第五步构建的算法进行训练，首先冻结基于LSTM的核桃成熟度预测网络，使用核桃成熟度检测数据集进行基于改进FasterRCNN的核桃成熟度检测网络的参数训练，Epoch设为200，采用Adam优化器优化训练，使得损失值不断收敛并稳定后，选择验证集损失值最小的训练权重作为基于改进FasterRCNN的核桃成熟度检测网络的权重；然后冻结基于改进FasterRCNN的核桃成熟度检测网络，解冻基于LSTM的核桃成熟度预测网络，使用核桃成熟度预测数据集训练基于LSTM的核桃成熟度预测网络，Epoch设为500，采用Adam优化器使得损失值不断收敛并稳定后，选择验证集损失值最小的训练权重作为基于LSTM的核桃成熟度预测算法的权重，...

【专利技术属性】
技术研发人员：陈锋军，崔凯旋，朱学岩，曹跃腾，于越，
申请(专利权)人：北京林业大学，
类型：发明
国别省市：北京;11