基于深度神经网络的果园香蕉检测方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于深度神经网络的果园香蕉检测方法、系统、设备及介质，方法包括：构建神经网络模型，神经网络模型包括特征提取模块、池化模块、多尺度特征融合模块和预测模块；获取自然条件下的香蕉果实图像；根据香蕉果实图像，获取训练集和验证集；利用训练集对神经网络模型进行训练；每完成一次训练，利用验证集对当前神经网络模型进行验证，根据验证结果调整当前神经网络模型的参数；当训练次数达到预设次数后，选取验证结果最优的神经网络模型作为香蕉检测模型；利用香蕉检测模型对果园目标图像中的香蕉果实进行检测。本发明专利技术在不同光照和遮挡条件下，可实现不同品种和不同成熟度香蕉的快速检测，为香蕉采摘、成熟度评估和估产提供信息。

【技术实现步骤摘要】
基于深度神经网络的果园香蕉检测方法、系统、设备及介质
本专利技术涉及一种基于深度神经网络的果园香蕉检测方法、系统、设备及介质，属于智能化水果检测

技术介绍
随着农场劳动力在农业行业中的匮乏，以及人工智能的快速发展，果园水果检测在农业领域引起广泛关注。目前香蕉收获基本靠人力采摘，随着人口老龄化加剧，研究果园香蕉检测对香蕉智能采摘具有重要意义。但由于香蕉果园环境的复杂性和不确定性，加之采摘时的香蕉为绿色果实，并且香蕉果穗的几何形状不规则，使得果园香蕉的检测成为难题。目前，机器视觉在香蕉果园的机械化研究中处于初步探索阶段，基于深度神经网络对果园香蕉进行检测对果园自动化智能化发展具有重要意义。
技术实现思路
有鉴于此，本专利技术提供了一种基于深度神经网络的果园香蕉检测方法、系统、设备及介质，其可以对果园香蕉进行精准检测，提高果园管理智能化水平，降低人力成本，实现农业智能化，在不同光照和遮挡条件下，可实现不同品种和不同成熟度香蕉的快速检测，为香蕉采摘、成熟度评估和估产提供信息。本专利技术的第一个目的在于提供一种基于深度神经网络的果园香蕉检测方法。本专利技术的第二个目的在于提供一种基于深度神经网络的果园香蕉检测系统。本专利技术的第三个目的在于提供一种计算机设备。本专利技术的第四个目的在于提供一种存储介质。本专利技术的第一个目的可以通过采取如下技术方案达到：一种基于深度神经网络的果园香蕉检测方法，所述方法包括：构建神经网络模型；其中，所述神经网络模型包括特征提取模块、池化模块、多尺度特征融合模块和预测模块；获取自然条件下的香蕉果实图像；根据香蕉果实图像，获取训练集和验证集；利用训练集对神经网络模型进行训练；每完成一次训练，利用验证集对当前神经网络模型进行验证，根据验证结果调整当前神经网络模型的参数；当训练次数达到预设次数后，选取验证结果最优的神经网络模型作为香蕉检测模型；利用香蕉检测模型对果园目标图像中的香蕉果实进行检测。进一步的，所述利用训练集对神经网络模型进行训练，具体包括：将训练集中预设张数的香蕉果实图像输入特征提取模块，提取深层次的香蕉果实特征，将输入图像的尺寸以两倍下采样；将特征提取模块操作后的特征图像输入池化模块，采用最大池化操作；将池化模块操作后的特征图像输入多尺度特征融合模块，进行尺寸放大，与特征提取模块操作后的特征图像进行张量和维度的融合，通过卷积操作将融合后的特征图像下采样，与对应尺度的特征图像再次融合，进一步提取定位特征；将多尺度特征融合模块操作后的特征图像输入预测模块，通过卷积操作，将上层网络得到的三层尺度的特征图像输出，经过DIOU_nms的筛选，得到DIOU_nms值最大的检测结果；通过迭代训练神经网络模型，直到达到迭代次数时，完成一次训练；其中，迭代次数为训练集图像数量除以预设张数的绝对值。进一步的，所述特征提取模块为CSPDarknet模块。进一步的，所述池化模块为空间金字塔池化模块。进一步的，所述多尺度特征融合模块包括特征金字塔网络和路径聚合网络，其中特征金字塔网络用于对池化模块操作后的特征图像进行尺寸放大，与特征提取模块操作后的特征图像进行张量和维度的融合，所述路径聚合网络用于通过卷积操作将融合后的特征图像下采样，与对应尺度的特征图像再次融合，进一步提取定位特征。进一步的，所述利用验证集对当前神经网络模型进行验证，根据验证结果调整当前神经网络模型的参数，具体包括：利用验证集对当前神经网络模型进行验证，基于多个不同的设定阈值，计算得到多个训练损失值以及多组精确率与召回率；根据多组精确率与召回率，绘制精确率-召回率曲线，将精确率-召回率曲线的面积作为平均准确率；根据训练损失值和平均准确率调整当前神经网络模型的参数；所述验证结果最优的神经网络模型是指平均准确率最高的神经网络模型。进一步的，所述利用香蕉检测模型对果园目标图像中的香蕉果实进行检测，具体包括：将果园目标图像输入香蕉检测模型，依次经过特征提取模块、池化模块、多尺度特征融合模块的处理，在预测模块中通过卷积操作输出多个备选香蕉果实检测结果，并通过DIOU_nms对多个备选香蕉果实检测结果进行对比，将DIOU_nms值最大的备选香蕉果实检测结果作为最优香蕉果实检测结果。本专利技术的第二个目的可以通过采取如下技术方案达到：一种基于深度神经网络的果园香蕉检测系统，所述系统包括：构建单元，用于构建神经网络模型；其中，所述神经网络模型包括特征提取模块、池化模块、多尺度特征融合模块和预测模块；第一获取单元，用于获取自然条件下的香蕉果实图像；第二获取单元，用于根据香蕉果实图像，获取训练集和验证集；训练单元，用于利用训练集对神经网络模型进行训练；验证单元，用于每完成一次训练，利用验证集对当前神经网络模型进行验证，根据验证结果调整当前神经网络模型的参数；选取单元，用于当训练次数达到预设次数后，选取验证结果最优的神经网络模型作为香蕉检测模型；检测单元，用于利用香蕉检测模型对果园目标图像中的香蕉果实进行检测。本专利技术的第三个目的可以通过采取如下技术方案达到：一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的果园香蕉检测方法。本专利技术的第四个目的可以通过采取如下技术方案达到：一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的果园香蕉检测方法。本专利技术相对于现有技术具有如下的有益效果：1、本专利技术通过构建神经网络模型，该神经网络模型包括特征提取模块、池化模块、多尺度特征融合模块和预测模块，并对神经网络模型进行训练，得到香蕉检测模型，该香蕉检测模型能够挖掘香蕉果实的深层次特征，检测出更精细的香蕉果实目标，在不同光照和遮挡条件下，可实现不同品种和不同成熟度香蕉的快速检测，为香蕉采摘、成熟度评估和估产提供信息。2、本专利技术的神经网络模型中的特征提取模块采用了CSPDarknet模块，CSPDarknet模块加深了网络，可以提取更多深层次的香蕉果实特征，降低绿色背景对绿色且不规则的香蕉果实的干扰。3、本专利技术的神经网络模型中的池化模块采用了空间金字塔池化模块，空间金字塔池化模块以较少的计算成本增加了网络特征的接受范围。4、本专利技术的神经网络模型中的多尺度特征融合模块包括特征金字塔网络和路径聚合网络，通过特征金字塔网络和路径聚合网络的结合，可以将多尺度特征反复融合，提取更深刻的香蕉语义信息和定位信息，检测出更精细的香蕉果实目标，同一幅图片中多个果实尺寸相差较大时，依然可以实现准确检测。5、本专利技术在利用香蕉检测模型对果园目标图像中的香蕉果实进行检测，通过DIOU_nms算法对香蕉检测模型的输出结果进一步筛选，输出更精确的检测结果，提升了香蕉果实检测结果的置信度。附本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的果园香蕉检测方法，其特征在于，所述方法包括：/n构建神经网络模型；其中，所述神经网络模型包括特征提取模块、池化模块、多尺度特征融合模块和预测模块；/n获取自然条件下的香蕉果实图像；/n根据香蕉果实图像，获取训练集和验证集；/n利用训练集对神经网络模型进行训练；/n每完成一次训练，利用验证集对当前神经网络模型进行验证，根据验证结果调整当前神经网络模型的参数；/n当训练次数达到预设次数后，选取验证结果最优的神经网络模型作为香蕉检测模型；/n利用香蕉检测模型对果园目标图像中的香蕉果实进行检测。/n

【技术特征摘要】
1.一种基于深度神经网络的果园香蕉检测方法，其特征在于，所述方法包括：
构建神经网络模型；其中，所述神经网络模型包括特征提取模块、池化模块、多尺度特征融合模块和预测模块；
获取自然条件下的香蕉果实图像；
根据香蕉果实图像，获取训练集和验证集；
利用训练集对神经网络模型进行训练；
每完成一次训练，利用验证集对当前神经网络模型进行验证，根据验证结果调整当前神经网络模型的参数；
当训练次数达到预设次数后，选取验证结果最优的神经网络模型作为香蕉检测模型；
利用香蕉检测模型对果园目标图像中的香蕉果实进行检测。


2.根据权利要求1所述的果园香蕉检测方法，其特征在于，所述利用训练集对神经网络模型进行训练，具体包括：
将训练集中预设张数的香蕉果实图像输入特征提取模块，提取深层次的香蕉果实特征，将输入图像的尺寸以两倍下采样；
将特征提取模块操作后的特征图像输入池化模块，采用最大池化操作；
将池化模块操作后的特征图像输入多尺度特征融合模块，进行尺寸放大，与特征提取模块操作后的特征图像进行张量和维度的融合，通过卷积操作将融合后的特征图像下采样，与对应尺度的特征图像再次融合，进一步提取定位特征；
将多尺度特征融合模块操作后的特征图像输入预测模块，通过卷积操作，将上层网络得到的三层尺度的特征图像输出，经过DIOU_nms的筛选，得到DIOU_nms值最大的检测结果；
通过迭代训练神经网络模型，直到达到迭代次数时，完成一次训练；其中，迭代次数为训练集图像数量除以预设张数的绝对值。


3.根据权利要求2所述的果园香蕉检测方法，其特征在于，所述特征提取模块为CSPDarknet模块。


4.根据权利要求2所述的果园香蕉检测方法，其特征在于，所述池化模块为空间金字塔池化模块。


5.根据权利要求2所述的果园香蕉检测方法，其特征在于，所述多尺度特征融合模块包括特征金字塔网络和路径聚合网络，其中特征金字塔网络用于对池化模块操作后的特征图像进行尺寸放大，与特征提取模块操作后的特征图像进行张量和维度的融合，所述路径聚合网络用于通过卷积操作将融合后的特征图像下采样，与对应尺度的特征图像再次融合，进一步提取定位特征。

【专利技术属性】
技术研发人员：段洁利，林嘉铨，李君，付兰慧，马立哲，李灿，蒋寅龙，郭杰，刘恩秀，蒋婷婷，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：广东;44