一种高准确率的果实产量估算方法、系统及设备技术方案

本发明专利技术公开了一种高准确率的果实产量估算方法、系统及设备，包括：S1、采集果实种植区域中的远景图像以及同一区域的近景图像，并将所述远景图像和近景图像进行图像数据扩充，以扩增图像数据的数量和多样性；S2、将所述远景图像和近景图像输入至预先设立的产量估算网络模型中，学习远景图像和近景图像的信息关联性，得到果实的产量估算值；所述产量估算模型是使用改进的YOLOv5检测模型；S3、将所述果实的产量估算值输入到预先设立的专家系统中进行修正，得到精确的产量估算结果。本发明专利技术通过从远近景产量估算结合的角度入手，考虑到局部产量和全局产量存在的联系，通过学习其中的关联性来提高了产量预估的准确性。联性来提高了产量预估的准确性。联性来提高了产量预估的准确性。

【技术实现步骤摘要】
一种高准确率的果实产量估算方法、系统及设备


[0001]本专利技术属于计算机视觉
，具体涉及一种高准确率的果实产量估算方法、系统及设备。

技术介绍

[0002]中国是个水果生产大国，在很多地区水果产业已经成为当地的支柱产业。其中水果产量估算是果园管理中的一项重要工作，精确的产量估计可以帮助管理者提高果实质量，并且能够更好地决定疏果的强度和采摘劳动力的规模，同时调整生产管理与销售策略。目前的果实估算方法只是简单的通过多张图像中每张图像的果实识别结果来确定果实种植区域的总果实数量，而且果实识别模型缺乏对于目标多尺度融合特征的考虑，这将会导致识别的果实数量出现偏差，影响产量估算。

技术实现思路

[0003]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种高准确率的果实产量估算方法及系统，通过学习远近景图像信息关联性来达到推测出果实总产量的模型，提高了产量预估的准确性。
[0004]为了达到上述目的，本专利技术采用以下技术方案：
[0005]本专利技术一方面提供了一种高准确率的果实产量估算方法，包括下述步骤：
[0006]S1、采集果实种植区域中的远景图像以及同一区域的近景图像，并将所述远景图像和近景图像进行图像数据扩充，以扩增图像数据的数量和多样性；
[0007]S2、将所述远景图像和近景图像输入至预先设立的产量估算网络模型中，学习远景图像和近景图像的信息关联性，得到果实的产量估算值；所述产量估算模型是使用改进的YOLOv5检测模型，所述改进的YOLOv5检测模型包括主干网络Backbone、颈部网络Neck和头部网络Head；所述主干网络Backbone用于提取图像特征信息；所述颈部网络Neck用于把主干网络Backbone提取的特征进行融合，使得颈部网络学习到的特征更具备多样性，，然后再交由后续的头部网络Head去检测，从而提高网络的性能；所述头部网络Head用于预测目标的种类和位置，利用颈部网络融合的特征，做出预测；具体的改进为：
[0008]在主干网络Backbone中采用轻量级特征提取网络GhostNet替换原先的卷积网络；
[0009]在颈部网络Neck的concat操作之后引入注意力机制模块ECA；
[0010]在原来的多尺度融合检测模块FPN+PAN结构的基础上引入BiFPN的结构；
[0011]将颈部网络中CBS模块的Silu激活函数更换成Hardwish激活函数；
[0012]S3、将所述果实的产量估算值输入到预先设立的专家系统中进行修正，得到精确的产量估算结果。
[0013]作为优选的技术方案，所述将所述远景图像和近景图像进行图像数据扩充包括对图像数据进行图像旋转、图像移动、图像缩放、图像增强、噪声注入以及对比度变换中的一种或多种处理。
[0014]作为优选的技术方案，所述步骤S2是通过让产量估算网络模型学习远景图像和近景图像的位置关联性以及近景图像果实数量对远景果实产量的影响，具体为：
[0015]S21、将所述近景图像通过改进的YOLOv5检测模型中进行检测，输出的预测框数量作为近景图像的果实数量n，并编码为向量n
′
；
[0016]S22、将远景图像和近景图像分别经过特征提取网络，生成远景图像特征向量和近景图像特征向量；将近景图像的果实数量n生成的向量n
′
分别与远景图像特征向量和近景图像特征向量进行Concat操作，得到1*1*2C的远景图像特征向量和1*1*2C的近景图像特征向量；
[0017]S23、将1*1*2C的远景图像特征向量和1*1*2C的近景图像特征向量输入到注意力机制模块学习远景图像、近景图像的之间信息关联性，注意力机制模块输出大小为1*1*C的向量作为信息关联性向量，然后输入到一个包括有C个输入神经元，多个隐藏层及输出神经元的MLP网络，MLP网络通过隐藏层神经元学习信息关联性向量与最终果实产量的联系，最终输出一个估算产量值。
[0018]作为优选的技术方案，所述在主干网络Backbone中采用轻量级特征提取网络GhostNet替换原先的卷积网络是在主干网络Backbone中使用GhostNet网络获取大量的特征图，不仅保存了全局特征，而且降低了整体网络计算量，在保持准确率的前提下能够使网络轻量化；GhostNet卷积计算公式为：
[0019]Y
′
＝X*f
′
[0020]其中，X为输入特征图，f
′
为卷积层，Y
′
为特征图集合；同时，为了生成n个特征图，在特征图Y
′
上采用一系列线性变换操作来产生n个Ghost特征图，公式为：
[0021][0022]其中，y
′
i
(i＝1,
…
,m)是Y
′
中m个特征图，Φ
i,j
是生成Ghost特征图y
i,j
的线性变换操作，i表示Y
′
特征图集合的第i个特征图，j表示s个产生冗余操作中的第j个线性操作；此外，线性变换操作的最后一个操作是恒等映射，用来保存原有特征图的信息。
[0023]作为优选的技术方案，所述在颈部网络Neck的concat操作之后引入注意力机制模块ECA；，具体过程为：
[0024]将输入特征图经过全局平均池化，输入特征图从[h,w,c]的矩阵变成[1,1,c]的向量，其中，h为宽度，w为长度，c为通道数；并根据输入特征图的通道数计算得到自适应的一维卷积核大小；将一维卷积核大小用于一维卷积中，得到对于特征图的每个通道的权重；最后将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图，其中，注意力机制模块的计算公式为：
[0025]ω＝σ(C1D
K
(y))
[0026]其中，σ表示Sigmoid激活函数，C1D
K
表示进行卷积核大小为k的1维卷积操作，y表示聚合特征。
[0027]作为优选的技术方案，所述在原来的多尺度融合检测模块FPN+PAN结构的基础上引入BiFPN的结构是将主干网络backbone中的不同尺度的特征图和颈部网络中的Concat操作之后的特征图进行加法add操作，再进行卷积操作，增加了图像特征的信息量。
[0028]作为优选的技术方案，所述步骤S3中，专家系统的知识库用适当的方式存储获取的领域知识、经验，其中包括种植档案、天气信息和历史收成数据；专家系统根据产量估算
网络模型获得的估算产量值以及图像信息，再利用知识库的知识，按一定推理策略去推理出一个产量结果，该产量结果与产量估算网络模型得出的产量结果进行一个损失函数的计算，从而对产量估算网络模型进行一个参数更新，以便更准确地预测产量。
[0029]作为优选的技术方案，还包括根据果实预测位置图和果实实际位置图对预测结果进行评价，具体计算公式为：
[0030][0031][0032][本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高准确率的果实产量估算方法，其特征在于，包括下述步骤：S1、采集果实种植区域中的远景图像以及同一区域的近景图像，并将所述远景图像和近景图像进行图像数据扩充，以扩增图像数据的数量和多样性；S2、将所述远景图像和近景图像输入至预先设立的产量估算网络模型中，学习远景图像和近景图像的信息关联性，得到果实的产量估算值；所述产量估算模型是使用改进的YOLOv5检测模型，所述改进的YOLOv5检测模型包括主干网络Backbone、颈部网络Neck和头部网络Head；所述主干网络Backbone用于提取图像特征信息；所述颈部网络Neck用于把主干网络Backbone提取的特征进行融合，使得颈部网络学习到的特征更具备多样性，然后再交由后续的头部网络Head去检测，从而提高网络的性能；所述头部网络Head用于预测目标的种类和位置，利用颈部网络融合的特征，做出预测；具体的改进为：在主干网络Backbone中采用轻量级特征提取网络GhostNet替换原先的卷积网络；在颈部网络Neck的concat操作之后引入注意力机制模块ECA；在原来的多尺度融合检测模块FPN+PAN结构的基础上引入BiFPN的结构；将颈部网络中CBS模块的Silu激活函数更换成Hardwish激活函数；S3、将所述果实的产量估算值输入到预先设立的专家系统中进行修正，得到精确的产量估算结果。2.根据权利要求1所述一种高准确率的果实产量估算方法，其特征在于，所述将所述远景图像和近景图像进行图像数据扩充包括对图像数据进行图像旋转、图像移动、图像缩放、图像增强、噪声注入以及对比度变换中的一种或多种处理。3.根据权利要求1所述一种高准确率的果实产量估算方法，其特征在于，所述步骤S2是通过让产量估算网络模型学习远景图像和近景图像的位置关联性以及近景图像果实数量对远景果实产量的影响，具体为：S21、将所述近景图像通过改进的YOLOv5检测模型中进行检测，输出的预测框数量作为近景图像的果实数量n，并编码为向量n
′
；S22、将远景图像和近景图像分别经过特征提取网络，生成远景图像特征向量和近景图像特征向量；将近景图像的果实数量n生成的向量n
′
分别与远景图像特征向量和近景图像特征向量进行Concat操作，得到1*1*2C的远景图像特征向量和1*1*2C的近景图像特征向量；S23、将1*1*2C的远景图像特征向量和1*1*2C的近景图像特征向量输入到注意力机制模块学习远景图像、近景图像的之间信息关联性，注意力机制模块输出大小为1*1*C的向量作为信息关联性向量，然后输入到一个包括有C个输入神经元，多个隐藏层及输出神经元的MLP网络，MLP网络通过隐藏层神经元学习信息关联性向量与最终果实产量的联系，最终输出一个估算产量值。4.根据权利要求1所述一种高准确率的果实产量估算方法，其特征在于，所述在主干网络Backbone中采用轻量级特征提取网络GhostNet替换原先的卷积网络是在主干网络Backbone中使用GhostNet网络获取大量的特征图，不仅保存了全局特征，而且降低了整体网络计算量，在保持准确率的前提下能够使网络轻量化；GhostNet卷积计算公式为：Y
′
＝X*f
′
其中，X为输入特征图，f
′
为卷积层，Y
′
为特征图集合；同时，为了生成n个特征图，在特
征图Y
′
上采用一系列线性变换操作来产生n个Ghost特征图，公式为：其中，y
′
i
(i＝1,
…
,m)是Y
′
中m个特征图，Φ
i,j
是生成Ghost特征图y
i,j
的线性变换操作，i表示Y
′
特征图集合的第i个特征图，j表示s个产生冗余操作中的第j个线性操作；此外，线性变换操作的最后一个操作是恒等映射，用来保存原有特征图的信息。5.根据权利要求1所述一种高准确率的果实产量估算方法...

【专利技术属性】
技术研发人员：梁云，黄梓帆，林毅申，刘云帆，姜伟鹏，胡志光，李亮辉，黄俊杰，肖新杰，刘浩宇，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：