一种自然场景下多阶段草莓果实快速检测方法技术

本发明专利技术公开了一种自然场景下多阶段草莓果实快速检测方法。本发明专利技术步骤是：采集自然场景下草莓图像数据并制作数据集，输入图像，使用指挥网络提取细节指导特征，使用深度可分离卷积进行降维，与细节指导特征相加后使用Drs_2模块提取与特征，使用深度可分离卷积进行降维，与细节指导特征相加后使用Drs_4模块提取与特征，使用深度可分离卷积进行降维，与细节指导特征相加后使用Drs_8模块提取与特征，使用深度可分离卷积进行降维，与细节指导特征相加后使用Drs_8模块提取与特征，进行两级特征融合，使用增强损失函数计算增强损失，使用NMS非极大值抑制，得到检测结果。本发明专利技术能够快速同时检测多种生长阶段的草莓果实。同时检测多种生长阶段的草莓果实。同时检测多种生长阶段的草莓果实。

【技术实现步骤摘要】
一种自然场景下多阶段草莓果实快速检测方法


[0001]本专利技术涉及一般的图像数据处理，具体地说，是在自然场景下基于DL
‑
YOLOv3(英文全称Directorial and lightweight
–
You Only Look Once v3，结合指挥网络的轻量级YOLOv3网络)的多阶段草莓果实快速检测方法。

技术介绍

[0002]草莓味道甜美，是人们喜爱的小浆果之一，在种植过程中，由于生长环境复杂和果实较小，人工采摘和生长观测效率不高，人工成本一直在总支出中占较高比例。近年来，基于人工智能的农业机器人被引入生产过程中，执行劳动密集的采摘任务。但草莓种植生产过程提出了更高的要求：能够快速对多个生长阶段的果实进行检测，这样有利于连续监测作物生长和营养状况，并且预估作物产量，优化农场种植过程。因此，对多阶段草莓果实的快速检测和识别成为了智能农业的最新研究方向。
[0003]由于不同生长阶段的草莓果实外形有较大差异，草莓果实较小、在不同生长阶段草莓数量不同导致的类别不平衡，给多阶段草莓果实检测任务带来了较大困难。Nikolas Lamb等人在“A strawberry detection system using convolutional neural networks”一文中将模型压缩后的SSD算法嵌入到硬件中用于检测草莓果实，但该方法仅能检测成熟果实。Xu Liming等人在“Automated strawberry grading system based on image processing”一文中提取草莓的形状、大小和颜色三个特征，利用多属性决策理论对草莓自动分级，该方法处理的草莓图像简单，并非在真实生长环境中检测草莓。Lin Mar Oo等人在“A simple and efficient method for automatic strawberry shape and size estimation and classification”一文中基于草莓果实形状提取直径、长度和顶角等特征，并输入三层神经网络进行分类，该方法处理的草莓图像背景简单，不适合在田间使用。CN111274877A公开了一种基于卷积神经网络的草莓果实检测方法，该方法只区分成熟和未成熟果实，不能检测其他生长阶段的草莓果实。CN110223349A公开了一种采摘点定位方法，该方法使用DenseNet与ResNet结构改进YOLOv3，由于参数较多导致模型复杂，检测速度较慢。

技术实现思路

[0004]针对现有技术的不足，本专利技术所要解决的技术问题是：提出一种在自然场景下基于DL
‑
YOLOv3的多阶段草莓果实快速检测方法。
[0005]本专利技术方法使用指挥网络提取细节指导特征，与主干网络结合形成双流网络，针对草莓果实特点去除大尺度目标检测分支，使用深度可分离卷积代替普通卷积，大大减少了网络模型参数量，得到改进的YOLOv3模型，即DL
‑
YOLOv3网络，本申请的网络结构不仅体积较小，还能检测到多阶段包括尺寸较小的草莓果实，另外通过指数增强二值交叉熵和二倍增强均方误差结合的损失函数来增强模型对类别的关注度，解决了不同阶段果实数量不平衡的问题，最终能够在自然场景下对多阶段的草莓果实进行快速精准检测。
[0006]本专利技术一种在自然场景下基于DL
‑
YOLOv3的多阶段草莓果实快速检测方法，将包含不同生长阶段草莓果实的草莓图像输入到DL
‑
YOLOv3网络中，实现多阶段草莓果实的快速检测，具体步骤如下：
[0007]第一步，采集自然场景下草莓图像数据并制作数据集：
[0008]将草莓果实生长过程划分为成熟果实(mature)、变色期幼果(turning)、膨大期幼果(expanding)、初期幼果(young_fruit)、花朵(flowering)和花蕾(squaring)等六个阶段；
[0009]第二步，使用指挥网络提取细节指导特征：
[0010]第2.1步，将上述第一步得到的草莓图像作为输入，先用卷积核大小为3
×
3的深度卷积层将图像大小归一化为608
×
608像素，然后用卷积核大小为1
×
1的卷积层进行特征提取，得到输出的特征图为G
2.1
；
[0011]第2.2步，使用卷积核大小为3
×
3的深度可分离卷积层提取G
2.1
的特征，得到输出的特征图为G
2.2
，如下公式(1)所示：
[0012]G
2.2
＝γ3(G
2.1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0013]其中：γ3为卷积核大小为3
×
3的深度可分离卷积层；
[0014]第2.3步，使用卷积核大小为1
×
1的卷积层扩充通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，得到输出的特征图为G
2.3
，如下公式(2)所示：
[0015]G
2.3
＝γ3(φ1(G
2.2
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0016]其中：γ3为卷积核大小为3
×
3的深度可分离卷积层，φ1为卷积核大小为1
×
1的卷积层；
[0017]第2.4步，使用卷积核大小为1
×
1的卷积层扩充通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，得到输出的特征图为G
2.4
，如下公式(3)所示：
[0018]G
2.4
＝γ3(φ1(G
2.3
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0019]其中：γ3为卷积核大小为3
×
3的深度可分离卷积层，φ1为卷积核大小为1
×
1的卷积层；
[0020]第2.5步，使用卷积核大小为1
×
1的卷积层扩充通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，得到输出的特征图为G
2.5
，如下公式(4)所示：
[0021]G
2.5
＝γ3(φ1(G
2.4
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0022]其中：γ3为卷积核大小为3
×
3的深度可分离卷积层，φ1为卷积核大小为1
×
1的卷积层；
[0023]第三步，使用指挥网络与主干网络相结合的双流网络提取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自然场景下多阶段草莓果实快速检测方法，其特征在于：第一步，自然环境中拍摄草莓图像数据，按照生长阶段将草莓果实划分为6类：成熟果实、变色期幼果、膨大期幼果、初期幼果、花朵和花蕾；第二步，使用指挥网络提取细节指导特征：第2.1步，将上述第一步得到的草莓图像作为输入，首先使用卷积核大小为3
×
3的深度卷积层将图像大小归一化为608
×
608像素，然后使用卷积核大小为1
×
1的卷积层进行特征提取，得到输出的特征图为G
2.1
；第2.2步，使用卷积核大小为3
×
3的深度可分离卷积层提取G
2.1
的特征，得到输出的特征图为G
2.2
，如下公式(1)所示：G
2.2
＝γ3(G
2.1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中：γ3为卷积核大小为3
×
3的深度可分离卷积层；第2.3步，使用卷积核大小为1
×
1的卷积层扩充通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，得到输出的特征图为G
2.3
，如下公式(2)所示：G
2.3
＝γ3(φ1(G
2.2
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中：γ3为卷积核大小为3
×
3的深度可分离卷积层，φ1为卷积核大小为1
×
1的卷积层；第2.4步，使用卷积核大小为1
×
1的卷积层扩充通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，得到输出的特征图为G
2.4
，如下公式(3)所示：G
2.4
＝γ3(φ1(G
2.3
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中：γ3为卷积核大小为3
×
3的深度可分离卷积层，φ1为卷积核大小为1
×
1的卷积层；第2.5步，使用卷积核大小为1
×
1的卷积层扩充通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，得到输出的特征图为G
2.5
，如下公式(4)所示：G
2.5
＝γ3(φ1(G
2.4
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中：γ3为卷积核大小为3
×
3的深度可分离卷积层，φ1为卷积核大小为1
×
1的卷积层；第三步，使用指挥网络与主干网络相结合的双流网络提取特征：第3.1步，将特征图G
2.1
作为输入特征图，使用卷积核大小为3
×
3的深度可分离卷积层进行特征降维，然后与第2.2步中提取的特征G
2.2
相加，得到特征图G
3.1
，如下公式(5)所示：G
3.1
＝γ3(G
2.1
)+G
2.2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中：γ3为卷积核大小为3
×
3的深度可分离卷积层；第3.2步，构建Drs_2模块并提取特征：将特征图G
3.1
作为输入特征图，使用卷积核大小为1
×
1的卷积层提升通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，与G
3.1
相加，得到特征图G
3.2.1
，使用卷积核大小为1
×
1的卷积层提升通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，与G
3.2.1
相加后使用卷积核大小为1
×
1的卷积层提取输出特征图G
3.2
；第3.3步，将特征图G
3.2
作为输入特征图，使用卷积核大小为3
×
3的深度可分离卷积层进行特征降维，然后与第2.3步中提取的特征G
2.3
相加，得到特征图G
3.3
，如下公式(6)所示：G
3.3
＝γ3(G
3.2
)+G
2.3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
其中：γ3为卷积核大小为3
×
3的深度可分离卷积层；第3.4步，构建Drs_4模块并提取特征：将特征图G
3.3
作为输入特征图，使用卷积核大小为1
×
1的卷积层提升通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，与G
3.3
相加，得到特征图G
3.4.1
，使用卷积核大小为1
×
1的卷积层提升通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，与G
3.4.1
相加得到特征图G
3.4.2
，使用卷积核大小为1
×
1的卷积层提升通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，与G
3.4.2
相加得到特征图G
3.4.3
，使用卷积核大小为1
×
1的卷积层提升通道数，使用卷积核大小为3
×
3的深度可分离卷积层提取特征，与G
3.4.3
相加后使用卷积核大小为1
×
1的卷积层提取输出特征图G
3.4
；第3.5步，将特征图G
3.4
作为输入特征图，使用卷积核大小为3
×
3的深...

【专利技术属性】
技术研发人员：王岩，孟庆鲁，周艳聪，张波，胡德计，谷晓英，马茜，杨丹丹，
申请(专利权)人：天津商业大学，
类型：发明
国别省市：