一种基于目标检测的春石斛生长状态检测方法技术

本发明专利技术公开了一种基于目标检测的春石斛生长状态检测方法，包括步骤：1)收集大棚内处于不同生长状态的春石斛的图像，构建原始数据集；2)使用图像标注工具，对原始数据集中春石斛植株体进行人工标注；3)选择合适的数据增强的手段对所有原始数据集进行数据增强，形成训练集；4)改进现有神经网络目标检测模型Cascade RCNN的backbone部分，以匹配农业种植大棚场景下的春石斛数据集；5)设定模型参数，使用训练集对模型进行训练，并保存在验证集中表现最优的模型；6)使用保存的模型对待检测的春石斛图像进行前向推理，再经NMS后处理得出最终检测结果，完成对春石斛生长状态的检测。本发明专利技术可实现对春石斛生长状态的准确检测。

【技术实现步骤摘要】
一种基于目标检测的春石斛生长状态检测方法
本专利技术涉及计算机视觉与人工智能的
，尤其是指一种基于目标检测的春石斛生长状态检测方法。
技术介绍
春石斛为兰科、石斛属，具有观赏价值以及药用价值，在中国华南地区其种植由来已久。春石斛植株体在开花前可分为萌芽、假鳞茎单片叶、多片叶展开等多个生长状态，且每个生长状态所需要的环境条件均不相同，尤其是光照强度、温度以及湿度，故在开花前准确识别春石斛的生长状态、并对其施加适宜的环境条件，是春石斛植株体健康生长的必要条件，是春石斛种植中至关重要的一环。随着现代农业的发展，大棚种植技术日趋普遍。现如今，春石斛种植大棚内的环境条件，如光照强度、温湿度等，通过大棚设备已可以做到精准调控，而春石斛生长状态的识别，却仍采取工人的人工判断，这种方式不仅效率低下，且识别准确率不能得到保证。近几年来，我国加大了智慧农业的研发投入，人工智能技术正逐步涉及农业领域，若使用计算机视觉技术对春石斛生长状态进行识别，则可有效解决人工判断方式效率低下、准确率难以保证的弊端。因此，本设计希望能够通过设计一种基于目标检测的春石斛生长状态检测方法，实现大棚内春石斛生长状态的准确与高效识别。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于目标检测的春石斛生长状态检测方法，主要利用数据增强算法扩充春石斛原始集数据，再改进现有神经网络目标检测模型CascadeRCNN的backbone部分，以适用于大棚种植场景下的春石斛数据集，并设定训练参训对网络进行迭代训练，从而实现对春石斛生长状态的准确检测。为实现上述目的，本专利技术所提供的技术方案为：一种基于目标检测的春石斛生长状态检测方法，包括以下步骤：1)收集农业种植大棚内处于不同生长状态的春石斛的图像，构建原始数据集；2)使用图像标注工具，对原始数据集中春石斛植株体进行人工标注；3)根据大棚内环境与春石斛生长特点，使用数据增强的手段对所有原始数据集进行数据增强，构建训练集；4)对神经网络目标检测模型CascadeRCNN进行backbone部分的改进，以匹配农业种植大棚场景下的春石斛；5)对改进后的神经网络目标检测模型设定参数，使用训练集进行训练，并保存最优模型；6)将待检测的图像输入保存好的模型中进行前向推理，再经NMS后处理得出待检测的图像中春石斛植株所处的生长状态，完成对春石斛生长状态的检测；其中，待检测的图像为采集的大棚内春石斛种植情况的图像。在步骤1)中，春石斛开花前其整个生长周期被划分为萌芽、假鳞茎单片叶、多片叶展开、止叶形成和假鳞茎成熟这5个不同的生长状态，故需要采集处于每个不同生长状态的春石斛图像，构建原始数据集。在步骤2)中，使用开源图像标注软件labelme，对原始数据集图像中的春石斛植株体进行标注，每一个植株体对应一条标注信息。在步骤3)中，根据大棚内环境与春石斛植株生长特点，使用数据增强的手段对所有原始数据集进行数据增强，构建训练集；大棚内一天的光照水平均不相同，且春石斛植株生长过程中往往有弯曲现象，基于此种情况，故数据增强的手段包括：a、亮度变化模拟大棚内不同时刻的光照变化，对图像进行亮度变化；b、随机旋转模拟植株生长过程中的弯曲，对图像进行-15度到+15度的随即旋转；c、随机翻转对图像进行水平随即翻转；d、随机剪裁以植株体为中心，对原始图像进行剪裁。在步骤4)中，在CascadeRCNN原有结构的基础上，对其backbone部分做进一步改进，改进方式为使用resnext结构替换原有的resnet结构，实现了模型宽度的扩展，提升了模型对春石斛的感知能力；改进后的模型具体情况如下：a、网络结构网络的输入大小为1200×900×3；网络由5个主要部分组成：stem、backbone、neck、RPN、head，具体含义如下：stem是网络的输入层，包含一个卷积层，卷积核个数为64，用以进行卷积操作并进行两倍下采样；一个最大池化层，滤波器数量为64，用以进行两倍下采样；stem部分实现4倍下采样，经过stem后，输入图像转化为300×225×64的特征图，作为网络下一部分backbone的输入；backbone的功能是对图像进行特征提取，此处选用的是resnext101；resnext101由多个resnext模块组成，一个resnext模块分为前向卷积和远眺链接两部分：其一为前向卷积，前向卷积先对输入的特征图通道数降维至4，并分成C个组，再分别对每一组的特征图进行卷积，最后将每一组的通道数扩充至复原，再将全部C个组的结果相加；其二为远眺链接，远眺链接将输入特征图直接与前向卷积的结果相加，得到resnext模块的最终结果；由多个resnext模块组成的resnext101被分为4个阶段，第一阶段X1输出为300×225×256，第二阶段X2输出为150×113×512，第三阶段X3输出为75×57×1024，第四阶段X4输出为38×29×2048；neck的功能是融合网络中的高低层特征，选用FPN结构，其输入为backbone的X1～X4四个阶段；FPN对输入的X1～X4分别进行卷积核为(1,1)、卷积核个数为256的卷积操作，得到四个特征图Q1、Q2、Q3、Q4，Q1维度为300×225×256、Q2维度为150×113×256、Q3维度为75×57×256、Q4维度为38×256，将Q4、Q3、Q2分别进行两倍上采样后，各与Q3、Q2、Q1相加，实现高低层特征的融合，此处采用的是最近邻上采样；再对Q1～Q4分别进行卷积核为(3,3)、卷积核个数为256的卷积操作，得到四个特征图P1、P2、P3、P4，P1维度为300×225×256、P2维度为150×113×256、P3维度为75×57×256、P4维度为38×256，对P4执行两倍最大池化操作得到P5，最终FPN输出5个维度不同的特征图，维度如下：P1为300×225×256，P2为150×113×256，P3为75×57×256，P4为38×29×256，P5为19×15×256；RPN分为anchor生成器和RPN_head两部分，功能是生成候选框；anchor生成器对neck中FPN结构输出的5个特征图P1～P5，分别在每一个特征图的每个点上放置预设尺寸、长宽比为s、m、l的3种anchor，其中s取值范围0.5±0.3、m取值范围1.0±0.3、l取值范围2.0±0.8，故共有15种不同anchor，将与GroundTruth的IOU大于0.7的anchor定义为正样本，小于0.3的定义为负样本，其余anchor不参与训练；RPN_head含两个并行步骤，其一为对anchor进行定位回归、其二为对anchor进行正样本置信度回归，通过对anchor进行定位修正得到初步的候选框，对候选框按置信度排序，取前2000个候选框并执行阈值为0.7的NMS操作以剔除其中重叠度过高本文档来自技高网...

【技术保护点】
1.一种基于目标检测的春石斛生长状态检测方法，其特征在于，包括以下步骤：/n1)收集农业种植大棚内处于不同生长状态的春石斛的图像，构建原始数据集；/n2)使用图像标注工具，对原始数据集中春石斛植株体进行人工标注；/n3)根据大棚内环境与春石斛生长特点，使用数据增强的手段对所有原始数据集进行数据增强，构建训练集；/n4)对神经网络目标检测模型Cascade RCNN进行backbone部分的改进，以匹配农业种植大棚场景下的春石斛；/n5)对改进后的神经网络目标检测模型设定参数，使用训练集进行训练，并保存最优模型；/n6)将待检测的图像输入保存好的模型中进行前向推理，再经NMS后处理得出待检测的图像中春石斛植株所处的生长状态，完成对春石斛生长状态的检测；其中，待检测的图像为采集的大棚内春石斛种植情况的图像。/n

【技术特征摘要】
1.一种基于目标检测的春石斛生长状态检测方法，其特征在于，包括以下步骤：
1)收集农业种植大棚内处于不同生长状态的春石斛的图像，构建原始数据集；
2)使用图像标注工具，对原始数据集中春石斛植株体进行人工标注；
3)根据大棚内环境与春石斛生长特点，使用数据增强的手段对所有原始数据集进行数据增强，构建训练集；
4)对神经网络目标检测模型CascadeRCNN进行backbone部分的改进，以匹配农业种植大棚场景下的春石斛；
5)对改进后的神经网络目标检测模型设定参数，使用训练集进行训练，并保存最优模型；
6)将待检测的图像输入保存好的模型中进行前向推理，再经NMS后处理得出待检测的图像中春石斛植株所处的生长状态，完成对春石斛生长状态的检测；其中，待检测的图像为采集的大棚内春石斛种植情况的图像。


2.根据权利要求1所述的一种基于目标检测的春石斛生长状态检测方法，其特征在于，在步骤1)中，春石斛开花前其整个生长周期被划分为萌芽、假鳞茎单片叶、多片叶展开、止叶形成和假鳞茎成熟这5个不同的生长状态，故需要采集处于每个不同生长状态的春石斛图像，构建原始数据集。


3.根据权利要求1所述的一种基于目标检测的春石斛生长状态检测方法，其特征在于，在步骤2)中，使用开源图像标注软件labelme，对原始数据集图像中的春石斛植株体进行标注，每一个植株体对应一条标注信息。


4.根据权利要求1所述的一种基于目标检测的春石斛生长状态检测方法，其特征在于，在步骤3)中，根据大棚内环境与春石斛植株生长特点，使用数据增强的手段对所有原始数据集进行数据增强，构建训练集；大棚内一天的光照水平均不相同，且春石斛植株生长过程中往往有弯曲现象，基于此种情况，故数据增强的手段包括：
a、亮度变化
模拟大棚内不同时刻的光照变化，对图像进行亮度变化；
b、随机旋转
模拟植株生长过程中的弯曲，对图像进行-15度到+15度的随即旋转；
c、随机翻转
对图像进行水平随即翻转；
d、随机剪裁
以植株体为中心，对原始图像进行剪裁。


5.根据权利要求1所述的一种基于目标检测的春石斛生长状态检测方法，其特征在于，在步骤4)中，在CascadeRCNN原有结构的基础上，对其backbone部分做进一步改进，改进方式为使用resnext结构替换原有的resnet结构，实现了模型宽度的扩展，提升了模型对春石斛的感知能力；改进后的模型具体情况如下：
a、网络结构
网络的输入大小为1200×900×3；
网络由5个主要部分组成：stem、backbone、neck、RPN、head，具体含义如下：
stem是网络的输入层，包含一个卷积层，卷积核个数为64，用以进行卷积操作并进行两倍下采样；一个最大池化层，滤波器数量为64，用以进行两倍下采样；stem部分实现4倍下采样，经过stem后，输入图像转化为300×225×64的特征图，作为网络下一部分backbone的输入；
backbone的功能是对图像进行特征提取，此处选用的是resnext101；resnext101由多个resnext模块组成，一个resnext模块分为前向卷积和远眺链接两部分：其一为前向卷积，前向卷积先对输入的特征图通道数降维至4，并分成C个组，再分别对每一组的特征图进行卷积，最后将每一组的通道数扩充至复原，再将全部C个组的结果相加；其二为远眺链接，远眺链接将输入特征图直接与前向卷积的结果相加，得到resnext模块的最终结果；由多个resnext模块组成的resnext101被分为4个阶段，第一阶段X1输出为300×225×256，第二阶段X2输出为150×113×512，第三阶段X3输出为75×57×1024，第四阶段X4输出为38×29×2048；
neck的功能是融合网络中的高低层特征，选用FPN结构，其输入为backbone的X1～X4四个阶段；FPN对输入的X1～X4分别进行卷积核为(1,1)、卷积核个数为256的卷积操作，得到四个特征图Q1、Q2、Q3、Q4，Q1维度为300×225×256、Q2维...

【专利技术属性】
技术研发人员：田联房，林铭捷，杜启亮，
申请(专利权)人：华南理工大学，华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：广东;44