一种基于CascadeR-CNN的待采摘水果目标检测方法技术

本发明专利技术公开了一种基于Cascade R

【技术实现步骤摘要】
一种基于Cascade R
‑
CNN的待采摘水果目标检测方法


[0001]本专利技术涉及目标检测的应用领域，具体涉及一种基于Cascade R
‑
CNN的待采摘水果目标检测方法。

技术介绍

[0002]在目标检测领域，基于深度学习的神经网络方法较传统的特征提取方法在准确率和鲁棒性上已经取得了显著的优势，逐渐成为研究应用的热门。在水果采摘领域，采摘机器人的视觉系统需要依靠目标检测检测算法获取到果实种类和坐标等信息，因此目标检测算法的优劣直接决定了采摘效果的好坏。
[0003]针对待采摘水果的识别与定位，薛彬提出了一种基于Faster R
‑
CNN的自然环境下的水果目标检测算法，尽管通过数据增强技术一定程度上扩充了数据规模，但该文仅从互联网上选取了6个类别的水果图片，数据集水果种类较少，并且完全采用人工方式对数据进行标注，费时费力，效率较低，在数据量较大时不利于操作。
[0004]IOU(Intersection of Union)作为目标检测中的超参数，是预测框和真实框的交并比(即相交区域和合并区域的比例)，用于划分训练中正样本以及负样本。IOU阈值过低，正样本的数量过多，容易引起噪声，产生误检现象；而如果IOU阈值设置过高，正样本的数量过少，容易引起过拟合，产生漏检现象。针对自然环境的待采摘水果检测，Faster R
‑
CNN等检测算法中IOU的阈值设置依赖于经验设置，会造成待采摘水果目标漏检或误检、检测框位置不够准确的问题。r/>[0005]因此现有技术需要一种能够有效辅助人工标注图像的方法，来处理人工标注大量待采摘水果图像效率低的问题，同时需要应用一种对IOU阈值有所改进的目标检测网络，来改善IOU阈值设置不当造成水果目标漏检或误检的问题。

技术实现思路

[0006]本专利技术提供了一种基于Cascade R
‑
CNN的多类别水果采摘目标检测方法，旨在处理人工标注大量待采摘水果图像效率低的问题。同时应用Cascade R
‑
CNN作为目标检测算法，改善IOU阈值设置不当造成水果目标漏检或误检的问题。所述方法具体包括如下步骤
[0007]S1：采集自然环境下的水果图像；
[0008]S2：将采集到的原始水果图像进行扩充；
[0009]S3：将收集到的原始水果图像划分为训练集、测试集和验证集图像，并将训练集和验证集的图像划分为原始图像train_org、val_org和扩充后的图像train_aug、val_aug；
[0010]S4：人工标注训练集中的原始图像：将训练集和验证集中的原始图像train_org、val_org使用labelimg人工标注得到数据集dataset_org；
[0011]S5：构建Cascade R
‑
CNN网络，将数据集dataset_org输入该网络进行训练，得到训练好的辅助模型pth_aux；
[0012]S6：通过辅助模型pth_aux标注扩充后的图像train_aug、val_aug，通过辅助模型
pth_aux检测水果图像中的待采摘水果目标，得到数据集dataset_aug；
[0013]S7：将数据集dataset_org和dataset_aug输入构建好的Cascade R
‑
CNN网络训练得到训练好的最终检测模型pth用于测试集图像的检测；
[0014]S8：使用测试集在检测模型pth测试，输出最后的分类和定位检测框结果。
[0015]进一步地，所述步骤S1中采集的单类水果图像至少1000张以上的图片。
[0016]进一步地，所述步骤S2具体为：使用imageAug开源库，实现几何变换类和颜色变换类的单样本数据增强方法，进行扩充。
[0017]进一步地，所述几何变换类的单样本数据增强方法为包括翻转，旋转，裁剪，变形，缩放在内的操作；所述颜色变换类的单样本数据增强方法为包括噪声、模糊、颜色变换、擦除、填充在内的操作。
[0018]进一步地，步骤S4中，使用labelImg标注软件在训练集和验证集中的原始图像train_org、val_org中用一个矩形框框出感兴趣的水果目标。
[0019]进一步地，所述步骤S5具体包括以下子步骤：
[0020]S501，使用Cascade R
‑
CNN网络中的CNN网络提取输入水果图像的特征，其中CNN网络为ResNet50
‑
FPN，得到多尺度特征图；
[0021]S502，将步骤S501得到的多尺度特征图输入RPN生成检测框，得到候选区域；
[0022]S503，将多尺度特征图和步骤S502生成的候选区域一起输入Cascade R
‑
CNN级联检测器，输出最终的分类和定位检测框；
[0023]S504，设置学习率与训练轮次，训练迭代得到辅助模型pth_aux。
[0024]进一步地，所述S501具体为：所述ResNet50
‑
FPN网络包括自下而上、自上而下和横向连接三部分；自下而上的ResNet的分为5个卷积阶段，每个卷积阶段负责特征提取，输出的不同尺度特征图横向连接至FPN用于后续特征融合；自上而下的FPN分为5个特征融合阶段，将高层次特征图使用上采样扩展到和横向连接特征图相同的尺寸，进行尺度融合；最终每一层的融合特征图各自输入一个3
×
3卷积层，得到最终的多尺度特征图。
[0025]进一步地，所述步骤S502具体为：将步骤S501得到的多尺度特征图输入RPN生成检测框，根据特征图的尺度生成不同长宽比的锚框，将所有的锚框输入卷积层提取各自区域特征；RPN包括第一分支和第二分支，第一分支通过softmax层对各检测框进行正负样本的分类，第二个分支进行区域边界框的回归，修正矩形边界框四个点的坐标，以寻找生成的锚框与实际标签边界框之间的变化关系；当对于生成的边界框进行正负分类与坐标修正后，RPN会将正负样本的分类结果和生成的锚框与实际标签边界框之间的变化关系输入proposal层，得到候选区域。
[0026]进一步地，所述步骤S503具体为：Cascade R
‑
CNN模型拥有三个级联检测器，每个级联检测器的过程具体为：将多尺度特征图和步骤S502生成的候选区域输入池化层中，提取出感兴趣区域，并进行归一化；将归一化后的特征图将被输入全连接层，采用softmax分类器进行目标检测分类，对bounding box进行边框回归，得到水果目标的分类和定位检测框结果。
[0027]进一步地，所述步骤S8具体为：
[0028]S801：初始化目标检测模型pth；
[0029]S802：获取输入图像；
[0030]S803：使用目标检测模型pth框选前景目标并进行区域校正，将前景目标送入分类器进行分类得到带有分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Cascade R
‑
CNN的待采摘水果目标检测方法，其特征在于，该方法具体包括以下步骤：S1：采集自然环境下的水果图像；S2：将采集到的原始水果图像进行扩充；S3：将收集到的原始水果图像划分为训练集、测试集和验证集图像，并将训练集和验证集的图像划分为原始图像train_org、val_org和扩充后的图像train_aug、val_aug；S4：人工标注训练集中的原始图像：将训练集和验证集中的原始图像train_org、val_org使用labelimg人工标注得到数据集dataset_org；S5：构建Cascade R
‑
CNN网络，将数据集dataset_org输入该网络进行训练，得到训练好的辅助模型pth_aux；S6：通过辅助模型pth_aux标注扩充后的图像train_aug、val_aug，通过辅助模型pth_aux检测水果图像中的待采摘水果目标，得到数据集dataset_aug；S7：将数据集dataset_org和dataset_aug输入构建好的Cascade R
‑
CNN网络训练得到训练好的最终检测模型pth用于测试集图像的检测；S8：使用测试集在检测模型pth测试，输出最后的分类和定位检测框结果。2.根据权利要求1所述的基于Cascade R
‑
CNN的待采摘水果目标检测方法，其特征在于，所述步骤S1中采集的单类水果图像至少1000张以上的图片。3.根据权利要求1所述的基于Cascade R
‑
CNN的待采摘水果目标检测方法，其特征在于，所述步骤S2具体为：使用imageAug开源库，实现几何变换类和颜色变换类的单样本数据增强方法，进行扩充。4.根据权利要求3所述的基于Cascade R
‑
CNN的待采摘水果目标检测方法，其特征在于，所述几何变换类的单样本数据增强方法为包括翻转，旋转，裁剪，变形，缩放在内的操作；所述颜色变换类的单样本数据增强方法为包括噪声、模糊、颜色变换、擦除、填充在内的操作。5.根据权利要求1所述的基于Cascade R
‑
CNN的待采摘水果目标检测方法，其特征在于，步骤S4中，使用labelImg标注软件在训练集和验证集中的原始图像train_org、val_org中用一个矩形框框出感兴趣的水果目标。6.根据权利要求1所述的基于Cascade R
‑
CNN的待采摘水果目标检测方法，其特征在于，所述步骤S5具体包括以下子步骤：S501，使用Cascade R
‑
CNN网络中的CNN网络提取输入水果图像的特征，其中CNN网络为ResNet50
‑
FPN，得到多尺...

【专利技术属性】
技术研发人员：江涵，梁秀波，
申请(专利权)人：浙江大学软件学院宁波管理中心宁波软件教育中心，
类型：发明
国别省市：