一种基于深度学习的苹果采摘机器人果实目标检测方法技术

一种基于深度学习的苹果采摘机器人果实目标检测方法，包括如下步骤：使用移动式智能机器人搭载的相机拍摄足够多的苹果树及其果实图像，训练不同尺度的分类器，通过滑动窗口对待捡图像进行滑动检测，确定疑是存在果实窗口，并将该窗口输入卷积神经网络进行果实检测。

A method for detecting fruit target of apple picking robot based on depth learning

A method for detecting target fruit picking robot based on deep learning of the apple, which comprises the following steps: using a mobile robot equipped with a camera to shoot enough of the apple tree and its fruit image, different scales of training classifier, by a sliding window to pick up the image towards sliding detection, determine the suspect there is fruit window, and the window input convolutional neural network detection of fruit.

【技术实现步骤摘要】
一种基于深度学习的苹果采摘机器人果实目标检测方法
本专利技术涉及一种利用深度学习目标检测算法实现苹果采摘机器人果实目标检测的方法，具体涉及一种利用深度学习算法对采摘机器人视觉图像进行识别与检测，并标定果实区域的方法，属于机器视觉领域。
技术介绍
中国是苹果生产大国，苹果生产过程中采摘的工作量最大，大约占全部劳动量的40％左右，采摘质量的优劣会对水果的存储、处理、加工及销售等多方面均会有影响。由于采摘作业要求较高，因此大部分采摘工作是手工完成，但手工采摘的成本较高、耗时长难以适应规模化种植的需要。因此为了提高生产效益、将农民从繁重的采摘作业中解放出来，果实机械收获是一个急需解决的问题。苹果果实采摘机器人一个关键环节是果实目标的正确识别与定位，视觉系统的好坏对整个机器人的性能具有相当重要的影响。因此采摘机器人视觉系统的研究，对于解决我国农村劳动力短缺问题，提高农民的生产力，促进社会主义新农村的建设均具有最要的意义。多年来国内外大量的科技工作者致力于收获机器人视觉系统的研究工作，但由于机器人的工作环境复杂多变，作业对象(果实、树叶、树枝)生长状态复杂多样，导致捕获的图像存在大量噪声及干扰信本文档来自技高网...

【技术保护点】
一种基于深度学习的苹果采摘机器人果实目标检测方法，包括如下步骤：步骤1.样本数据采集：在苹果收获季节前往苹果种植园，使用移动式智能机器人搭载的相机，选取尽可能多的角度，分别拍摄顺光、逆光条件下的果树果实图片；将图片中的苹果果实部分裁剪为统一大小的正样本，不含苹果果实的部分裁剪为统一大小的负样本，正样本数与负样本数均至少为5000；步骤2.提取融合特征：使用matlab中image函数提取RGB或LUV色彩分量，通过梯度方向直方图提取检测目标的边缘梯度信息，提取方式如下：将图像I划分成若干个块状结构BLOCK，然后对每一个划分的BLOCK按照“田字格”规则均分成四个子块CELL，并统计每个CEL...

【技术特征摘要】
1.一种基于深度学习的苹果采摘机器人果实目标检测方法，包括如下步骤：步骤1.样本数据采集：在苹果收获季节前往苹果种植园，使用移动式智能机器人搭载的相机，选取尽可能多的角度，分别拍摄顺光、逆光条件下的果树果实图片；将图片中的苹果果实部分裁剪为统一大小的正样本，不含苹果果实的部分裁剪为统一大小的负样本，正样本数与负样本数均至少为5000；步骤2.提取融合特征：使用matlab中image函数提取RGB或LUV色彩分量，通过梯度方向直方图提取检测目标的边缘梯度信息，提取方式如下：将图像I划分成若干个块状结构BLOCK，然后对每一个划分的BLOCK按照“田字格”规则均分成四个子块CELL，并统计每个CELL所属区域内像素点的梯度在不同方向上的分布得到了CELL的特征，最后将分别属于四个CELL的特征组合在一起形成了BLOCK的特征向量；设(x,y)为任意一个CELL中的像素点坐标，则其水平方向的梯度为Gx(x,y)，垂直方向的梯度为Gy(x,y)，梯度幅值为G(x,y)，以及梯度的方向为θ(x,y)，分别由公式(1)、(2)、(3)、(4)计算得出：Gx(x,y)＝I(x+1,y)-I(x-1,y)(1)Gy(x,y)＝I(x,y+1)-I(x,y-1)(2)在CELL中的所有像素点都按照上述公式计算完毕之后，该CELL就可以用一个基于方向的直方图来表示；该直方图的横坐标表示的是梯度方向，纵坐标表示的是对应幅值的累加和；随机选择一种通道，再使用一个大小随机、最小为25像素的矩形区域使用积分图进行像素值求和；每一张图像可以得到约5000个通道特征，这些特征构成一个特征集合，用于训练弱分类器的特征将随机从这些特征集合中选取；步骤3.分类器训练：使用步骤2中的特征集合训练adaboost分类器，其算法过程如下：(S1)初始化样本权重，w＝1/N，设置最大误检率fmax，最小检测率dmin；(S2)计算弱分类器的错误率，选取合适的阈值，使得误差最小；(S3)根据上述结果，更新样本权重；权重更新如公式(5)所示，其中i为样本编号，wi为样本对应的原权重，ci为上一次分类结果，yi为原始类别标签：w＝wi*exp(-yi*ci)(5)(S4)将迭代产生的t个弱分类器线性组合成一个状态分类器，如公式(6)所示，H(x)为组合分类器的输出；其中hk(x)为弱分类器的输出，α表示h(x)在最终分类器中的重要程度，error表示错误率；(S5)对每个正样本计算H(x)，统计其分类结果，计算分类器的检测率；若该检测率低于预先设定的目标检测率，则降低该分类器的阈值，提高检测率；步骤4.滑动窗口检测：用滑动窗口在整幅图像上以一定的步长滑动，直到遍历完整幅图像，遍历过程中将窗口放入步骤3中训练完成的分类器中进行分类，若判定该窗口为苹果果实，则将该窗口标定出来作为疑是存在果实窗口，否则继续滑动；某个尺度的滑动窗口滑动完毕后，下一个尺度的滑动窗口将继续上一步的步骤，直到所有尺度的分类器滑动完成；步骤5.卷积神经网络检测：构建卷积神经网络模型，将步骤4确定的疑是存在果实窗口输出至该模型进行果实检测；其中卷积神经网络模型相关描述如下：卷积神经网络模型依...

【专利技术属性】
技术研发人员：王万良，鞠振宇，邱虹，杨平，应森亮，郑建炜，
申请(专利权)人：浙江工业大学，浙江工业大学义乌科学技术研究院有限公司，
类型：发明
国别省市：浙江,33