一种基于深度目标检测的待采摘水果识别和定位方法技术

本发明专利技术公开一种基于深度目标检测的待采摘水果识别和定位方法，包括以下步骤：图像采集。图像标注。数据集准备。特征提取，使用深度卷积神经网络CNN首先提取图像中的水果特征；使用VGG16作为特征提取的卷积神经网络。模型训练，对于所有训练样本首先提取每个卷积层上的特征图，对于抽取得到的特征图生成预测框，计算预测框中目标的类别，计算预测框和真实标注框之间的距离，在训练的过程中联合类别损失和预测框偏移损失作为训练的目标损失函数。基于上述完整的一次计算过程完成一次训练，当训练次数达到预定阈值或者损失小于预定阈值训练结束。

【技术实现步骤摘要】
一种基于深度目标检测的待采摘水果识别和定位方法
本专利技术涉及一种待采摘水果识别和定位方法，尤其涉及一种一种基于深度目标检测的待采摘水果识别和定位方法。
技术介绍
水果采摘作业所处自然环境的复杂性导致水果采摘仍然依靠人力，水果采摘环节所需的劳动力占整个生产过程投入劳动力的一半以上。随着我国农业从业人口的不断下降和人工成本的不断上升，水果自动化采摘对于解决水果产业中劳动力不足，保证水果适时采摘，提高采摘品质等方面具有重要的意义。因此，研究水果的自动采摘技术迫在眉睫。在水果的自然生长环境下快速而可靠的发现水果目标并确定待采摘水果的位置是实现自动采摘的关键技术。近年来，很多水果检测识别和定位算法相继提出。有基于超红图像和2R-G-B色差增强苹果特征，利用自适应阈值分割方法从图像中提取苹果区域；有研究了基于区域生长和颜色特征分割的方法，通过支持向量机识别提取的苹果颜色和形状特征，但是对于叶面遮挡引起的平均误差率较大；有应用残差变换绝对值和块匹配方法检测潜在的柑橘果实像素，构建一个支持向量机实现了较高的识别精确率，但是对于遮挡以及光照不均匀水果的识别表现不佳。在水果的自然生长环境下，果树的枝叶与果实、果实与果实之间存在复杂的相互位置关系，导致果实被枝叶或其他果实随机遮挡。现有算法的思路主要是针对待采摘水果的纹理、颜色和形态等人工设计并抽取特征，当在自然条件下遮挡情况和光照条件随场景变化而变化，与之对应的待采摘水果的特征也随之变化，因此基于人工特征设计的水果特征提取算法鲁棒性有待提高；自然生产条件下，获取的水果图像通常都存在遮挡或者光照不均匀等复杂背景，上述的水果识别和定位算法对于自然生长条件下的水果识别率和定位精度有待提高。专利技术的内容针对以上问题，本专利技术提供了一种可实现复杂环境下水果特征自动提取、复杂自然环境下的水果自动识别、复杂自然环境下的水果自动定位的基于深度目标检测的待采摘水果识别和定位方法。为了解决以上问题，本专利技术采用了如下技术方案：一种基于深度目标检测的待采摘水果识别和定位方法，其特征在于，包括以下步骤：步骤1图像采集本图像采集基于普通的RGB图像实现，图像采集目标是实际自然生长环境下的待采摘水果；图像通过普通的单反相机获取，成像时模拟人工采摘的视角，保持相机的高度和水果目标基本持平，水果目标保持在图像中心位置；步骤2图像标注对步骤1中采集的原始数据进行人工标注；人工的将图像中的待采摘水果通过最小外接矩形标出，记录框处目标水果的类别(如苹果)，记录最小外接矩形在图片中左上角和右上角的顶点坐标；数据记录标注的格式与目前广泛使用的ImageNet图像数据集的标注格式相同；步骤3数据集准备将步骤1的原始图像和步骤2对应的标记数据共同作为一条可训练数据，将所有的可训练数据组成原始的数据集；将原始数据按照5:3:2的比例，人为随机的切分为3个子集，分别作为后续的检测模型的训练集、验证集和测试集；训练集、验证集和测试集基于原始的数据集，且三个子集合之间在图像空间上独立分布没有重复；步骤4网络训练对于步骤3中划分的训练集，使用深度卷积神经网络(convolutionslneuralnetwork，CNN)首先提取图像中的水果特征；使用VGG16作为特征提取的卷积神经网络，VGG16网络包含13个卷积(Conv)层、13个激活(Relu)层及4个池化(Pooling)层；设计扩边填充(Padding)处理，在卷积计算过程中对图像边缘进行像素值的补0，保证了Conv层保证输入和输出矩阵大小一致；对于输入的原始图像对于输入的原始图像通过大小为3*3的卷积核进行卷积运算提取特征图(Featuremap)，卷积计算公式如式(1)所示；式中表示在第l卷积层的第j个特征图，表示在第l-1卷积层的第j个特征图，F()表示激活函数，Mj代表输入图像的特征量，i∈Mj表示i为输入图像特征量的编号，为卷积核，为偏置项；选择基于基于卷积神经网络(ConvolutionalNeuralNetwork,CNN)的SSD(singleshotdetector)检测网络来训练最后的待采摘水果检测识别和定位模型；SSD算法构建的检测网络中使用全卷积层的VGG16作为基础网络来提取目标的特征，即步骤4可以作为步骤5的检测网络的一个部分进行融合；SSD物体检测框架在多层特征图中产生固定大小的边界框和框中类别的置信度，模型训练的总体目标损失函数如式(2)所示；式中x表示预测框中目标的类别，c是Softmax函数对每类别的置信度，N是匹配默认框的数量，权重项α通过交叉验证设置为1；位置损失Lloc是预测框和真实标签框之间的平滑损失smoothL1，上标m表示{cx，cy，w，h}，损失表示如式(3)所示。训练过程中在产生的预测框和真实的标签框之间进行偏移回归，其中box＝{cx，cy，w，h}表示预测框中心坐标及其宽高；使用平移量和尺度缩放因子获取真实标签的近似回归预测框和分别表示预测框的坐标值，和表示预测框的宽和长，如式(4)所示；置信损失如式(5)所示；其中表示类别p的第i个默认框置信度，i∈pos和i∈neg分别表示i在正样本和负样本集合中的编号，的计算如式(6)所示；训练阶段使用式(2)作为预测框坐标偏移的回归计算，使其尽可能接近标注框；训练过程中迭代次数、学习率两个参数保持SSD网络初始的默认值。步骤5模型测试输入待识别和定位的水果图像，调用训练完成的水果检测模型进行测试，最终输出结果为输入图像中水果的类别信息和位置信息，并通过矩形框将水果标出。本专利技术与现有技术相对，具有以下有益效果：本专利技术基于深度卷积神经网络实现自然场景下水果目标的特征提取，解决了目标场景变化时人为设计和提取的特征代表性不足和欠鲁棒性，能够实现自然生产场景下的待采摘水果特征有效提取和表示。本专利技术基于SSD深度检测框架将水果的识别和定位转化为回归问题，构建位置预测回归模型来进行水果定位，计算预测框类别置信度概率来识别水果类别，实现了自然生产场景下的待采摘水果的有效和可靠识别和定位附图说明图1为SSD深度检测网络框架。具体实施方式以自然生产场景下的待采摘苹果自动识别和定位为例。硬件设备：a.数码相机(佳能EOS70D)b.处理平台为AMAX的PSC-HB1X深度学习工作站，处理器为Inter(R)E5-2600v3，主频为2.1GHZ，内存为128GB，硬盘大小为1TB，显卡型号为GeForceGTXTitanX。运行环境为：Ubuntu16.0.4，Python2.7。具体的实施方式如下：Step1图像采集使用佳能数码相机采集自然生长场景下的苹果图像，拍摄时相机高度与成人直立高度相近(1.8米左右)，相机镜头角度随机，样本拍摄过程中保持苹果目标在采集图像的中间且清晰，保持成像焦距在整个样本拍摄过程中不变。Step2图像标注对1000张训练集样本图片中的苹果进行人工标注，标出真实的每一个苹果的最小外接矩形框并记录矩形框左上角和右下角两个顶点的坐标信息。Step3数据集准备针对Step1中采集苹果图片2000张，人工随机选取600张作为验证集，400张作为测试集，剩余的1000张加入步骤2中的标注信息作为训练集。Step4网络训练Step4-1网络部署在(b)中所述的深本文档来自技高网...

【技术保护点】
1.一种基于深度目标检测的待采摘水果识别和定位方法，其特征在于，包括以下步骤：步骤1图像采集本图像采集基于普通的RGB图像实现，图像采集目标是实际自然生长环境下的待采摘水果；图像通过普通的单反相机获取，成像时模拟人工采摘的视角，保持相机的高度和水果目标基本持平，水果目标保持在图像中心位置；步骤2图像标注对步骤1中采集的原始数据进行人工标注；人工的将图像中的待采摘水果通过最小外接矩形标出，记录框处目标水果的类别，记录最小外接矩形在图片中左上角和右上角的顶点坐标；数据记录标注的格式与目前广泛使用的ImageNet图像数据集的标注格式相同；步骤3数据集准备将步骤1的原始图像和步骤2对应的标记数据共同作为一条可训练数据，将所有的可训练数据组成原始的数据集；将原始数据按照5:3:2的比例，人为随机的切分为3个子集，分别作为后续的检测模型的训练集、验证集和测试集；训练集、验证集和测试集基于原始的数据集，且三个子集合之间在图像空间上独立分布没有重复；步骤4网络训练对于步骤3中划分的训练集，使用深度卷积神经网络(Convolutionsl Neural Network，CNN)首先提取图像中的水果特征；使用VGG16作为特征提取的卷积神经网络，VGG16网络包含13个卷积(Conv)层、13个激活(Relu)层及4个池化(Pooling)层；设计扩边填充(Padding)处理，在卷积计算过程中对图像边缘进行像素值的补0，保证了Conv层输入和输出矩阵大小一致；对于输入的原始图像通过大小为3*3的卷积核进行卷积运算提取特征图(Feature map)，卷积计算公式如式(1)所示；式中...

【技术特征摘要】
1.一种基于深度目标检测的待采摘水果识别和定位方法，其特征在于，包括以下步骤：步骤1图像采集本图像采集基于普通的RGB图像实现，图像采集目标是实际自然生长环境下的待采摘水果；图像通过普通的单反相机获取，成像时模拟人工采摘的视角，保持相机的高度和水果目标基本持平，水果目标保持在图像中心位置；步骤2图像标注对步骤1中采集的原始数据进行人工标注；人工的将图像中的待采摘水果通过最小外接矩形标出，记录框处目标水果的类别，记录最小外接矩形在图片中左上角和右上角的顶点坐标；数据记录标注的格式与目前广泛使用的ImageNet图像数据集的标注格式相同；步骤3数据集准备将步骤1的原始图像和步骤2对应的标记数据共同作为一条可训练数据，将所有的可训练数据组成原始的数据集；将原始数据按照5:3:2的比例，人为随机的切分为3个子集，分别作为后续的检测模型的训练集、验证集和测试集；训练集、验证集和测试集基于原始的数据集，且三个子集合之间在图像空间上独立分布没有重复；步骤4网络训练对于步骤3中划分的训练集，使用深度卷积神经网络(ConvolutionslNeuralNetwork，CNN)首先提取图像中的水果特征；使用VGG16作为特征提取的卷积神经网络，VGG16网络包含13个卷积(Conv)层、13个激活(Relu)层及4个池化(Pooling)层；设计扩边填充(Padding)处理，在卷积计算过程中对图像边缘进行像素值的补0，保证了Conv层输入和输出矩阵大小一致；对于输入的原始图像通过大小为3*3的卷积核进行卷积运算提取特征图(Featuremap)，卷积计算公式如式(1)所示；式中表示在第l卷积层的第j个特征图，表示在第l-1卷积层的第j个特征图...

【专利技术属性】
技术研发人员：邓杨敏，李亨，吕继团，
申请(专利权)人：江苏德劭信息科技有限公司，
类型：发明
国别省市：江苏,32