一种基于卷积神经网络的水果识别方法技术

本发明专利技术公开一种基于卷积神经网络的水果识别方法，包括如下步骤：S1：水果图像数据采集，通过摄像头和镜头完成水果图像数据采集；S2：图像处理，针对图像特点，完成图像预处理、图像分割、形态学处理以及连通区域特征分析的工作；S3：构建卷积神经网络模型，并通过卷积神经网络训练对图像处理的结果进行多尺度的特征提取；S4：在完成卷积神经网络训练后，将数据结果通过串口发送数据给芯片，芯片控制控制舵机使机械臂分拣水果；通过改进K均值水果分割算法，利用形态学处理和连通区域特征分析完成目标区域的选择定位，利用卷积神经网络特有的边隐式提取特征，同时对样本进行特征学习，实现水果品种识别分类，提高水果品种的准确识别率。率。率。

【技术实现步骤摘要】
一种基于卷积神经网络的水果识别方法


[0001]本专利技术属于图像识别相关
，具体涉及一种基于卷积神经网络的水果识别方法。

技术介绍

[0002]目前，我国现行的水果产业结构中机械化程度较低，大部分生产环节尤其果实采摘主要依靠费时费力的人工进行。整个水果生产作业中包括采摘、储藏、运输、加工以及销售等环节，因此研究开发水果农业生产机器人，是提高水果生产效率和节约人力成本的必然趋势。而无论是采摘、分拣机器人，还是水果生产环节中的果实品质、品种检测系统，它们的正常工作都依赖于图像处理模块对果实的正确识别，例如采摘机器人只有从果树中识别出水果并获取到果实的准确位置，才能为机械手臂提供运动参数，进而完成对果实的摘取操作。
[0003]近几年，随着机器视觉和计算机技术的成熟，深度学习技术迅速发展，它能够出色地完成各项计算机视觉任务，经过大量数据训练，能够自动地学习到不同事物的特征信息，获取各类别的差异，能够将原始数据转换为更加抽象、高级的表达，进而完成图像分类、检测等任务，从而越来越广泛的应用于农作物生长监测中；然而，目前基于图像深度学习的水果品种识别方法的准确率偏低，不能完全满足实际应用的要求。

技术实现思路

[0004]本专利技术的目的在于提供一种基于卷积神经网络的水果识别方法，以解决上述
技术介绍
中提出的水果品种识别方法的准确率偏低问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于卷积神经网络的水果识别方法，包括如下步骤：
[0006]S1：水果图像数据采集，通过摄像头和镜头完成水果图像数据采集；
[0007]S2：图像处理，针对图像特点，完成图像预处理、图像分割、形态学处理以及连通区域特征分析的工作；
[0008]S3：构建卷积神经网络模型，并通过卷积神经网络训练对图像处理的结果进行多尺度的特征提取；
[0009]S4：在完成卷积神经网络训练后，将数据结果通过串口发送数据给芯片，芯片控制控制舵机使机械臂分拣水果。
[0010]优选的，所述S1中的步骤中摄像头负责水果图像信息的采集，主要依据检测精度、视野尺寸进行选择，镜头参数主要是焦距，其选择主要依据工作距离进行确定。
[0011]优选的，所述S2中的图像预处理是针对水果图像特点，提取图像的R空间颜色特征分量，进行高斯滤波处理，高斯模板通过对二维高斯函数的离散化表示，对于一个大小为(2u+1)
×
(2u+1)的矩阵M﹐其(a，b)位置的元素表示为：
[0012][0013]其中α为高斯函数标准差，高斯滤波模板大小为5
×
5。
[0014]优选的，所述S2中的图像分割是利用改进K均值聚类分割算法对图像进行分割，形成分割区域，具体聚类分割算法如下：
[0015]Stepl：首先将样本图像灰度值转换为尺寸大小为N的一维样本数据集C，其中N样本图像像素个数，设迭代运算次数为Ⅰ且聚类类型为j时的聚类中心为Z
j
(I)，从数据集C中随机选取一个样本对象作为初始聚类中心Z1(1)；
[0016]计算每个样本Xm，与已有聚类中心的最短距离d(X
m
)，m＝1，2...N，其中X
m
为数据集中的第m个样本；接着计算每个样本对象被选为下一个聚类中心的概率P(X
m
)：
[0017][0018]按照轮盘法选择下一个聚类中心重复步骤直到选择出k个对象组成初始聚类中心Z
j
(1)，j＝1，2，3，...k，具体的，聚类中心个数k＝4；
[0019]Step2：迭代计算：根据相似度准则计算样本数据集C中每个样本xm与初始聚类中的距离D(X
m
；Z
j
(I))，m＝1，2，3....N，j＝1，2，3
…
k，如下式(5)所示，将各个数据对象划分到距离最小的聚类集合簇S
j
中，则X
m∈
S
j
：
[0020][0021]Step3：聚类中心更新：按照聚类中心更新公式计算各聚类集合中的均值作为该集合新的聚类中心，更新得到新的聚类集合中心，设为聚类j的元素，聚类j的元素个数为n
j
，聚类中心更新公式如式(6)所示：
[0022][0023]Step4：终止条件：循环更新聚类集合中心，直到各聚类中心不再发生变化或者误差平方和局部最小为止，聚类准则函数J计算方法为：
[0024][0025]精度误差为ξ，若|J(I+1)
‑
J(I)|<ξ，则算法结束，终止迭代，否则反复执行迭代计算和聚类中心直至满足终止条件。
[0026]优选的，所述S2中的形态学处理是经过图像分割得到的区域还存在很多的噪声干扰信息，为了祛除噪声区域，利用形态学处理算法对分割区域进行处理，设A表示图像矩阵，B表示结构元素，形态学处理方法如下式所示：
[0027][0028]采用尺寸为10
×
10的矩形结构元素对聚类分割区域进行开操作。
[0029]优选的，所述S2中的连通区域特征分析是经过形态学处理后，细小的噪声干扰区域已经祛除；考虑到水果的实际大小，需要进一步祛除非目标区域；将灰度一致，且满足8邻
接的像素判定为相同区域，通过连通区域面积特征，过滤噪声干扰区域，根据如下公式提取出像素面积在(SMin，SMax)的区域X，
[0030][0031]其中SMn和SMax分别为面积像素的参数下限值和上限值。
[0032]优选的，所述S3中的构建卷积神经网络模型如下：
[0033]1、卷积层
[0034]在卷积神经网络中，第一个卷积层直接接受图像像素级的输入，每一个卷积操作只处理一小块图像，进行卷积变化后再传到后面的网络，每一层卷积都会提取数据中最有效的特征；卷积层是卷积神经网络的核心层，而卷积是卷积层的核心，关于简单卷积的运算，是一种简单的二维空间卷积运算将矩阵中输入的每个元素与中间矩阵的每个元素对应相乘并相加.这便是卷积操作；
[0035]其中中间的矩阵叫做卷积核，又叫权重过滤器或滤波器(filter)，它是卷积过程的核心，它能够检测图像的水平边缘、垂直边缘、增强图片中心区域权重等；当把卷积推广到更高维度时，把卷积核作为在输入矩阵上一个移动窗口，便可进行对应的卷积运算；中CNN通过加强神经网络中相邻层之间节点的局部连接模式来挖掘自然图像的空间局部关联信息，第m层节点的输人是第m﹣1层节点的一部分，这些节点具有空间相邻的视觉感受野；卷积神经网络中每个神经元的权重个数均为卷积核的大小，即每个神经元只与图片部分像素相连接；采用两个卷积层(Covnl，Covn2)，卷积核3
×
3，可由学习的卷积核对原始图像进行卷积运算，卷积后的结果加上阈值经过激活函数作用形成本层输出的特征图，计算公式为：
[0036][0037]式中l为层数，k本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的水果识别方法，其特征在于，包括如下步骤：S1：水果图像数据采集，通过摄像头和镜头完成水果图像数据采集；S2：图像处理，针对图像特点，完成图像预处理、图像分割、形态学处理以及连通区域特征分析的工作；S3：构建卷积神经网络模型，并通过卷积神经网络训练对图像处理的结果进行多尺度的特征提取；S4：在完成卷积神经网络训练后，将数据结果通过串口发送数据给芯片，芯片控制控制舵机使机械臂分拣水果。2.根据权利要求1所述的一种基于卷积神经网络的水果识别方法，其特征在于：所述S1中的步骤中摄像头负责水果图像信息的采集，主要依据检测精度、视野尺寸进行选择，镜头参数主要是焦距，其选择主要依据工作距离进行确定。3.根据权利要求1所述的一种基于卷积神经网络的水果识别方法，其特征在于：所述S2中的图像预处理是针对水果图像特点，提取图像的R空间颜色特征分量，进行高斯滤波处理，高斯模板通过对二维高斯函数的离散化表示，对于一个大小为(2u+1)
×
(2u+1)的矩阵M﹐其(a，b)位置的元素表示为：其中α为高斯函数标准差，高斯滤波模板大小为5
×
5。4.根据权利要求3所述的一种基于卷积神经网络的水果识别方法，其特征在于：所述S2中的图像分割是利用改进K均值聚类分割算法对图像进行分割，形成分割区域，具体聚类分割算法如下：Stepl：首先将样本图像灰度值转换为尺寸大小为N的一维样本数据集C，其中N样本图像像素个数，设迭代运算次数为Ⅰ且聚类类型为j时的聚类中心为Zj(I)，从数据集C中随机选取一个样本对象作为初始聚类中心Z1(1)；计算每个样本Xm，与已有聚类中心的最短距离d(Xm)，m＝1，2...N，其中Xm为数据集中的第m个样本；接着计算每个样本对象被选为下一个聚类中心的概率P(Xm)：按照轮盘法选择下一个聚类中心重复步骤直到选择出k个对象组成初始聚类中心Zj(1)，j＝1，2，3，...k，具体的，聚类中心个数k＝4；Step2：迭代计算：根据相似度准则计算样本数据集C中每个样本xm与初始聚类中的距离D(Xm；Zj(I))，m＝1，2，3....N，j＝1，2，3
…
k，如下式(5)所示，将各个数据对象划分到距离最小的聚类集合簇Sj中，则Xm∈Sj：Step3：聚类中心更新：按照聚类中心更新公式计算各聚类集合中的均值作为该集合新的聚类中心，更新得到新的聚类集合中心，设为聚类j的元素，聚类j的元素个数为nj，聚类中心更新公式如式(6)所示：
Step4：终止条件：循环更新聚类集合中心，直到各聚类中心不再发生变化或者误差平方和局部最小为止，聚类准则函数J计算方法为：精度误差为ξ，若|J(I+1)
‑
J(I)|<ξ，则算法结束，终止迭代，否则反复执行迭代计算和聚类中心直至满足终止条件。5.根据权利要求4所述的一种基于卷积神经网络的水果识别方法，其特征在于：所述S2中的形态学处理是经过图像分割得到的区域还存在很多的噪声干扰信息，为了祛除噪声区域，利用形态学处理算法对分割区域进行处理，设A表示图像矩阵，B表示结构元素，形态学处理方法如下式所示：采用尺寸为10
×
10的矩形结构元素对聚类分割区域进行开操作。6.根据权利要求5所述的一种基于卷积神经网络的水果识别方法，其特征在于：所述S2中的连通区域特征分析是经过形态学处理后，细小的噪声干扰区域已经祛除；考虑到水果的实际大小，需要进一步祛除非目标区域；将灰度一致，且满足8邻接的像素判定为相同区域，通过连通区域面积特征...

【专利技术属性】
技术研发人员：李鲁群，陶霜霜，胡天乐，张慎文，许崇海，
申请(专利权)人：上海师范大学，
类型：发明
国别省市：