一种基于图像多特征融合的水果分类方法及应用技术

本发明专利技术公开了一种基于图像多特征融合的水果分类方法及应用，所述方法包括：获取训练集和测试集；预处理；提取颜色特征，LBP纹理特征和形状特征；得到训练集水果特征集合和测试集水果特征集合；将训练集水果特征集合作为多种可进行水果分类的分类器的输入，对多种可进行水果分类的分类器进行训练，将测试集水果特征集合作为多种可进行水果分类的分类器的输入，将平均分类准确率最高的分离器作为最佳分类器；将测试集水果特征集合作为最佳分类器的输入，得到输入的水果特征对应的水果图像中的水果类型。本发明专利技术适用于多种水果的分类且检测精度高。

【技术实现步骤摘要】
一种基于图像多特征融合的水果分类方法及应用
本专利技术涉及计算机视觉中的水果图像分类领域，能够有效的根据水果图像对水果的种类进行划分。
技术介绍
水果分类识别是一个涉及范围很广的课题，目前水果分类识别主要集中在水果种类的划分，品质分级，成熟度识别，缺陷检测以及机器人采摘等问题，现在对水果图像的研究一般集中在某一类水果上，对多分类水果识别研究较少，但是多类水果识别在实际中拥有广泛的应用价值，在超市中可以利用多类水果图像识别来实现自助水果的购买；在生产线上多类水果分类识别还能减少人力成本，提高生产效率；另外水果图像分类在智慧农业和数字健康医疗领域也有一定的研究意义，在智慧农业方面，可以通过对水果图像的识别来进行果实的自动化采摘；而在数字医疗方面，在水果分类的基础上可以进一步获取其中所含有的营养成分，帮助患者在后期恢复中制定合理的膳食搭配。水果图像分类主要包括两个部分，特征提取和分类器的设计。特征提取提取的方法有很多，其中颜色特征提取包括RGB颜色直方图和HSV颜色直方图等，纹理特征的提取有LBP和SIFT等方式，轮廓特征的提取有霍夫变换(HOUGH)和傅里叶描述子等方式；分类器的设计也有多种选择，其中最常用到有BP神经网络，支持向量机(SVM)以及决策树分类器等。但是，上述各方法往往存在只适用特定的几种水果或者识别率不高的问题。
技术实现思路
针对现有技术存在的问题，本专利技术提出了一种识别率高，适用广泛的基于图像多特征融合的水果分类方法及应用，解决了以往方法只适用特定的几种水果，以及识别率低的缺点。本专利技术采用的技术手段如下：一种基于图像多特征融合的水果分类方法，包括：获取水果图像作为训练集和测试集；对训练集和测试集中的水果图像进行预处理：对训练集和测试集中的水果图像进行灰度化处理，均值滤波处理和图片阈值化处理，得到所对应的水果图像的掩模模板(MASK)；对训练集和测试集中的水果图像提取颜色特征，对训练集和测试集中的水果图像灰度化处理后的灰度图提取LBP(局部二值模式)纹理特征和形状特征；对每个水果图像对应的颜色特征和LBP纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征，得到训练集水果特征集合和测试集水果特征集合，即对每个水果图像做上述处理，将训练集对应的所有水果图像的水果特征作为训练集水果特征集合，将测试集对应的所有水果图像的水果特征作为测试集水果特征集合；由于单个水果图像特征难以精确的用来对水果图像进行分类，这严重影响了水果分类的识别率，因此本专利技术对水果的颜色特征，纹理特征和形状特征进行了融合，由于前期对颜色特征和纹理特征都采用了直方图处理降低了它们的维度，并且三种特征对水果图像识别都很重要，所以融合的方式采取了最简单的串联，将三种特征最终串联为142维的特征向量。将训练集水果特征集合作为多种可进行水果分类的分类器的输入，对多种可进行水果分类的分类器进行训练，将测试集水果特征集合作为多种可进行水果分类的分类器的输入，将平均分类准确率最高的分离器作为最佳分类器；将测试集水果特征集合作为最佳分类器的输入，得到输入的水果特征对应的水果图像中的水果类型。所述训练集和所述测试集中的水果图像来源于kaggle平台(一个数据分析竞赛平台)提供的Fruits-360标准水果图像库，包含60种水果；所述训练集包含28736张水果图像，所述测试集包含9673张水果图像，所述训练集和所述测试集中的水果图像大小均为100x100像素。所述灰度化处理为利用Opencv开源库对训练集和测试集中的水果图像进行灰度化处理，将RGB颜色空间图片转化为灰度图；所述均值滤波处理为对灰度图进行均值滤波处理，以减少灰度图中的噪点，所述均值滤波处理后输出的图像像素为核窗口内输入图像的平均值；所述图片阈值化处理为利用阈值分割从所述均值滤波处理后输出的图像分割出水果部分，得到所对应的水果图像的掩模模板(MASK)，其基于所述均值滤波处理后输出的图像中物体与背景之间的灰度差异，而且此分割属于像素级的分割，其分割的结果得到的是一个二值图像也就是掩模模板。所述提取颜色特征为将RGB颜色空间图像转换为HSV颜色空间图像，并利用掩模模板，只对水果部分提取颜色特征，其中，H代表色调，S代表饱和度，V代表明度，LBP经过多年的发展已经有不同方式的LBP，其中包括：原始LBP特征，圆形LBP特征，旋转不变LBP特征以及均值模式LBP特征(UniformPatternLBP)。所述LBP纹理特征为均值模式LBP纹理特征，因为它不仅具有旋转不变性和灰度不变性，而且极大的减少了LBP模式的二进制模式，在使数据量减少的同时，能最好的表示图像的信息。所述形状特征为HU矩形状特征，适用于纹理特征不太复杂的图像，能够对物体的形状有个较好的描述。所述最佳分类器为支持向量机(SVM)分类器，其参数为：核函数为高斯核函数(RBF)，惩罚项参数C为1000，核函数的系数gamam为0.1，多分类准则为ovr(one-vs-rest)，此时对每个分类定义了一个二类SVM。本专利技术还公开了一种基于图像多特征融合的水果分类系统，包括：获取单元，被配置为获取水果图像作为训练集和测试集；预处理单元，被配置为对训练集和测试集中的水果图像进行预处理：对训练集和测试集中的水果图像进行灰度化处理，均值滤波处理和图片阈值化处理，得到所对应的水果图像的掩模模板；提取单元，被配置为对训练集和测试集中的水果图像提取颜色特征，对训练集和测试集中的水果图像灰度化处理后的灰度图提取LBP纹理特征和形状特征；直方图处理及融合单元，被配置为对每个水果图像对应的颜色特征和LBP纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征，得到训练集水果特征集合和测试集水果特征集合；选取单元，被配置为将训练集水果特征集合作为多种可进行水果分类的分类器的输入，对多种可进行水果分类的分类器进行训练，将测试集水果特征集合作为多种可进行水果分类的分类器的输入，将平均分类准确率最高的分离器作为最佳分类器；输出结果单元，被配置为将测试集水果特征集合作为最佳分类器的输入，得到输入的水果特征对应的水果图像中的水果类型。本专利技术还公开了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行上述所述的方法。本专利技术还公开了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行上述所述的方法。本专利技术的有益效果为：(1)利用水果图像的颜色特征，纹理特征和形状特征进行融合提升了水果图片分类的正确率，并且适用于多种水果的分类。(2)通过对不同分类器在水果图像分类效果的对比选择，选择了更适合水果图像分类的支持向量机(SVM)分类器，提升了检测速度和精度。基于上述理由本专利技术可在计算机视觉中的水果图像分类等领域广泛推广。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的具体实施方式中一种基于图像多特征融合的水果分类方法的流程图；图2为本文档来自技高网...

【技术保护点】
1.一种基于图像多特征融合的水果分类方法，其特征在于，包括：获取水果图像作为训练集和测试集；对训练集和测试集中的水果图像进行预处理：对训练集和测试集中的水果图像进行灰度化处理，均值滤波处理和图片阈值化处理，得到所对应的水果图像的掩模模板；对训练集和测试集中的水果图像提取颜色特征，对训练集和测试集中的水果图像灰度化处理后的灰度图提取LBP纹理特征和形状特征；对每个水果图像对应的颜色特征和LBP纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征，得到训练集水果特征集合和测试集水果特征集合；将训练集水果特征集合作为多种可进行水果分类的分类器的输入，对多种可进行水果分类的分类器进行训练，将测试集水果特征集合作为多种可进行水果分类的分类器的输入，将平均分类准确率最高的分离器作为最佳分类器；将测试集水果特征集合作为最佳分类器的输入，得到输入的水果特征对应的水果图像中的水果类型。

【技术特征摘要】
1.一种基于图像多特征融合的水果分类方法，其特征在于，包括：获取水果图像作为训练集和测试集；对训练集和测试集中的水果图像进行预处理：对训练集和测试集中的水果图像进行灰度化处理，均值滤波处理和图片阈值化处理，得到所对应的水果图像的掩模模板；对训练集和测试集中的水果图像提取颜色特征，对训练集和测试集中的水果图像灰度化处理后的灰度图提取LBP纹理特征和形状特征；对每个水果图像对应的颜色特征和LBP纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征，得到训练集水果特征集合和测试集水果特征集合；将训练集水果特征集合作为多种可进行水果分类的分类器的输入，对多种可进行水果分类的分类器进行训练，将测试集水果特征集合作为多种可进行水果分类的分类器的输入，将平均分类准确率最高的分离器作为最佳分类器；将测试集水果特征集合作为最佳分类器的输入，得到输入的水果特征对应的水果图像中的水果类型。2.根据权利要求1所述的方法，其特征在于：所述训练集和所述测试集中的水果图像来源于kaggle平台提供的Fruits-360标准水果图像库，包含60种水果；所述训练集包含28736张水果图像，所述测试集包含9673张水果图像，所述训练集和所述测试集中的水果图像大小均为100x100像素。3.根据权利要求1所述的方法，其特征在于：所述灰度化处理为利用Opencv开源库对训练集和测试集中的水果图像进行灰度化处理，将RGB颜色空间图片转化为灰度图；所述均值滤波处理为对灰度图进行均值滤波处理，以减少灰度图中的噪点，所述均值滤波处理后输出的图像像素为核窗口内输入图像的平均值；所述图片阈值化处理为利用阈值分割从所述均值滤波处理后输出的图像分割出水果部分，得到所对应的水果图像的掩模模板。4.根据权利要求3所述的方法，其特征在于：所述提取颜色特征为将RGB颜色空间图像转换为HSV颜色空间图像...

【专利技术属性】
技术研发人员：赵天义，刘树安，宫俊，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21