一种基于卷积神经网络的多模型对成品菜的识别方法技术

本发明专利技术公开了一种基于卷积神经网络的多模型对成品菜的识别方法，包括：收集成品菜的图像，根据菜品种类进行标签标注；对图像进行白平衡和均衡化处理，得到训练数据集；构建至少两个不同的卷积神经网络模型，用训练数据集分别进行迭代训练，得到训练完成后的卷积神经网络模型；将待测图像分别输入训练完成后的卷积神经网络模型进行识别，每个卷积神经网络模型输出菜品种类中每个类别对应的概率值；用投票算法计算不同卷积神经网络模型输出的同一类别对应的概率值的平均值，选取平均值中的最高值所对应的类别作为识别结果。该识别方法避免了人工选取特征和传统特征度量方法适应性不强的缺点，剔除特征中的冗余信息，利于提升识别的准确性。

A Recognition Method of Finished Vegetables Based on Multi-model of Convolutional Neural Network

The invention discloses a multi-model recognition method for finished vegetable based on convolution neural network, which includes: collecting the images of finished vegetable, labeling according to the variety of vegetable; processing the images with white balance and equalization to obtain training data sets; constructing at least two different convolution neural network models, and iterating training with training data sets to get the training results. The final convolution neural network model; input the image to be tested into the convolution neural network model after training to identify, each convolution neural network model outputs the probability values corresponding to each category of vegetable varieties; use voting algorithm to calculate the average value of the probability values corresponding to the same category of different convolution neural network models output, and select the highest value corresponding to the average value. Categories are used as recognition results. This recognition method avoids the shortcomings of manual feature selection and traditional feature measurement methods, and eliminates redundant information in features, which is conducive to improving the accuracy of recognition.

【技术实现步骤摘要】
一种基于卷积神经网络的多模型对成品菜的识别方法
本专利技术属于数据识别
，特别涉及一种基于卷积神经网络的多模型对成品菜的识别方法。
技术介绍
基于卷积神经网络技术的人脸识别、行人识别、车牌识别等产品，可应用与安检系统、门禁系统、安防系统、自动停车场等，但由于其应用场合的特殊性，在普通日常生活中推广应用难道较高。S.Ysngetal.提出的一种识别快餐食物的系统，Yoshiyukietal.针对日餐提出的具有现有类别适应性的系统。但这些系统对品种繁复多样的中餐来说并不适用，且对图像中目标位置、图像亮度等有特殊要求，操作相对复杂。公开号为CN106845527A的中国专利文献公开了一种菜品识别方法，包括以下步骤：1)获得web请求，服务器相应web请求，获取相应图像；2)保存图像，获取输入数据流，生成图像文件名并保存至磁盘；3)图像预处理，对输入的图像进行尺寸调整和归一化；4)使用预先训练的卷积神经网络进行处理，对图像上的物体进行检测及分类，如果没有检测到菜品则结束，如果检测到菜品，则结合分类结果，输出相应菜品信息。公开号为CN106096932A的中国专利文献公开了基于餐具形状的菜品自动识别系统的计价方法，通过容器作为媒介进行菜品识别。通过筛选拍摄的餐盘图像中菜品区域的形状和面积特征，分割餐盘中各个菜品；然后通过训练卷积神经网络得到分类器，直接识别菜品图像来实现菜品识别。上述方法中使用传统的常规图像识别方法和卷积神经网络方法，如SURF、HOG、颜色特征等，而中餐成品菜颜色多样，形态复杂，常规方法有一定的局限性，某些过程仍然需要人工选择与矫正；浅层神经网络因模型容量较小等原因容易欠拟合，而深层神经网络比以上方法效果更优，一般可以取得较好的识别效果，但是可能因单一模型的性能和容量而限制其识别效果。因此，需要对图像既有很好的适应性又有较好的识别效果的方法。
技术实现思路
本专利技术的目的在于提供一种基于卷积神经网络的多模型对成品菜的识别方法，避免了人工选取特征和传统特征度量方法适应性不强的缺点，剔除特征中的冗余信息，利于提升识别的准确性。一种基于卷积神经网络的多模型对成品菜的识别方法，包括以下步骤：(1)收集成品菜的图像，根据菜品种类进行标签标注；(2)对图像进行白平衡和均衡化处理，得到训练数据集；(3)构建至少两个不同的卷积神经网络模型，用步骤(2)得到的训练数据集分别进行迭代训练，得到训练完成后的卷积神经网络模型；所述的卷积神经网络模型包括：特征提取模块，提取待测图像的特征，输出特征图至PCA处理模块和融合分类模块；PCA处理模块，对输入的特征图进行特征信息提取，输出特征信息至融合分类模块；融合分类模块，包括全连接层和分类器，全连接层对输入的特征图和特征信息进行全连接计算，分类器对全连接层的输出进行每个类别对应的概率值的预测计算；(4)将待测图像分别输入训练完成后的卷积神经网络模型进行识别，每个卷积神经网络模型输出菜品种类中每个类别对应的概率值；(5)用投票算法计算不同卷积神经网络模型输出的同一类别对应的概率值的平均值，选取平均值中的最高值所对应的类别作为识别结果。在步骤(2)中，所述的白平衡处理包括以下步骤：(2-1)计算输入图像的三个颜色通道的亮度平均值；(2-2)计算步骤(2-1)得到的三个亮度平均值的平均值K；(2-3)使用平均值K分别除以三个颜色通道的亮度平均值，得到三个颜色通道的增益系数；(2-4)三个颜色通道的亮度值乘以对应的增益系数得到更新的亮度值，得到白平衡处理后的图像。为避免溢出现象，将更新的亮度值的范围限定在0～255之间。在步骤(2)中，所述的均衡化处理为对白平衡处理后的图像进行直方图均衡化处理。使用直方图均衡化对图像中的所有像素进行处理，计算公式如下：其中，nj是灰度级为j的像素个数，n是图像中像素的数量总和，g是图像中的灰度级总数，Pk是灰度级j在图像中出现的概率。使用以上方式计算后，图像中各种灰度级得到各自对应的概率值。将灰度级按照从小到大的顺序依次排列，各个概率值对应各自的灰度级；用概率计算各个灰度级对应的累计概率，使用累计概率对图像的灰度级进行拉伸变换。累计概率是从低灰度级往高灰度级的方向进行计算，当前灰度级对应的累计概率为当前灰度级对应的概率加上比当前灰度级小一级的灰度级对应的概率。通过以上计算得到各个灰度级对应的累计概率，每个概率值的范围在0和1之间。而实例中图像的像素值范围在0和255之间，为了概率值到图像像素值的映射，将累计概率值与像素值最大值255相乘并取整得到变换后的像素值，然后得到均衡化的图像。所述的卷积神经网络模型为三个，分别以ResNet34、ResNet50和Inception_V3为基础，在卷积层和全连接层之间加入PCA处理模块，全连接层后加入分类器。以卷积层作为特征提取模块，全连接层和分类器作为融合分类模块。所述的特征提取模块提取待测图像的特征的方法为用卷积核遍历图像的像素进行计算：其中，f(x,y)是输入图像，g(x,y)是卷积核函数，x与y为像素坐标值，m与n分别代表卷积核的长、宽。使用卷积方法来提取特征，其提取的特征具有一定的区域性，同时滤除噪声，经过多层卷积后的特征包含了更多的语义信息且具有较好的空间不变性。因不同的卷积核可以计算得到不同的特征，所以不同的卷积核遍历图像信息以提取不同的特征信息。所述的PCA处理模块提取特征信息的方法为：其中为特征量的平均向量，x是输入的特征，U是特征的协方差矩阵的特征向量组成的矩阵，Y为PCA处理后的特征信息。PCA是Principalcomponentanalysis的缩写，中文名称为主成分分析，是一种对数据进行分析的技术，主要的应用是对原有数据进行简化，找出数据中的重要的元素，去除冗余信息。在卷积神经网络中得到的特征图中具有大量的信息，使用PCA从特征图中选取主要信息，然后将选取的主要信息与特征图结合一起，有助于增加主要信息的权重，突出有助于识别的重要信息。所述的分类器为Softmax回归模型。菜品种类繁多，菜品之间各不相同，本专利技术将菜品识别看做类间互斥的多类别分类问题，因此选择适用于多分类问题的Softmax回归模型。Softmax将全连接后的多个神经元的输出映射到(0,1)区间内，将分类问题转换为概率问题，某类的概率越高，则认为属于这个类别的可能性更大，其函数形式如下：其中，Zj是第j个神经元的输出量，N是总的类别数量，P(z)j是第j个类别的概率值。模型对于每一个类别都输出一个概率值，N个类别则有N个概率值。在步骤(5)中，所述的投票算法计算平均值的方法为：其中，i是菜品类别，N是菜品类别数量，Pnet_m(i)是三个卷积神经网络模型中第m个模型输出的N个概率值中对应类别i的概率值，Pave(i)是三个卷积神经网络模型在类别i的平均概率值。本专利技术提供的识别方法中每个卷积神经网络模型中分类器输出的概率值数量与菜品类别数量相等，对每一个菜品类别都有一个概率值，再使用投票算法针对各个类别的概率处理：投票算法计算三个模型输出的类别概率中同一类别对应概率值的平均值，再选取最高概率的类别作为最后的识别类别。本专利技术提供的基于卷积神经网络的多模型对成品菜的识别方法，通过将深度卷积神经网络与成品菜的类别识本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的多模型对成品菜的识别方法，包括以下步骤：(1)收集成品菜的图像，根据菜品种类进行标签标注；(2)对图像进行白平衡和均衡化处理，得到训练数据集；(3)构建至少两个不同的卷积神经网络模型，用步骤(2)得到的训练数据集分别进行迭代训练，得到训练完成后的卷积神经网络模型；所述的卷积神经网络模型包括：特征提取模块，提取待测图像的特征，输出特征图至PCA处理模块和融合分类模块；PCA处理模块，对输入的特征图进行特征信息提取，输出特征信息至融合分类模块；融合分类模块，包括全连接层和分类器，全连接层对输入的特征图和特征信息进行全连接计算，分类器对全连接层的输出进行每个类别对应的概率值的预测计算；(4)将待测图像分别输入训练完成后的卷积神经网络模型进行识别，每个卷积神经网络模型输出菜品种类中每个类别对应的概率值；(5)用投票算法计算不同卷积神经网络模型输出的同一类别对应的概率值的平均值，选取平均值中的最高值所对应的类别作为识别结果。

【技术特征摘要】
1.一种基于卷积神经网络的多模型对成品菜的识别方法，包括以下步骤：(1)收集成品菜的图像，根据菜品种类进行标签标注；(2)对图像进行白平衡和均衡化处理，得到训练数据集；(3)构建至少两个不同的卷积神经网络模型，用步骤(2)得到的训练数据集分别进行迭代训练，得到训练完成后的卷积神经网络模型；所述的卷积神经网络模型包括：特征提取模块，提取待测图像的特征，输出特征图至PCA处理模块和融合分类模块；PCA处理模块，对输入的特征图进行特征信息提取，输出特征信息至融合分类模块；融合分类模块，包括全连接层和分类器，全连接层对输入的特征图和特征信息进行全连接计算，分类器对全连接层的输出进行每个类别对应的概率值的预测计算；(4)将待测图像分别输入训练完成后的卷积神经网络模型进行识别，每个卷积神经网络模型输出菜品种类中每个类别对应的概率值；(5)用投票算法计算不同卷积神经网络模型输出的同一类别对应的概率值的平均值，选取平均值中的最高值所对应的类别作为识别结果。2.根据权利要求1所述的基于卷积神经网络的多模型对成品菜的识别方法，其特征在于，在步骤(2)中，所述的白平衡处理包括以下步骤：(2-1)计算输入图像的三个颜色通道的亮度平均值；(2-2)计算步骤(2-1)得到的三个亮度平均值的平均值K；(2-3)使用平均值K分别除以三个颜色通道的亮度平均值，得到三个颜色通道的增益系数；(2-4)三个颜色通道的亮度值乘以对应的增益系数得到更新的亮度值，得到白平衡处理后的图像。3.根据权利要求1或2所述的基于卷积神经网...

【专利技术属性】
技术研发人员：吴健，张久成，王文哲，陆逸飞，吴福理，
申请(专利权)人：浙江大学山东工业技术研究院，
类型：发明
国别省市：山东,37