一种基于深度卷积神经网络的餐厅菜品识别方法技术

本发明专利技术公开一种基于深度卷积神经网络的餐厅菜品识别方法，涉及深度学习技术领域，针对当前现有的菜品识别分类方法在菜品相似度高时难以精细划分菜品的问题，采用技术方案为：采取并裁剪菜品图像，获取图像的样本块；对样本块首先进行3D卷积操作和降采样操作，随后通过注意力模块提取特征图谱，再随后进行3D卷积操作，得到一维的中间特征图谱，并输入到具有softmax函数的深度卷积神经网络中，通过softmax函数映射得到的概率值，得到原始菜品图像的分类结果。本发明专利技术可以提高识别精度，减少人为辅助操作的工作量，解决当前现有的菜品识别分类方法在菜品相似度高时难以精细划分菜品的缺陷。菜品的缺陷。菜品的缺陷。

【技术实现步骤摘要】
一种基于深度卷积神经网络的餐厅菜品识别方法


[0001]本专利技术涉及深度学习
，具体的说是一种基于深度卷积神经网络的餐厅菜品识别方法。

技术介绍

[0002]食物是人类生活中的重要组成部分，更是人类生存和健康发展的重要前提。伴随着社会的发展，人们对食物品质的要求不断地提高，这在客观上大大的促进了餐饮行业的发展，同时在企业餐厅中也制作出了各式各样的菜品，新的菜品也在不断的出现，使得准确地识别众多菜品是一个越来越高的要求。同时，很多企业的餐厅菜品种类繁多、食堂人工结算效率十分低下。在移动互联迅速发展的今天，大量的菜品图像可以迅速的从海量的网络图像信息中获取，并能够以此为数据源，进行分析建模，得到一个用于菜品图像分类、分割和识别的通用模型，这将对节约人力成本、提高餐厅结算效率具有十分重要的意义。
[0003]图像分类，简单来说，是对已经得到的图像进行区分，所区分的依据是从大量图像中找到它们所具有的共同特征。模型只有能够找到了这样的特征，才能正确对图像进行区分。
[0004]分类菜品图像在深度学习技术发展起来之前就是一个受到关注的研究方向。深度学习是基于对数据进行表征学习的一种机器学习方法，目的是建立、模拟人脑进行分析学习的多层神经网络，用来解释一些图像、声音、文本等数据，并且已经在图像识别领域得到广泛应用。由于深度学习可以提取图像中更抽象、更深层的特征，相比较传统的分类方法，深度学习具有更强的分类能力。卷积神经网络在图像分类中取得了良好的应用，然而卷积神经网络的输入信息量与分类效果并不是完全正相关，一定模型下，太过复杂的输入不仅会使得训练时间、分类时间变长，甚至会导致精度不增反而下降。因此有必要对卷积神经网络分类前的特征提取过程进行深入研究，能够在开销较小的前提下，达到特征的自适应细化的目的。

技术实现思路

[0005]本专利技术针对当前现有的菜品识别分类方法，结合有些菜品的相似程度高、材料搭配不均匀等特点，对卷积神经网络分类前的特征提取过程进行深入研究，能够在开销较小的前提下，达到特征的自适应细化的目的，同时，为进一步提高识别精度，减少人为辅助操作的工作量，优化并改进适合餐厅菜品分类的损失函数，增强算法的鲁棒性，降低过拟合风险，提供一种基于深度卷积神经网络的餐厅菜品识别方法。
[0006]本专利技术的一种基于深度卷积神经网络的餐厅菜品识别方法，解决上述技术问题采用的技术方案如下：
[0007]一种基于深度卷积神经网络的餐厅菜品识别方法，其特征在于,其实现内容包括：
[0008]步骤S1、采集菜品图像R1，对菜品图像R1进行裁剪预处理操作，得到菜品图像R2，对菜品图像R2进行样本取块，得到一个菜品样本块T1，菜品样本块T1即为菜品样本的特征信
息；
[0009]步骤S2、对菜品样本块T1进行3D卷积操作，得到菜品样本块T1的中间特征图谱T2；
[0010]步骤S3、对菜品样本块T1的中间特征图谱T2进行池化操作，得到中间特征图谱T3；
[0011]步骤S4、在空间维度上对中间特征图谱T3进行池化操作，得到通道注意力模块A3，在通道维度上对中间特征图谱T3进行池化操作，得到平面注意力模块A
’3，将中间特征图谱T3的每一个通道向量与通道注意力模块、中间特征图谱T3的每一个空间特征与平面注意力模块分别进行按位相乘，得到中间特征图谱T4；
[0012]步骤S5、对中间特征图谱T4依次进行3D卷积操作和池化操作，得到中间特征图谱T6，在空间维度上对中间特征图谱T6进行池化操作，得到通道注意力模块A6，在通道维度上对中间特征图谱T6进行池化操作，得到平面注意力模块A
’6，将中间特征图谱T6的每一个通道向量与通道注意力模块、中间特征图谱T6的每一个空间特征与平面注意力模块分别进行按位相乘，得到中间特征图谱T7；
[0013]步骤S6、对中间特征图谱T7进行3D卷积操作，得到一维的中间特征图谱T8；
[0014]步骤S7、将中间特征图谱T8输入到深度卷积神经网络中，得到菜品图像R1的分类结果。
[0015]可选的，执行步骤S1时，对菜品图像R2进行样本取块，具体操作包括：
[0016]步骤S1.1、在平面维度上，取菜品图像R2周围a
×
a个像素点作为该样本的邻域块，其中，a为图像块在平面长度和宽度方向的像素点个数；
[0017]步骤S1.2、保留a
×
a个像素点的所有通道信息，即形成一个P
×
a
×
a的三维样本块，用于表征中间像素点的样本特征，利用公式(1)进行样本取块过程的特征变换：
[0018][0019]其中，Q为单个通道中的像素点个数，也是取块样本个数，D
samp
表示样本取块过程，L和H表示裁剪操作的预设平面长度和宽度；
[0020]在样本取块操作中，边缘像素点没有空间邻域信息时，进行补0操作。
[0021]进一步可选的，执行步骤S2时，对菜品样本块T1进行3D卷积操作，具体操作包括：
[0022]步骤S2.1、基于深度卷积神经网络，在每层卷积神经网络中选取h个不同的卷积核，对菜品样本块T1所包含的P个通道信息分别使用大小为e
×
f
×
f的3D卷积核进行卷积操作，其中，e为通道维度的操作层数，即每次选取e个通道进行一组卷积，f表示在空间维度上图像块在长度和宽度方向上的像素点个数；
[0023]步骤S2.2、在每层卷积神经网络中选取h个不同的卷积核后，利用公式(2)、(3)、(4)得到菜品样本块T1的中间特征图谱T2：
[0024]p＝[(P
‑
e)+1]×
h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(2)，
[0025]m＝[(a
‑
e)+1]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(3)，
[0026][0027]其中，p表示菜品样本块T1包含的通道数，e为通道维度的操作层数，a为图像块在平面长度和宽度方向的像素点个数，m为中间特征图谱T2在空间长度和宽度方向上的像素点个数，Con
3D
表示进行3D卷积操作。
[0028]进一步可选的，对菜品样本块T1进行3D卷积操作过程中，卷积层中每一个特征的
映射都会与上一层中的多个相邻连续通道相连，一个卷积映射的某一位置值是通过卷积上一层的三个连续通道的同一个位置的局部感受野得到的；一个卷积层有多个卷积核，一个卷积核只能从三维数据中提取一种类型的特征信息，使用h个卷积核可以提取h种类型的特征信息，其中，h为正整数，且h>1。
[0029]进一步可选的，执行步骤S3得到中间特征图谱T3的具体操作包括：
[0030]步骤S3.1、对菜品样本块T1的中间特征图谱T2进行池化操作，池化操作处理即为降采样处理或丢弃特征处理，得到中间特征图谱T3，此时，中间特征图谱T3的通道数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度卷积神经网络的餐厅菜品识别方法，其特征在于,其实现内容包括：步骤S1、采集菜品图像R1，对菜品图像R1进行裁剪预处理操作，得到菜品图像R2，对菜品图像R2进行样本取块，得到一个菜品样本块T1，菜品样本块T1即为菜品样本的特征信息；步骤S2、对菜品样本块T1进行3D卷积操作，得到菜品样本块T1的中间特征图谱T2；步骤S3、对菜品样本块T1的中间特征图谱T2进行池化操作，得到中间特征图谱T3；步骤S4、在空间维度上对中间特征图谱T3进行池化操作，得到通道注意力模块A3，在通道维度上对中间特征图谱T3进行池化操作，得到平面注意力模块A
’3，将中间特征图谱T3的每一个通道向量与通道注意力模块、中间特征图谱T3的每一个空间特征与平面注意力模块分别进行按位相乘，得到中间特征图谱T4；步骤S5、对中间特征图谱T4依次进行3D卷积操作和池化操作，得到中间特征图谱T6，在空间维度上对中间特征图谱T6进行池化操作，得到通道注意力模块A6，在通道维度上对中间特征图谱T6进行池化操作，得到平面注意力模块A
’6，将中间特征图谱T6的每一个通道向量与通道注意力模块、中间特征图谱T6的每一个空间特征与平面注意力模块分别进行按位相乘，得到中间特征图谱T7；步骤S6、对中间特征图谱T7进行3D卷积操作，得到一维的中间特征图谱T8；步骤S7、将中间特征图谱T8输入到深度卷积神经网络中，得到菜品图像R1的分类结果。2.根据权利要求1所述的一种基于深度卷积神经网络的餐厅菜品识别方法，其特征在于，执行步骤S1时，对菜品图像R2进行样本取块，具体操作包括：步骤S1.1、在平面维度上，取菜品图像R2周围a
×
a个像素点作为该样本的邻域块，其中，a为图像块在平面长度和宽度方向的像素点个数；步骤S1.2、保留a
×
a个像素点的所有通道信息，即形成一个P
×
a
×
a的三维样本块，用于表征中间像素点的样本特征，利用公式(1)进行样本取块过程的特征变换：其中，Q为单个通道中的像素点个数，也是取块样本个数，D
samp
表示样本取块过程，L和H表示裁剪操作的预设平面长度和宽度；在样本取块操作中，边缘像素点没有空间邻域信息时，进行补0操作。3.根据权利要求2所述的一种基于深度卷积神经网络的餐厅菜品识别方法，其特征在于，执行步骤S2时，对菜品样本块T1进行3D卷积操作，具体操作包括：步骤S2.1、基于深度卷积神经网络，在每层卷积神经网络中选取h个不同的卷积核，对菜品样本块T1所包含的P个通道信息分别使用大小为e
×
f
×
f的3D卷积核进行卷积操作，其中，e为通道维度的操作层数，即每次选取e个通道进行一组卷积，f表示在空间维度上图像块在长度和宽度方向上的像素点个数；步骤S2.2、在每层卷积神经网络中选取h个不同的卷积核后，利用公式(2)、(3)、(4)得到菜品样本块T1的中间特征图谱T2：p＝[(P
‑
e)+1]
×
h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(2)，m＝[(a
‑
e)+1]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(3)，
其中，p表示菜品样本块T1包含的通道数，e为通道维度的操作层数，a为图像块在平面长度和宽度方向的像素点个数，m为中间特征图谱T2在空间长度和宽度方向上的像素点个数，Con
3D
表示进行3D卷积操作。4.根据权利要求3所述的一种基于深度卷积神经网络的餐厅菜品识别方法，其特征在于，对菜品样本块T1进行3D卷积操作过程中，卷积层中每一个特征的映射都会与上一层中的多个相邻连续通道相连，一个卷积映射的某一位置值是通过卷积上一层的三个连续通道的同一个位置的局部感受野得到的；一个卷积层有多个卷积核，一个卷积核只能从三维数据中提取一种类型的特征信息，使用h个卷积核可以提取h种类型的特征信息，其中，h为正整数，且h>1。5.根据权利要求3所述的一种基于深度卷积神经网络的餐厅菜品识别方法，其特征在于，执行步骤S3得到中间特征图谱T3的具体操作包括：步骤S3.1、对菜品样本块T1的中间特征图谱T2进行池化操作，池化操作处理即为降采样处理或丢弃特征处理，得到中间特征图谱T3，此时，中间特征图谱T3的通道数与中间特征图谱T2的通道数相同，单个通道在空间维度的尺寸发生改变；步骤S3.2、池化处理后，中间特征图谱T3表示为即中间特征图谱T3中每个通道在空间长度和宽度方向上的像素点个数均为r，利用公式(5)计算得到该像素点个数r：r＝(m
÷
2)
ꢀꢀꢀꢀꢀꢀ
公式(5)，其中，m为中间特征图谱T2在空间长度和宽度方向上的像素点个数。6.根据权利要求5所述的一种基于深度卷积神经网络的餐厅菜品识别方法，其特征在于，执行步骤S4得到中间特征图谱T4的具体操作为：利用公式(6)、(7)对中间特征图谱T3进行变换，使中间特征图谱T3依次在通道方向与通通道注意力模块A3进行逐个通道的点乘、在空间方向与平面注意力模块A
’3进行逐个通道的点乘，进而得到中间特征图谱T4：：其中，Aten
spe
表示对中间特征图谱T3在通道方向进行注意力增强，Aten
spa
表示对中间特征图谱T3在空间方向进行注意力增强，u为中间特征图谱T3中单个...

【专利技术属性】
技术研发人员：翟盛龙，尹旭，王东伟，张金波，张睿智，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：