一种基于细粒度识别的菜品及属性信息的识别系统及方法技术方案

本发明专利技术公开一种基于细粒度识别的菜品及属性信息的识别系统及方法，包括：对待识别的菜品图像进行预处理；将预处理后的图像输入训预先练好的深度神经网络菜品分类与属性识别器进行识别，输出菜品的类别属性信息；将获得获得菜品的类别属性信息与预先建立的菜品数据库进行匹配，输出识别结果。本发明专利技术拓展了除菜品种类外的相关属性信息，并提高了现有识别的准确率，为实现人们健康膳食推荐、自主烹饪与营养摄入管理等工作提供了更好的系统的服务。

【技术实现步骤摘要】
一种基于细粒度识别的菜品及属性信息的识别系统及方法
本专利技术属于计算机数字图像处理与模式识别
，特别涉及一种菜品种类及属性识别系统及方法。
技术介绍
随着人们生活水平的日益提高，人们对于提升菜品相关的物质生活质量十分迫切，而良好的菜品识别方法与系统是实现健康膳食推荐、自主烹饪、营养摄入管理和餐厅食堂自助结算等工作的基础。细粒度菜品识别就是识别成百上千的不同种类菜品的类别与属性信息。目前的细粒度菜品图像识别方法，主要是基于菜品的整体外观信息，通过卷积神经网络提取特征，而后进行分类和识别任务。过度依赖于模型预设的菜品种类，而忽视了菜品的食材属性信息以及食材信息与菜品之间的对应关系，存在对于新菜品的可拓展性较弱，菜品识别的鲁棒性较差，识别结果不够准确，属性信息识别欠缺等问题。此外，当前现有菜品识别方法仅考虑其菜品种类，而没有充分考虑到菜品的各种属性信息。
技术实现思路
本专利技术的目的是提供一种基于细粒度识别的菜品及属性信息的识别系统及方法，以解决上述存在的一个或多个技术问题。本专利技术针对于网络中出现的大量的没有明显结构化特征的菜品图像，利用自定义的深度神经网络，实现百种菜品的种类和属性的识别的系统。在自定义的深度神经网络的设计上，考虑菜品类别及属性信息的识别，提升了百种菜品识别的准确率，增强了对于新菜品的拓展性，实现了多种菜品属性信息的识别。为了实现上述目的，本专利技术采用如下技术方案：一种基于细粒度识别的菜品及属性信息的识别方法，包括：对待识别的菜品图像进行预处理；将预处理后的图像输入训预先练好的深度神经网络菜品分类与属性识别器进行识别，输出菜品的类别属性信息；将获得获得菜品的类别属性信息与预先建立的菜品数据库进行匹配，输出识别结果。进一步的，预先练好的深度神经网络菜品分类与属性识别器的训练步骤包括：建立基于深度神经网络的分类与识别网络；将标注菜品属性标签的学习样本集图片输入建立的基于深度神经网络的分类与识别网络进行训练，并基于菜品类别与属性的联合学习损失函数调整基于深度神经网络的分类与识别网络参数；使用随机梯度下降的方式进行优化，生成菜品分类与属性识别器，每隔一个epoch的迭代进行一次模型测试，挑选一个性能最好的模型保存下来，最终保存下来的模型为训练好的深度神经网络菜品分类与属性识别器。进一步的，将标注菜品属性标签的学习样本集图片输入建立的基于深度神经网络的分类与识别网络进行训练，并基于菜品类别与属性的联合学习损失函数调整基于深度神经网络的分类与识别网络参数，具体包括：3.1、将标注菜品属性标签的学习样本集图片输入建立的基于深度神经网络的分类与识别网络的基网络，获得特征图；3.2、将步骤3.1得到的基网络输出的特征图进行通道上的全局平均池化，全局平均池化后的结果作为特征图的通道权重向量，并与特征图逐通道加权求和，将其归一化后获得图像的热力图表示；3.3、根据步骤3.2得到的热力图结果，设定阈值为0.25，从热力图上获得值大于0.25的最小矩形区域坐标；3.4、利用步骤3.3中得到的最小矩形区域坐标对基网络输出的特征图进行剪裁，去除冗余信息，得到剪裁后的特征图；3.5、将步骤3.4得到的剪裁后的特征图进行自适应池化，将其尺寸池化到步骤3.1中输出的特征图大小；3.6、将步骤3.5得到的特征图通过两个3层卷积层所组成的双流网络，分别对菜品类别与属性进行学习，输出菜品类别特征与属性特征；3.7、将步骤3.6得到的菜品类别特征和属性特征使用双线性池化进行特征组合，输出混合的嵌入特征；3.8、将步骤3.7中输出的混合嵌入特征与步骤3.6中输出的菜品类别特征和属性特征进行组合，作为整张图像的特征表示；3.9、将步骤3.8输出的特征表示通过全连接层输出菜品的类别属性信息。进一步的，菜品类别与属性的联合学习损失函数的表达式为：L＝LF+LI+LA；式中，LF为菜品分类的损失函数，LI为食材属性识别的损失函数，LA为菜系、烹饪方式、荤素属性、凉热属性、口味、菜点起源、菜品特色的交叉熵损失函数。进一步的，菜品分类的损失函数LF的表达式为：式中，t为菜品类别的真实标签，p为网络输出的概率值，x表示图像序号，每一批迭代训练共计K张图像。进一步的，LI具体表达式为：式中，t为食材属性的真实标签，p为网络输出的概率值，N为每一批迭代训练中食材属性中的负样本数量，P表示每一批迭代训练中食材属性中的正样本数量，γ为约束参数。进一步的，LA具体表达式为：式中，j表示菜系、烹饪方式、荤素属性、凉热属性、口味、菜点起源、菜品特色，tj为第j个菜品属性的真实标签，pj为网络第j个菜品属性输出的概率值，x表示图像序号，每一批迭代训练共计K张图像。进一步的，基于深度神经网络的分类与识别网络由基网络、双流网络和全连接层构成；所述基网络选取VGG16或ResNet50卷积神经网络去掉最后一层池化层获得。进一步的，将获得获得菜品的类别属性信息与预先建立的菜品数据库进行匹配，输出识别结果，具体包括：6.1、根据菜品种类和7种属性信息的输出，通过Softmax函数进行约束，表达式为：式中，pi为输出第i个单元经过Softmax函数约束后的输出概率值，ei表示第i个单元的输出在Softmax函数约束前取值的指数函数值；6.2、根据食材属性信息的输出，通过Sigmoid函数进行约束，表达式为：式中，xi为第i个单元的输出，pi为第i个单元经过Sigmoid函数约束后的输出概率值；6.3、根据步骤6.1中输出的菜品种类和7种属性信息的概率值，选取概率最大的作为菜品识别和属性信息的结果；6.4、根据步骤6.2中输出的概率，设定门限值为0.5，取大于0.5时的输出作为该食材类别的识别结果；6.5、根据步骤6.3中输出的菜品识别和属性信息的结果中的菜品特色属性信息，与数据库中的适宜人群进行匹配，输出匹配的适宜人群推荐结果；6.6、根据步骤6.4中输出的食材类别结果，与数据库中的菜品进行欧氏距离比较，输出欧氏距离最近的三种菜品作为此类菜品的相似菜品推荐结果。一种基于细粒度识别的菜品及属性信息的识别系统，所述系统包括：处理器以及与所述处理器耦合的存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现所述的一种基于细粒度识别的菜品及属性信息的识别方法的方法步骤。相对于现有技术，本专利技术具有以下有益效果：本专利技术通过终端或其他设备获取的菜品图片数据进行菜品种类与属性信息的识别。采用现有公开菜品图像数据，人工标注其菜品属性信息并建立数据库，形成学习样本；基于自定义的适用于菜品属性信息的深度神经网络和自定义的菜品属性信息的联合学习损失函数；训练出深度学习网络的菜品分类与属性识别器；采用菜品分类与属性识别器来对终端和其他设备获取本文档来自技高网...

【技术保护点】
1.一种基于细粒度识别的菜品及属性信息的识别方法，其特征在于，包括：/n对待识别的菜品图像进行预处理；/n将预处理后的图像输入训预先练好的深度神经网络菜品分类与属性识别器进行识别，输出菜品的类别属性信息；/n将获得获得菜品的类别属性信息与预先建立的菜品数据库进行匹配，输出识别结果。/n

【技术特征摘要】
1.一种基于细粒度识别的菜品及属性信息的识别方法，其特征在于，包括：
对待识别的菜品图像进行预处理；
将预处理后的图像输入训预先练好的深度神经网络菜品分类与属性识别器进行识别，输出菜品的类别属性信息；
将获得获得菜品的类别属性信息与预先建立的菜品数据库进行匹配，输出识别结果。


2.根据与权利要求1所述的一种基于细粒度识别的菜品及属性信息的识别方法，其特征在于，预先练好的深度神经网络菜品分类与属性识别器的训练步骤包括：
建立基于深度神经网络的分类与识别网络；
将标注菜品属性标签的学习样本集图片输入建立的基于深度神经网络的分类与识别网络进行训练，并基于菜品类别与属性的联合学习损失函数调整基于深度神经网络的分类与识别网络参数；使用随机梯度下降的方式进行优化，生成菜品分类与属性识别器，每隔一个epoch的迭代进行一次模型测试，挑选一个性能最好的模型保存下来，最终保存下来的模型为训练好的深度神经网络菜品分类与属性识别器。


3.根据与权利要求2所述的一种基于细粒度识别的菜品及属性信息的识别方法，其特征在于，将标注菜品属性标签的学习样本集图片输入建立的基于深度神经网络的分类与识别网络进行训练，并基于菜品类别与属性的联合学习损失函数调整基于深度神经网络的分类与识别网络参数，具体包括：
3.1、将标注菜品属性标签的学习样本集图片输入建立的基于深度神经网络的分类与识别网络的基网络，获得特征图；
3.2、将步骤3.1得到的基网络输出的特征图进行通道上的全局平均池化，全局平均池化后的结果作为特征图的通道权重向量，并与特征图逐通道加权求和，将其归一化后获得图像的热力图表示；
3.3、根据步骤3.2得到的热力图结果，设定阈值为0.25，从热力图上获得值大于0.25的最小矩形区域坐标；
3.4、利用步骤3.3中得到的最小矩形区域坐标对基网络输出的特征图进行剪裁，去除冗余信息，得到剪裁后的特征图；
3.5、将步骤3.4得到的剪裁后的特征图进行自适应池化，将其尺寸池化到步骤3.1中输出的特征图大小；
3.6、将步骤3.5得到的特征图通过两个3层卷积层所组成的双流网络，分别对菜品类别与属性进行学习，输出菜品类别特征与属性特征；
3.7、将步骤3.6得到的菜品类别特征和属性特征使用双线性池化进行特征组合，输出混合的嵌入特征；
3.8、将步骤3.7中输出的混合嵌入特征与步骤3.6中输出的菜品类别特征和属性特征进行组合，作为整张图像的特征表示；
3.9、将步骤3.8输出的特征表示通过全连接层输出菜品的类别属性信息。


4.根据与权利要求2所述的一种基于细粒度识别的菜品及属性信息的识别方法，其特征在于，菜品类别与属性的联合学习损失函数的表达式为：
L＝LF+LI+LA；
式中，LF为菜品分类的损失函数，LI为食材属性识别的损失函数，LA为菜系、烹饪方式、荤素属性、凉热属性、口味、菜点起源、菜品特色的交叉熵损失函数。


5.根据...

【专利技术属性】
技术研发人员：钱学明，刘成旭，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61