一种基于深度学习的菜品识别方法及系统技术方案

本发明专利技术公开了一种基于深度学习的菜品识别方法及系统，该方法包括：S1：确定需要识别的非菜品物品的种类；S2：训练目标检测模型M_D；S3：训练菜品特征提取模型M_R；S4：应用目标检测模型M_D和特征提取模型M_R，对待识别的菜品图片P进行菜品识别。本发明专利技术既能够识别装在餐盘或者餐碗容器里的各种菜品，又能够识别没有装在餐盘或者餐碗里的物品，对于新增的菜品种类，不用重新训练算法模型，相较于现有技术，节省了训练成本，具有较好的适用性。具有较好的适用性。具有较好的适用性。

【技术实现步骤摘要】
一种基于深度学习的菜品识别方法及系统


[0001]本专利技术涉及深度学习
，尤其涉及一种基于深度学习的菜品识别方法及系统。

技术介绍

[0002]传统人工计费方式急需要通过引进新的技术来改革，人工智能图像识别技术近两三年得到雨后春笋般地发展，运用到各行各业中。而菜品识别，就是属于此AI技术的应用范畴，将大力赋能团餐信息化基础建设，解决食堂或餐厅的前端收银问题，将采集到的菜品交易信息进行大数据分析，为团餐大平台提供有力的数据支撑。
[0003]现有的技术有单独使用深度学习目标检测或语义分割的菜品识别方法在智能结算过程中，智能结算台通过摄像头获取结算时的菜品图片，即可端到端直接获取到每个菜品的具体位置和所属类别，智能结算系统根据每个菜品的检测结果进行快速关联，计算出当前订单的结算总金额。但是该种方式对标签数据需求量大，需要更高的人力成本；只适用于固定类别的菜品识别，不能识别新增的菜品，灵活性低；端到端模式的泛化能力差。
[0004]基于目标检测的菜品识别方法，通过YOLO、SSD等目标检测网络确定餐盘中不同菜品的种类和位置；基于图像分类的菜品识别方法，通过ResNet、Inception等分类网络确定每个菜品子图中菜品的种类。无论是目标检测模型还是图像分类模型，菜品类别都是固定的，每当出现新的菜品类别，必须在原有的训练样本中添加适当数量的新菜品样本，重新训练目标检测模型或者图像分类模型，才能识别新的菜品，算法模型的泛化能力较差，无法适应新菜品的识别需求。
[0005]另外，在真实的餐饮结算场景中，除了装在餐盘或者餐碗里的菜品，还有诸如煮鸡蛋、酸奶盒、单个水果(苹果、橘子、香蕉等)等没有装在餐盘或者餐碗里的物品也需要识别，基于特征比对的菜品识别方法无法满足此需求。

技术实现思路

[0006]为了克服现有技术中相关产品的不足，本专利技术提出一种基于深度学习的菜品识别方法及系统。
[0007]本专利技术提供了一种基于深度学习的菜品识别方法及系统，包括如下步骤：
[0008]S1：确定需要识别的非菜品物品的种类，分别依次定义为E1，...，E
n
；
[0009]S2：采集n+1类的样本图片集，生成对应的n+1类的样本标签集,选取目标检测算法进行模型训练，得到目标检测算法ALG_D的模型M_D；
[0010]S3：采集m类的样本图片集，生成对应的m类的样本标签集，选取提取特征的模型算法进行模型训练，得到特征提取算法ALG_R的模型M_R；
[0011]S4：应用目标检测模型M_D和特征提取模型M_R，对待识别的菜品图片P进行菜品识别。
[0012]在本专利技术的某些实施方式中，步骤S4中，所述应用目标检测模型M_D和特征提取模
型M_R，对待识别的菜品图片P进行菜品识别具体包括：
[0013]生成菜品菜单特征集Menu_F；
[0014]对待识别的菜品图片P，应用目标检测算法ALG_D和目标检测模型M_D得到检测结果集Res_D＝{Obj_D
i
|i＝1，...，p}，检测目标数目为p，检测目标Obj_D＝(Obj_Pos，Obj_Lbl),Obj_Pos表示检测目标Obj_D在图片P上Box框的位置，Obj_Lbl表示标签类别，Obj_Lbl∈L，如果Obj_Lbl∈{E1，...，E
n
}，直接输出检测目标所属的非物品类别；如果Obj_Lbl＝D0，则需要执行以下步骤确定具体菜品类别；
[0015]根据Box框的位置Obj_Pos从菜品图片P获取目标菜品子图Obj_P,得到目标菜品子图集Obj_PS＝{Obj_P
i
|i＝1，...，q，q<＝p}，菜品目标数目为q；
[0016]生成目标菜品子图特征集Obj_FS，对于目标菜品子图集Obj_PS中的每一个目标菜品子图Obj_P，应用特征提取算法ALG_R和特征提取模型M_R得到子图特征Obj_F，生成子图特征集Obj_FS＝{Obj_F
i
|i＝1，...，q，q<＝p}；
[0017]对于目标菜品子图特征集Obj_FS中的每一个子图特征Obj_F，其菜品类别为距离菜品菜单特征集Menu_F中最小菜单特征所对应的菜品类别Obj_Lbl2。
[0018]在本专利技术的某些实施方式中，所述子图特征Obj_F与菜品类别Obj_Lbl2的距离采用1
‑
余弦相似度度量，其中，余弦相似度为Obj_Sim，对应的两个向量分别为A和B，A
i
、B
i
分别为向量A和向量B的各分量，则向量A和向量B的余弦相似度计算如下：
[0019][0020]本专利技术还提供了一种基于深度学习的菜品识别系统，应用于上述任一项所述基于深度学习的菜品识别方法，包括：
[0021]设置模块：确定需要识别的非菜品物品的种类，分别依次定义为E1，...，E
n
；
[0022]目标检测模块：采集n+1类的样本图片集，生成对应的n+1类的样本标签集,选取目标检测算法进行模型训练，得到目标检测算法ALG_D的模型M_D；
[0023]特征提取模块：采集m类的样本图片集，生成对应的m类的样本标签集，选取提取特征的模型算法进行模型训练，得到特征提取算法ALG_R的模型M_R；
[0024]识别检测模块：应用目标检测模型M_D和特征提取模型M_R，对待识别的菜品图片P进行菜品识别。
[0025]在本专利技术的某些实施方式中，所述识别检测模块具体用于：
[0026]生成菜品菜单特征集Menu_F；
[0027]对待识别的菜品图片P，应用目标检测算法ALG_D和目标检测模型M_D得到检测结果集Res_D＝{Obj_D
i
|i＝1，...，p}，检测目标数目为p，检测目标Obj_D＝(Obj_Pos，Obj_Lbl),Obj_Pos表示检测目标Obj_D在图片P上Box框的位置，Obj_Lbl表示标签类别，Obj_Lbl∈L，如果Obj_Lbl∈{E1，...，E
n
}，直接输出检测目标所属的非物品类别；如果Obj_Lbl＝D0，则需要执行以下步骤确定具体菜品类别；
[0028]根据Box框的位置Obj_Pos从菜品图片P获取目标菜品子图Obj_P,得到目标菜品子图集Obj_PS＝{Obj_P
i
|i＝1，...，q，q<＝p}，菜品目标数目为q；
[0029]生成目标菜品子图特征集Obj_FS，对于目标菜品子图集Obj_PS中的每一个目标菜
品子图Obj_P，应用特征提取算法ALG_R和特征提取模型M_R得到子图特征Obj_F，生成子图特征集Obj_FS＝{Obj_F
i
|i＝1，...，q，q<＝p}；
[0030]对于目标菜品子图特征集Obj_FS中的每一个子图特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的菜品识别方法，其特征在于，包括如下步骤：S1：确定需要识别的非菜品物品的种类，分别依次定义为E1，...，E
n
；S2：采集n+1类的样本图片集，生成对应的n+1类的样本标签集,选取目标检测算法进行模型训练，得到目标检测算法ALG_D的模型M_D；S3：采集m类的样本图片集，生成对应的m类的样本标签集，选取提取特征的模型算法进行模型训练，得到特征提取算法ALG_R的模型M_R；S4：应用目标检测模型M_D和特征提取模型M_R，对待识别的菜品图片P进行菜品识别。2.根据权利要求1所述的基于深度学习的菜品识别方法，其特征在于，步骤S4中，所述应用目标检测模型M_D和特征提取模型M_R，对待识别的菜品图片P进行菜品识别具体包括：生成菜品菜单特征集Menu_F；对待识别的菜品图片P，应用目标检测算法ALG_D和目标检测模型M_D得到检测结果集Res_D＝{Obj_D
i
|i＝1，...，p}，检测目标数目为p，检测目标Obj_D＝(Obj_Pos，Obj_Lbl),Obj_Pos表示检测目标Obj_D在图片P上Box框的位置，Obj_Lbl表示标签类别，Obj_Lbl∈L，如果Obj_Lbl∈{E1，...，E
n
}，直接输出检测目标所属的非物品类别；如果Obj_Lbl＝D0，则需要执行以下步骤确定具体菜品类别；根据Box框的位置Obj_Pos从菜品图片P获取目标菜品子图Obj_P,得到目标菜品子图集Obj_PS＝{Obj_P
i
|i＝1，...，q，q<＝p}，菜品目标数目为q；生成目标菜品子图特征集Obj_FS，对于目标菜品子图集Obj_PS中的每一个目标菜品子图Obj_P，应用特征提取算法ALG_R和特征提取模型M_R得到子图特征Obj_F，生成子图特征集Obj_FS＝{Obj_F
i
|i＝1，...，q，q<＝p}；对于目标菜品子图特征集Obj_FS中的每一个子图特征Obj_F，其菜品类别为距离菜品菜单特征集Menu_F中最小菜单特征所对应的菜品类别Obj_Lbl2。3.根据权利要求2所述的基于深度学习的菜品识别方法，其特征在于，所述子图特征Obj_F与菜品类别Obj_Lbl2的距离采用1
‑
余弦相似度度量，其中，余弦相似度为Obj_Sim，对应的两个向量分别为A和B，A
i
、B
i
分别为向量A和向量B的各分量，则向量A和向量B的余弦相似度计算如下：4.一种基于深度学习的菜品识...

【专利技术属性】
技术研发人员：朱丽，罗菁，姚闻轩，王洁，胡路，何佳恺，
申请(专利权)人：湖北公众信息产业有限责任公司，
类型：发明
国别省市：