一种基于多模型的菜品识别方法及设备技术

本申请提供了一种基于多模型的菜品识别方法及设备，属于基于图像数据处理的菜品识别技术领域。该方法获取来自图像采集设备的待识别菜品图像，通过预设菜品区域检测模型，确定待识别菜品图像中的菜品区域信息。基于菜品区域信息及预设菜品特征识别模型，确定菜品区域信息中的菜品是否为待注册菜品。若是，将待注册菜品相应的菜品信息发送至预设菜品特征库。其中，菜品信息至少包括：菜品标识、菜品特征识别模型提取的菜品特征向量。否则，将菜品区域信息中的菜品相应的菜品特征向量更新至菜品特征库和/或将菜品区域信息中的菜品相应的菜品标识发送至用户终端。品标识发送至用户终端。品标识发送至用户终端。

【技术实现步骤摘要】
一种基于多模型的菜品识别方法及设备


[0001]本申请涉及基于图像数据处理的菜品识别的
，尤其涉及一种基于多模型的菜品识别方法及设备。

技术介绍

[0002]随着计算机技术的发展，餐饮行业由原本效率低下的人工售货收银，开始通过计算机视觉技术，进行自动售货及收银。如过去餐厅的结算方式一般是先由客人选取一份或是多份菜品，然后到达结算台，由收银员进行计价，客人按总价付款。现有的结算方式，开始依靠由视觉静态模型库训练的静态识别模型，进行识别菜品及菜品的价格，完成自动结算，例如现有的CN115424258A
‑
一种基于深度学习的餐盘定位识别菜品信息方法该专利公开的识别方法。
[0003]但是，由视觉静态模型库训练而来的识别模型，在菜品发生变化，例如菜品配料发生变化，识别模型并不能准确地识别到菜品；且对于未存在于视觉静态模型库中的菜品，更是无法识别，出现识别异常时，仍需要人工处理异常完成结算，结算效率低，人工成本高。若要能够识别更多菜品，需要建立大型菜品训练集，所需成本较高。
[0004]基于此，亟需一种能够节省人力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模型的菜品识别方法，其特征在于，所述方法包括：获取来自图像采集设备的待识别菜品图像；通过预设菜品区域检测模型，确定所述待识别菜品图像中的菜品区域信息；基于所述菜品区域信息及预设菜品特征识别模型，确定所述菜品区域信息中的菜品是否为待注册菜品；若是，将所述待注册菜品相应的菜品信息发送至预设菜品特征库；其中，所述菜品信息至少包括：菜品标识、所述菜品特征识别模型提取的菜品特征向量；否则，将所述菜品区域信息中的菜品相应的菜品特征向量更新至所述菜品特征库和/或将所述菜品区域信息中的菜品相应的菜品标识发送至用户终端。2.根据权利要求1所述方法，其特征在于，通过预设菜品区域检测模型，确定所述待识别菜品图像中的菜品区域信息之前，所述方法还包括：获取预设数据库中的若干菜品区域训练样本；其中，各所述菜品区域训练样本中至少包括一个携带标注信息的菜品区域图像；所述标注信息包括菜品标识；将所述菜品区域训练样本输入待训练的菜品区域检测模型，以对所述菜品区域训练样本进行数据增强处理；其中，所述数据增强处理的处理对象至少包括以下一项或多项：样本图像颜色、样本图像亮度、样本图像几何数据；通过数据增强处理后的所述菜品区域训练样本，训练所述菜品区域检测模型，以使所述菜品区域检测模型从若干所述处理对象中，确定对各所述菜品区域图像区域检测的关键对象；其中，所述关键对象至少包括一个所述处理对象；所述关键对象用于所述菜品区域检测模型提取所述菜品区域图像。3.根据权利要求2所述方法，其特征在于，通过预设菜品区域检测模型，确定所述待识别菜品图像中的菜品区域信息，具体包括：通过训练完成的所述菜品区域检测模型，确定所述待识别菜品图像中的各菜品区域坐标集合；其中，所述菜品区域检测模型采用高性能检测器YOLOX；一个所述菜品区域坐标集合对应于所述待识别菜品图像中的一个菜品图像；基于各所述菜品区域坐标集合，生成所述待识别菜品图像中的菜品区域信息；所述菜品区域信息至少包括菜品区域坐标及其对应的菜品区域图像。4.根据权利要求1所述方法，其特征在于，基于所述菜品区域信息及预设菜品特征识别模型，确定所述菜品区域信息中的菜品是否为待注册菜品，具体包括：将所述菜品区域信息输入所述菜品特征识别模型中的菜品特征提取子模型，以便所述菜品特征提取子模型提取所述菜品区域信息相应的菜品区域图像的菜品特征向量；其中，所述菜品特征向量为所述菜品特征识别模型中的全局平均池化层输出的预设维度特征向量；通过所述菜品特征识别模型中的菜品特征匹配子模型，按照预设的FLAT索引，将各所述菜品特征向量与所述菜品特征库中的若干已注册菜品特征向量依次匹配；基于各所述菜品特征向量与所述菜品特征库中的若干已注册菜品特征向量依次匹配的匹配结果，确定所述菜品区域信息中的菜品是否为待注册菜品。5.根据权利要求4所述方法，其特征在于，通过所述菜品特征识别模型中的菜品特征匹配子模型，按照预设的FLAT索引，将各所述菜品特征向量与所述菜品特征库中的若干已注
册菜品特征向量依次匹配，具体包括：通过图像处理器GPU，按照所述FLAT索引，并行计算所述菜品特征向量与各所述已注册菜品特征向量的余弦相似度；根据各所述菜品特征向量相应的若干余弦相似度及预设匹配规则，筛选各所述菜品特征向量匹配的所述已注册菜品特征向量，并生成所述匹配结果；其中，所述匹配规则用于剔除小于预设阈值的所述余弦相似度。6.根据权利要求4所述方法，其特征在于，将所述菜品区域信息输入所述菜品特征识别模型中的菜品特征提取子模型之前，所述方法还包括：将预设数据库中的若干菜品特征提取训练样本图像，输入所述菜品特征提取...

【专利技术属性】
技术研发人员：董瑞忠，石维权，黄至铖，王志航，于春磊，张志伟，方威，
申请(专利权)人：北京荣智震宇科技有限公司，
类型：发明
国别省市：