菜品种类识别处理方法及装置制造方法及图纸

本说明书实施例提供了菜品种类识别处理方法及装置，其中，一种菜品种类识别处理方法包括：对菜品机具采集的菜品组合的图像进行图像质量检测；若检测未通过，调整所述菜品机具的图像采集参数，并获取基于调整后的图像采集参数采集的图像；基于检测通过的目标图像进行所述菜品组合中各菜品的遮挡关系校验；若校验通过，在所述目标图像中各菜品对应的图像区域中提取各菜品的菜品特征；将各菜品的菜品特征与菜品库中注册菜品的菜品特征进行比对，根据比对结果确定各菜品的菜品种类。比对结果确定各菜品的菜品种类。比对结果确定各菜品的菜品种类。

【技术实现步骤摘要】
菜品种类识别处理方法及装置


[0001]本文件涉及数据处理
，尤其涉及一种菜品种类识别处理方法及装置。

技术介绍

[0002]菜品作为人们的生活必需品，针对菜品品种的开发在不断发展，菜品品种也在不断增加，用户通过肉眼通常只能辨别出少数品种的菜品。针对用户自助就餐的场景，帮助用户进行菜品识别成为了一种需求。而且，菜品识别还可以应用到多种不同的应用场景，例如餐饮店铺的结账流程、智能餐盘对菜品的语音介绍、智能冰箱针对存放的不同菜品的监控等等。

技术实现思路

[0003]本说明书一个或多个实施例提供了一种菜品种类识别处理方法，包括：对菜品机具采集的菜品组合的图像进行图像质量检测；若检测未通过，调整所述菜品机具的图像采集参数，并获取基于调整后的图像采集参数采集的图像。基于检测通过的目标图像进行所述菜品组合中各菜品的遮挡关系校验；若校验通过，在所述目标图像中各菜品对应的图像区域中提取各菜品的菜品特征。将各菜品的菜品特征与菜品库中注册菜品的菜品特征进行比对，根据比对结果确定各菜品的菜品种类。
[0004]本说明书一个或多个实施例提供了一种菜品种类识别处理装置，包括：图像质量检测模块，被配置为对菜品机具采集的菜品组合的图像进行图像质量检测；若检测未通过，运行图像获取模块，所述图像获取模块，被配置为调整所述菜品机具的图像采集参数，并获取基于调整后的图像采集参数采集的图像。遮挡关系校验模块，被配置为基于检测通过的目标图像进行所述菜品组合中各菜品的遮挡关系校验；若校验通过，运行菜品特征提取模块，所述菜品特征提取模块，被配置为在所述目标图像中各菜品对应的图像区域中提取各菜品的菜品特征。菜品种类确定模块，被配置为将各菜品的菜品特征与菜品库中注册菜品的菜品特征进行比对，根据比对结果确定各菜品的菜品种类。
[0005]本说明书一个或多个实施例提供了一种菜品种类识别处理设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：对菜品机具采集的菜品组合的图像进行图像质量检测；若检测未通过，调整所述菜品机具的图像采集参数，并获取基于调整后的图像采集参数采集的图像。基于检测通过的目标图像进行所述菜品组合中各菜品的遮挡关系校验；若校验通过，在所述目标图像中各菜品对应的图像区域中提取各菜品的菜品特征。将各菜品的菜品特征与菜品库中注册菜品的菜品特征进行比对，根据比对结果确定各菜品的菜品种类。
[0006]本说明书一个或多个实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：对菜品机具采集的菜品组合的图像进行图像质量检测；若检测未通过，调整所述菜品机具的图像采集参数，并获取基于调整后的图像采集参数采集的图像。基于检测通过的目标图像进行所述菜品组合中各菜品的遮
挡关系校验；若校验通过，在所述目标图像中各菜品对应的图像区域中提取各菜品的菜品特征。将各菜品的菜品特征与菜品库中注册菜品的菜品特征进行比对，根据比对结果确定各菜品的菜品种类。
附图说明
[0007]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；
[0008]图1为本说明书一个或多个实施例提供的一种菜品种类识别处理方法处理流程图；
[0009]图2为本说明书一个或多个实施例提供的一种应用于团餐场景的菜品种类识别处理方法处理流程图；
[0010]图3为本说明书一个或多个实施例提供的一种菜品种类识别处理装置示意图；
[0011]图4为本说明书一个或多个实施例提供的一种菜品种类识别处理设备的结构示意图。
具体实施方式
[0012]为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
[0013]本说明书提供的一种菜品种类识别处理方法实施例：
[0014]参照图1，本实施例提供的菜品种类识别处理方法，所述方法具体包括步骤S102至步骤S110。
[0015]步骤S102，对菜品机具采集的菜品组合的图像进行图像质量检测。
[0016]实际应用中，在识别菜品的过程中，从固定视角对识别区拍照采集图像，通过检测与分类两个模型串行对图像内容进行分析处理，得到菜品数量与品类，但由于具体场景下环境光线不稳定、菜品自由摆放导致的互相遮挡问题，会导致菜品种类的识别准确性低。
[0017]本实施例提供的菜品种类识别处理方法，通过调整菜品机具的图像采集参数，采集能够通过图像质量检测的菜品组合的目标图像，并通过对目标图像的菜品组合中各菜品的遮挡关系进行校验，使获取到能够清晰表征菜品的菜品特征，将获取到的菜品特征与菜品哭中注册菜品的菜品特征进行比对来确定目标图像中各菜品的菜品种类；
[0018]以此，通过对采集到的菜品组合的图像进行图像质量检测，并在检测未通过的情况下调整图像采集参数重新采集，直至采集到的能够通过图像质量检测的目标图像，提升采集到的图像质量，提升对菜品种类确定的有效性，进一步，在采集到的目标图像后，对目标图像进行遮挡关系校验，以保证对目标图像中各菜品进行特征提取的准确度，此外，通过设置菜品库，提升将新菜品进行注册的效率。
[0019]本实施例所述菜品机具，是指就餐机构或者机构内部组织(比如学校食堂或者餐厅)配置的用于菜品识别、菜品结算或者其他功能的机具；例如，摄像机。且在具体实施时，为了解决环境光照变化的问题，在菜品机具配置环境光遮挡结构和/或主动补光模块，或者配置非可见光补光和非可见光相机。所述菜品组合，是指由一个或者多个菜品种类的菜品组成的组合，比如菜品组合为菜品A、菜品B、菜品C的组合；需要说明的是，所述菜品组合中包含的菜品不仅可以是传统意义上的各种类型的菜品，还可以是粗粮、细粮、饮品；本实施例中，所述菜品组合还包括处于同一采集范围内的至少一个菜品，或者处于同一盛载器皿内的至少一个菜品；例如：同一可盛放多种菜品的餐盘中的多种菜品的组合，餐厅内同一餐桌上多个餐盘中的菜品的组合。所述图像，是指针对菜品组合采集的图像信息，
[0020]实际应用中，由于环境光线不稳定等因素，利用固定参数进行图像采集，无法确保图像质量；基于此，为了提升对菜品组合中不同菜品进行确定的准确率，本实施例中对菜品机具采集的菜品组合的图像进行图像质量检测。可选的，所述菜品机具按照图像采集周期进行菜品组合的图像采集，或者，在所述菜品机具配置的检测传感器检测到菜品组合满足检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种菜品种类识别处理方法，包括：对菜品机具采集的菜品组合的图像进行图像质量检测；若检测未通过，调整所述菜品机具的图像采集参数，并获取基于调整后的图像采集参数采集的图像；基于检测通过的目标图像进行所述菜品组合中各菜品的遮挡关系校验；若校验通过，在所述目标图像中各菜品对应的图像区域中提取各菜品的菜品特征；将各菜品的菜品特征与菜品库中注册菜品的菜品特征进行比对，根据比对结果确定各菜品的菜品种类。2.根据权利要求1所述的菜品种类识别处理方法，所述对菜品机具采集的菜品组合的图像进行图像质量检测步骤执行之后，还包括：若检测通过，则将进行所述图像质量检测的图像作为目标图像，并执行所述基于检测通过的目标图像进行所述菜品组合中各菜品的遮挡关系校验步骤。3.根据权利要求2所述的菜品种类识别处理方法，所述调整所述菜品机具的图像采集参数，并获取基于调整后的图像采集参数采集的图像步骤执行之后，返回执行所述对菜品机具采集的菜品组合的图像进行图像质量检测步骤。4.根据权利要求1所述的菜品种类识别处理方法，还包括：将所述菜品机具在所述图像采集参数调整前采集的图像与调整后采集的图像进行合成处理，并将合成处理获得的合成图像作为所述目标图像。5.根据权利要求1所述的菜品种类识别处理方法，所述基于检测通过的目标图像进行所述菜品组合中各菜品的遮挡关系校验步骤执行之后，还包括：若校验未通过，向所述菜品机具下发所述菜品组合存在菜品遮挡的遮挡提醒，以提醒目标用户对菜品盛放用具中的菜品进行调整；获取所述菜品机具采集的图像，并返回执行所述对菜品机具采集的菜品组合的图像进行图像质量检测步骤。6.根据权利要求1所述的菜品种类识别处理方法，所述基于检测通过的目标图像进行所述菜品组合中各菜品的遮挡关系校验，包括：将所述目标图像输入预先训练的二分类模型进行菜品组合中各菜品的遮挡关系校验，输出所述目标图像的遮挡关系类型；若所述遮挡关系类型为存在菜品遮挡，则确定校验未通过；若所述遮挡关系类型为不存在菜品遮挡，则确定校验通过。7.根据权利要求1所述的菜品种类识别处理方法，所述基于检测通过的目标图像进行所述菜品组合中各菜品的遮挡关系校验，包括：对所述目标图像进行菜品图像区域切分，获得各菜品的图像区域对应的子图像；将各菜品的图像区域对应的子图像输入遮挡检测模型进行菜品遮挡检测，输出各菜品的检测标识；若存在任一菜品的检测标识为遮挡标识，则确定校验未通过；若各菜品的检测标识均为非遮挡标识，则确定校验通过。8.根据权利要求7所述的菜品种类识别处理方法，所述在所述目标图像中各菜品对应的图像区域中提取各菜品的菜品特征，包括：
将各菜品的图像区域对应的子图像输入特征提取模型进行菜品特征提取，输出各菜品的菜品特征向量；其中，所述注册菜品的菜品特征，是指将所述注册菜品的菜品图像输入所述特征提取模型进行菜品特征提取获得的所述注册菜品的菜品特征向量。9.根据权利要求1所述的菜品种类识别处理方法，所述在所述目标图像中各菜品对应的图像区域中提取各菜品的菜品特征，包括：对所述目标图像进行菜品图像区域切分，获得各菜品的图像区域对应的子图像；将各菜品的图像区域对应的子图像输入特征提取模型进行菜品特征提取，输出各菜品的菜品特征向量。10.根据权利要求8或9所述的菜品种类识别处理方法，所述将各菜品的菜品特征与菜品库中注册菜品的菜品特征进行比对，根据比对结果确定各菜品的菜品种类，包括：针对各菜品中任一菜品，采用相似度算法计算...

【专利技术属性】
技术研发人员：王萌，程远，阚文虎，岑文彬，李福喜，雷伦杰，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：