一种多阶段菜品识别方法技术

本发明专利技术揭示了一种多阶段菜品识别方法，包括第一阶段，采集包含餐盘及其中菜品的连续多帧图片，并从中筛选得到适于进行菜品识别的若干帧图片；第二阶段，对所得图片进行目标检测，定位当前图片中所有菜品各自的具体位置；第三阶段，裁剪抠取每一个菜品的子图，并将子图逐一送入特征提取网络、提取菜品特征并与数据库中菜品特征进行匹配，识别菜品类别。本发明专利技术菜品识别方法采用分阶段的识别方式，降低了目标检测网络对标签数据的需求，节约了人力成本；采用特征提取网络对子图或增强后的子图提取用于比对识别的特征，可适用于不固定类别或灵活新增的菜品识别，具有较强的泛化能力，且菜品识别精度更高。品识别精度更高。品识别精度更高。

【技术实现步骤摘要】
一种多阶段菜品识别方法


[0001]本专利技术涉及一种计算机视觉的图像数据处理方法，尤其涉及一种融合深度学习目标检测和图像检索方法的多阶段菜品识别方法。

技术介绍

[0002]随着社会的快速发展，为了体现方便快捷，现阶段大部分的餐厅都采用了自主挑选菜品，排队进行结账。由于结账分为人工计价和自动计价，随着食客人数的增多，人工计价效率低，正确率无法得到保障等缺点就会显露出来。随着人工智能以及移动端互联网的规模急速增长，人们对于“智能化”的需求越来越大，因此近年来出现了一些自动计价方法。 在餐饮行业方面，当前越来越多许高校以及大型企业的食堂，引入菜品智能识别与结算设备。现有的技术有单独使用深度学习目标检测或语义分割的菜品识别方法在智能结算过程中，智能结算台通过摄像头获取结算时的菜品图片，即可端到端直接获取到每个菜品的具体位置和所属类别，智能结算系统根据每个菜品的检测结果进行快速关联，计算出当前订单的结算总金额。但是，该种方式对标签数据需求量大，需要更高的人力成本；只适用于固定类别的菜品识别，不能识别新增的菜品，灵活性低；端到端模式的泛化能力差，菜品识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多阶段菜品识别方法，其特征在于包括：第一阶段，利用摄像头采集连续的视频流，通过对相邻两帧连续图像进行特征比对，确定有包含餐盘及其中菜品的图片进入摄像头视角，触发检测功能；第二阶段，对所得图片进行目标检测，定位当前图片中所有菜品各自的具体位置；第三阶段，裁剪抠取每一个菜品的子图，并将子图逐一送入特征提取网络、提取菜品特征并与数据库中菜品特征进行匹配，识别菜品类别。2.根据权利要求1所述多阶段菜品识别方法，其特征在于：第一阶段中特征比对根据对菜品识别的现实场景分析，过程包括先对采集的每一帧图片降采样为8*8大小的区域，再对所得区域的灰度平均值乘以值为1.25的缩放因子得到阈值；而后将所得区域内的64个灰度值与阈值进行比较，设大于阈值为1，小于阈值为0，得到64位的二进制编码；最后将连续两帧图像的二进制编码进行欧式距离比较，若欧式距离大于5，则触发检测功能。3.根据权利要求...

【专利技术属性】
技术研发人员：蒋树强，闵巍庆，梅舒欢，
申请(专利权)人：中科苏州智能计算技术研究院，
类型：发明
国别省市：