本发明专利技术基于餐具形状的菜品自动识别系统的计价方法，通过容器作为媒介进行菜品识别。本发明专利技术提供的方法是通过筛选拍摄的餐盘图像中菜品区域的形状和面积特征，分割餐盘中各个菜品；然后通过训练卷积神经网络得到分类器，直接识别菜品图像来实现菜品识别。相比于现有的通过芯片或颜色之类的方式只识别容器，受到容器的局限性，本发明专利技术不需要使用特殊餐具作为容器，成本较低，亦无需将菜品与容器必须对应盛装，排除了必须将菜品盛装在对应容器中带来的错误引入因素。
【技术实现步骤摘要】
本专利技术涉及机器视觉与机器学习领域，更具体地说是涉及一种基于餐具形状的菜品自动识别系统的计价方法，本专利技术可以广泛应用于食堂、快餐店等提供自助选餐、结算服务的场所。
技术介绍
随着城市生活节奏的不断加快，人们越来越多地通过各类快餐来解决“食”这个问题，例如在高校、机关单位、园区食堂或者快餐连锁店，越来越多采用自主挑选菜式，再通过排队刷卡或现金结算的方式进行选择和结算。而如何对挑选的菜式进行计价，现有的技术中通常采用的方式有人工计价和自动计价两种。由于就餐人员的增多，人工给餐、计价效率低，在消费高峰期经常因为结算速度慢而导致排队现象，价格计算的准确性也难以得到保证。随着现代人们对就餐效率的要求越来越高，自助选餐、结算的需求越来越大。传统的餐盘计价方式已不能满足人们的需求。近年出现的一些餐盘自动计价方式，规避了人工给参计价效率低、准确性难以保证等一系列问题。现有菜品自动识别计价系统多为基于餐具中内置芯片的方法，其实现步骤为：A’.不同餐具中内置存储不同菜品信息的芯片；B’.人工将菜品盛装到对应的餐具中；C’.芯片扫描装置扫描餐具，读取芯片中的菜品信息；D’.输出菜品信息，如名称、价格等。这种方案技术较成熟，但由于采用了步骤A’，需要内置芯片的特殊餐具，成本较高；需要特殊餐具，无法应用于外带服务；对人工盛装的准确度要求高，有菜品盛放错餐具的风险。其中，根据餐盘颜色，或形状计价的方案，因其无需使用安装芯片的特殊餐盘，成本较为低廉，成为了一种新的研究趋势。然而，在根据餐盘颜色、形状计价的不同方法中，仍存在着差异和缺陷。申请日为2014月11月20日，公告号为CN104463167A的中国专利技术专利申请公开了一种《一种餐厅自动结算方法及系统》，“方法包括：拍摄检测区域中整体图像，并通过图像处理方法提取整体图像轮廓；利用轮廓信息，通过图像识别技术判断检测区域中是否有托盘及餐盘图像，将其整体图像及轮廓信息进行存储；然后利用图形学和图像处理方法提取餐盘的轮廓及色调信息；将餐盘轮廓和色调信息与数据库中的模板信息进行匹配，得到餐盘轮廓的形状及颜色；通过餐盘的形状、颜色和菜肴价格的关联，得出菜肴总金额；系统包括：摄像头、计算机、刷卡机和显示器，无需对餐盘进行定制或改造，适用于任意形状和材料的餐盘，成本较低，高效快速，对餐盘之间的重叠、遮挡有一定的鲁棒性，无需对就餐人员摆放餐盘的方式有特别要求。”该方案通过提取颜色特征、餐具形状来识别餐具，现有方案多为将同价的菜品盛装于一种餐具中，实现识别餐具计价。然而由于餐具颜色、形状的组合有限，菜品样式往往多于餐具样式，无法单独针对菜品进行识别，提取菜品信息，如打印营养信息、菜品配方信息等，在应用中也受到局限。上述现有的基于图像识别的结算方法，仍然没有一种能够解决上述问题的方案。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术中存在的上述问题，提供一种直接识别菜品，准确率高，且不受容器约束，可同时现多个菜品统一计价的基于餐具形状的菜品自动识别系统的计价方法。本专利技术一种基于餐具形状的菜品自动识别系统的计价方法，包括如下步骤：A、将不同价格的菜品分装在不同形状的餐具中，使餐具的形状与菜品价格进行关联；B、将盛装菜品的餐盘置于检测区，触发信号触发相机拍摄餐盘图像；C、系统读取餐盘图像，检测餐盘图像中各个菜品所在的容器区域，分割各容器区域得到单菜品图片，并将所述的单菜品图片组成单菜品图像组；D、通过训练得到分类器，将所述的单菜品图像组通过预先训练好的分类器进行识别；E、输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。更进一步地，所述的步骤C中，检测餐盘图像中各个菜品所在的容器区域包括如下步骤：C01、采用canny算子提取边缘线，通过所述的边缘线断点连接、边缘线长度筛选，调整筛选目标边缘；C02、获取边缘线最小外接圆区域作为兴趣区域；C03、遍历所述的兴趣区域，筛选特定面积范围的兴趣区域作为目标区域，得到容器区域。更进一步地，所述的分类器，是一个卷积神经网络模型。更进一步地，所述的步骤D中，先读取单菜品图像组中的单菜品图片，将所述的单菜品图片归一化为统一尺寸，再通过所述的卷积神经网络的卷积层、池化层、全连接层提取特征。更进一步地，所述卷积层的卷积核初始值采用PCA主成分分析法得到。作为优选，所述的PCA主成分分析法包括如下步骤：从每张训练图片中随机切割10-50个12×12像素大小的patches，再从所有切得patches中随机选取10000-20000个， PCA得到若干个主成分，将均值化、白化后的若干个主成分patches保存作为卷积层1卷积核的初始值。更进一步地，所述的分类器采用softmax回归分类模型对提取的特征进行分类。此方法可以解决多个类别互斥的多分类问题。更进一步地，所述的步骤B中，所述的触发信号为压力感应信号。更进一步地，一种分类器的训练涉及随机梯度下降的神经网络训练方法，包括如下步骤，先载入包括单菜品图片的训练组单菜品图集，将所述的单菜品图片归一化为统一尺寸，步骤还包括：S1、前向传播；S2、计算代价函数；S3、反向传播：计算所述的分类器模型的各层残差；S4、计算所述的分类器模型的各层系数的梯度；S5、根据梯度修正分类器模型系数；S6、重复步骤S1，直到达到预设迭代次数或代价低于预设阈值。为解决上述问题，本专利技术的一种技术方案是：本专利技术基于餐具形状的菜品自动识别系统的计价方法，通过容器作为媒介进行菜品识别。本专利技术提供的方法是通过筛选拍摄的餐盘图像中菜品区域的形状和面积特征，分割餐盘中各个菜品；然后通过训练卷积神经网络得到分类器，直接识别菜品图像来实现菜品识别。相比于现有的通过芯片或颜色之类的方式只识别容器，受到容器的局限性，本专利技术不需要使用特殊餐具作为容器，成本较低，亦无需将菜品与容器必须对应盛装，排除了必须将菜品盛装在对应容器中带来的错误引入因素。本专利技术通过训练卷积神经网络得到图像分类器，直接识别菜品图像。一般的深度学习算法，在进行图像识别时，会丢失原始图像的结构信息，因而影响识别效果。卷积神经网络作为深度学习的方法之一，在继承深度学习自动学习提取特征的前提下，借助局部感受野的概念进行卷积运算，保证了原始信号的空间结构关系，同时通过共享权值减少了需要训练的参数，因而在模式识别等许多领域达到了更好的效果。附图说明图1是本专利技术基于餐具形状的菜品自动识别系统的计价方法的流程框图。图2是本专利技术所述的分类器训练的流程框图。具体实施方式下面结合附图和实施例进一步详细说明本专利技术，但本专利技术的保护范围并不限于此。参照图1-2，本专利技术一种基于餐具形状的菜品自动识别系统的计价方法，包括如下步骤：A、将不同价格的菜品分装在不同形状的餐具中，使餐具的形状与菜品价格进行关联；B、将盛装菜品的餐盘置于检测区，触发信号触发相机拍摄餐盘图像；C、系统读取餐盘图像，检测餐盘图像中各个菜品所在的容器区域，分割各容器区域得到单菜品图片，并将所述的单菜品图片组成单菜品图像组；D、通过训练得到分类器，将所述的单菜品图像组通过预先训练好的分类器进行识别；E、输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。所述的步骤C中，检测餐盘图像中各个菜品所在的容器区域包括如下步骤：C01、采用本文档来自技高网...
【技术保护点】
一种基于餐具形状的菜品自动识别系统的计价方法，其特征在于，包括如下步骤，A.将不同价格的菜品分装在不同形状的餐具中，使餐具的形状与菜品价格进行关联；B. 将盛装菜品的餐盘置于检测区，触发信号触发相机拍摄餐盘图像；C. 系统读取餐盘图像，检测餐盘图像中各个菜品所在的容器区域，分割各容器区域得到单菜品图片，并将所述的单菜品图片组成单菜品图像组；D. 通过训练得到分类器，将所述的单菜品图像组通过预先训练好的分类器进行识别；E. 输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。
【技术特征摘要】
1.一种基于餐具形状的菜品自动识别系统的计价方法，其特征在于，包括如下步骤，A.将不同价格的菜品分装在不同形状的餐具中，使餐具的形状与菜品价格进行关联；B. 将盛装菜品的餐盘置于检测区，触发信号触发相机拍摄餐盘图像；C. 系统读取餐盘图像，检测餐盘图像中各个菜品所在的容器区域，分割各容器区域得到单菜品图片，并将所述的单菜品图片组成单菜品图像组；D. 通过训练得到分类器，将所述的单菜品图像组通过预先训练好的分类器进行识别；E. 输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。2.根据权利要求1所述的一种基于餐具形状的菜品自动识别系统的计价方法，其特征在于，所述的步骤C中，检测餐盘图像中各个菜品所在的容器区域包括如下步骤：C01、采用canny算子提取边缘线，通过所述的边缘线断点连接、边缘线长度筛选，调整筛选目标边缘；C02、获取边缘线最小外接圆区域作为兴趣区域；C03、遍历所述的兴趣区域，筛选特定面积范围的兴趣区域作为目标区域，得到容器区域。3.根据权利要求1中所述的一种基于餐具形状的菜品自动识别系统的计价方法，其特征在于，所述的分类器，是一个卷积神经网络模型。4.根据权利要求3中所述的一种基于餐具形状的菜品自动识别系统的计价方法，其特征在于，所述的步骤D中，先读取单菜品图像组中的单菜品图片，将所述的单菜品图片归一化为统一尺寸，再通过卷积层、池化层、全连接层来提取特征。5.根...
【专利技术属性】
技术研发人员：周柔刚，周才健，许允迪，
申请(专利权)人：杭州汇萃智能科技有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。