一种餐厅自动结算方法及系统技术方案

本发明专利技术涉及一种餐厅自动结算方法及系统，方法包括：拍摄检测区域中整体图像，并通过图像处理方法提取整体图像轮廓；利用轮廓信息，通过图像识别技术判断检测区域中是否有托盘及餐盘图像，将其整体图像及轮廓信息进行存储；然后利用图形学和图像处理方法提取餐盘的轮廓及色调信息；将餐盘轮廓和色调信息与数据库中的模板信息进行匹配，得到餐盘轮廓的形状及颜色；通过餐盘的形状、颜色和菜肴价格的关联，得出菜肴总金额；系统包括：摄像头、计算机、刷卡机和显示器。本发明专利技术无需对餐盘进行定制或改造，适用于任意形状和材料的餐盘，成本较低，高效快速，对餐盘之间的重叠、遮挡有一定的鲁棒性，无需对就餐人员摆放餐盘的方式有特别要求。

【技术实现步骤摘要】

本专利技术涉及餐饮领域中的自动结算技术，特别是涉及一种餐厅自动结算方法及系统。
技术介绍
近年来众多机关单位和高校等机构通过自办餐厅来解决员工或学生的就餐问题，目前主流的做法是自主选择，刷卡结算。但是由于就餐人员的增多，这给计费终端带来很大压力，一方面，在消费高峰期经常因为结算速度慢而导致排队现象；另一方面，价格计算的准确性也难以得到保证。针对传统人工结算方法出现的问题，已有一些自动结算系统被提出，主要有以下几种：(1)基于条码识别的结算方法每个餐盘都贴有1个条码标签，将条码与相应的菜价进行关联，在计费终端利用红外或激光条码扫描枪进行读取，得到相应菜肴价格。但此方法的缺点是在结算时效率较低且条码标签易损坏。(2)基于RFID识别的结算方法在餐盘制作时，提前在餐盘内部放置RFID标签，将RFID标签与菜价进行关联，在计费终端利用RFID读写器对餐盘RFID标签进行读取，得到相应菜肴价格。但此方法的缺点是餐盘需特殊定制，成本较高。(3)基于图像识别的结算方法现有的基于图像识别的结算方法，将菜肴像素特征或餐盘形状与菜价进行关联，在计费终端通过图像识别方法，得到相应菜肴价格。但此方法目前有的单纯基于图像颜色信息，易受光照等因素的影响；有的基于餐盘轮廓面积、周长进行形状识别，对餐盘形状提出了限制；同时上述方法只适用于餐盘之间无遮挡的情况，对餐盘之间重叠及遮挡情况的鲁棒性很差，而且上述方法对餐盘及托盘图像采集时借助于托盘检测装置或压力传感器等硬件设备，成本较高、系统较复杂。
技术实现思路
本专利技术所要解决的技术问题是提供一种餐厅自动结算方法及系统，以完全自动化的方式实现餐费结算，无需对餐盘进行定制或改造，适用于任意形状和材料的餐盘，成本较低；对餐盘之间的重叠、遮挡有一定的鲁棒性，无需对就餐人员摆放餐盘的方式有特别要求，方便就餐人员，无需借助除摄像头和计算机外其他硬件设备，高效快速、成本较低。本专利技术解决其技术问题所采用的技术方案是：提供一种餐厅自动结算方法，包括以下步骤：(1)将托盘和餐盘的轮廓及颜色信息存入数据库，建立模板数据库；(2)将餐盘的形状和颜色组合与菜肴价格进行关联；(3)获取在检测区域中整体图像，并提取整体图像轮廓；(4)利用整体图像轮廓信息，通过图像识别技术判断检测区域中是否有托盘及餐盘图像，并在检测区域中有托盘及餐盘图像时将其整体图像及轮廓信息进行存储；(5)利用模板数据库中模板托盘轮廓信息，通过矩阵与操作去除整体图像轮廓中托盘轮廓及托盘轮廓外围的干扰轮廓，只保留托盘内的轮廓数据；提取完整的餐盘轮廓；对提取的各个餐盘轮廓进行方向矫正；(6)在整体图像H通道中提取餐盘轮廓的色调信息；(7)将模板数据库中的餐盘模板轮廓与检测得到的轮廓依次进行匹配，得到最匹配的轮廓形状；根据餐盘轮廓图像的色调信息识别出餐盘的颜色；将检测到的各餐盘形状和颜色对应的菜肴价格输出。所述步骤(1)具体包括：将餐盘及托盘放置于检测区域中，摄像头进行拍摄得到图像，对图像进行颜色空间的转换，将RGB图像转换成HSV图像，并完成H、S、V三通道的分离；采用定阈值式二值化法对S通道图像进行阈值操作得到二值图像；对二值图像进行轮廓提取，得到餐盘和托盘的轮廓；对提取的各个轮廓进行方向矫正；提取各餐盘和托盘轮廓图像的色调通道像素信息，并将托盘和餐盘的轮廓及颜色信息存入数据库建立模板数据库。所述步骤(3)包括对获取的整体图像数据进行颜色空间的转换，将RGB图像转换成HSV图像，并完成H、S、V三通道的分离；采用定阈值式二值化法对S通道图像进行阈值操作得到二值图像；对二值图像进行轮廓提取，得到整体图像轮廓。所述步骤(4)中在整体图像轮廓中找面积最大的轮廓，对其做最小外接矩形；判断最小外接矩形的长、宽是否在阈值范围内；若在阈值范围内将整体图像信息及整体轮廓信息进行存储。所述步骤(5)具体包括以下子步骤：(51)将加粗后的模板托盘轮廓和填充后的模板托盘轮廓与整体图像轮廓进行矩阵与操作，将整体图像轮廓中的托盘轮廓和托盘外围的干扰轮廓去除；(52)餐盘之间在遮挡和重叠的情况下，提取的轮廓是多个餐盘轮廓连接在一起形成的大轮廓，通过判断轮廓是否平滑，区分所得轮廓是否为单独完整餐盘轮廓或大轮廓；(53)当所得轮廓为单独完整轮廓时，判断完整餐盘轮廓的面积及长短轴，去除菜肴干扰轮廓，执行步骤(55)；(54)当所得轮廓为大轮廓时，找到大轮廓中轮廓拐点，利用拐点将轮廓截断成若干小轮廓；通过图形学原理判断，将属于同一餐盘的小轮廓组合连接在一起；判断组合后的轮廓面积及长短轴，排除不合理组合轮廓和菜肴轮廓的干扰，形成较完整的餐盘轮廓，执行步骤(55)；(55)对得到的完整餐盘轮廓利用最小外接矩形进行方向矫正。所述步骤(51)包括以下子步骤：绘制图像整体轮廓；利用最小外接矩形，定位整体轮廓中的托盘轮廓，将模板托盘轮廓进行旋转与平移，使模板托盘轮廓和被定位的托盘轮廓对齐；绘制对齐后的模板托盘轮廓的图像，并进行加粗；将整体轮廓图像与模板托盘轮廓图像进行矩阵与操作，得到整体轮廓图像中的托盘轮廓，将其在整体轮廓中去除；绘制填充后的模板托盘轮廓图像，将轮廓内部填充；将整体轮廓图像与模板托盘轮廓填充图像进行矩阵与操作，得到整体轮廓图像中托盘外围的干扰图像，然后将其在整体轮廓中去除。所述步骤(52)包括以下子步骤：对轮廓进行多边形近似，得到一系列的近似多边形的点；历遍多边形上所有点，求每一点与其相邻前后两点所形成线段的夹角，若夹角小于设定的阈值，则认定此点为轮廓的拐点，若轮廓中无拐点，则判断此轮廓平滑，为完整的一个餐盘轮廓，否则，判断此轮廓不平滑，是多个餐盘轮廓形成的大轮廓。所述步骤(54)中将属于同一餐盘的小轮廓组合连接在一起时采用的组合策略为以长度最长的小轮廓为基准，依次判断其他小轮廓是否与该小轮廓同属于一个餐盘轮廓，将同属于一个餐盘轮廓的小轮廓进行连接组成较完整的餐盘轮廓；判断形成的完整的餐盘轮廓的面积及长短轴是否在阈值范围内，若在范围内则认为是合理组合轮廓；将合理组合轮廓进行存储并将其在小轮廓集合中删除；然后在剩下的小轮廓集合中，重复上述步骤，直到所有小轮廓组合完毕。判断两个小轮廓是否属于一个餐盘轮廓的方法为：(a)通过距离计算，找出两个距离最近的轮廓端点，两个轮廓端点分别属于两个不同的轮廓；(b)对两个端点分别作过端点的轮廓切线，得到两条直线；(c)当两条直线相交时，计算两条直线的交点，每本文档来自技高网...

【技术保护点】
一种餐厅自动结算方法，其特征在于，包括以下步骤：(1)将托盘和餐盘的轮廓及颜色信息存入数据库，建立模板数据库；(2)将餐盘的形状和颜色组合与菜肴价格进行关联；(3)获取在检测区域中整体图像，并提取整体图像轮廓；(4)利用整体图像轮廓信息，通过图像识别技术判断检测区域中是否有托盘及餐盘图像，并在检测区域中有托盘及餐盘图像时将其整体图像及轮廓信息进行存储；(5)利用模板数据库中模板托盘轮廓信息，通过矩阵与操作去除整体图像轮廓中托盘轮廓及托盘轮廓外围的干扰轮廓，只保留托盘内的轮廓数据；提取完整的餐盘轮廓；对提取的各个餐盘轮廓进行方向矫正；(6)在整体图像H通道中提取餐盘轮廓的色调信息；(7)将模板数据库中的餐盘模板轮廓与检测得到的轮廓依次进行匹配，得到最匹配的轮廓形状；根据餐盘轮廓图像的色调信息识别出餐盘的颜色；将检测到的各餐盘形状和颜色对应的菜肴价格输出。

【技术特征摘要】
1.一种餐厅自动结算方法，其特征在于，包括以下步骤：
(1)将托盘和餐盘的轮廓及颜色信息存入数据库，建立模板数据库；
(2)将餐盘的形状和颜色组合与菜肴价格进行关联；
(3)获取在检测区域中整体图像，并提取整体图像轮廓；
(4)利用整体图像轮廓信息，通过图像识别技术判断检测区域中是否有托盘及餐盘图
像，并在检测区域中有托盘及餐盘图像时将其整体图像及轮廓信息进行存储；
(5)利用模板数据库中模板托盘轮廓信息，通过矩阵与操作去除整体图像轮廓中托盘
轮廓及托盘轮廓外围的干扰轮廓，只保留托盘内的轮廓数据；提取完整的餐盘轮廓；
对提取的各个餐盘轮廓进行方向矫正；
(6)在整体图像H通道中提取餐盘轮廓的色调信息；
(7)将模板数据库中的餐盘模板轮廓与检测得到的轮廓依次进行匹配，得到最匹配的
轮廓形状；根据餐盘轮廓图像的色调信息识别出餐盘的颜色；将检测到的各餐盘形状
和颜色对应的菜肴价格输出。
2.根据权利要求1所述的餐厅自动结算方法，其特征在于，所述步骤(1)具体包括：将
餐盘及托盘放置于检测区域中，摄像头进行拍摄得到图像，对图像进行颜色空间的转
换，将RGB图像转换成HSV图像，并完成H、S、V三通道的分离；采用定阈值式二
值化法对S通道图像进行阈值操作得到二值图像；对二值图像进行轮廓提取，得到餐
盘和托盘的轮廓；对提取的各个轮廓进行方向矫正；提取各餐盘和托盘轮廓图像的色
调通道像素信息，并将托盘和餐盘的轮廓及颜色信息存入数据库建立模板数据库。
3.根据权利要求1所述的餐厅自动结算方法，其特征在于，所述步骤(3)包括对获取的
整体图像数据进行颜色空间的转换，将RGB图像转换成HSV图像，并完成H、S、V
三通道的分离；采用定阈值式二值化法对S通道图像进行阈值操作得到二值图像；对
二值图像进行轮廓提取，得到整体图像轮廓。
4.根据权利要求1所述的餐厅自动结算方法，其特征在于，所述步骤(4)中在整体图像
轮廓中找面积最大的轮廓，对其做最小外接矩形；判断最小外接矩形的长、宽是否在
阈值范围内；若在阈值范围内将整体图像信息及整体轮廓信息进行存储。
5.根据权利要求1所述的餐厅自动结算方法，其特征在于，所述步骤(5)具体包括以下
子步骤：
(51)将加粗后的模板托盘轮廓和填充后的模板托盘轮廓与整体图像轮廓进行矩阵与
操作，将整体图像轮廓中的托盘轮廓和托盘外围的干扰轮廓去除；
(52)餐盘之间在遮挡和重叠的情况下，提取的轮廓是多个餐盘轮廓连接在一起形成
的大轮廓，通过判断轮廓是否平滑，区分所得轮廓是否为单独完整餐盘轮廓或大轮廓；
(53)当所得轮廓为单独完整轮廓时，判断完整餐盘轮廓的面积及长短轴，去除菜肴
干扰轮廓，执行步骤(55)；
(54)当所得轮廓为大轮廓时，找到大轮廓中轮廓拐点，利用拐点将轮廓截断成若干
小轮廓；通过图形学原理判断，将属于同一餐盘的小轮廓组合连接在一起；判断组合
后的轮廓面积及长短轴，排除不合理组合轮廓和菜肴轮廓的干扰，形成较完整的餐盘
轮廓，执行步骤(55)；
(55)对得到的完整餐盘轮廓利用最小外接矩形进行方向矫正。
6.根据权利要求5所述的餐厅自动结算方法，其特征在于，所述步骤(51)包括以下子
步骤：绘制图像整体轮廓；利用最小外接矩形，定位整体轮廓中的托盘轮廓，将模板
托盘轮廓进行旋转与平移，使模板托盘轮廓和被定位的托盘轮廓对齐；绘制对齐后的
模板托盘轮廓的图像，并进行加粗；将整体轮廓图像与模板托盘轮廓图像进行矩阵与
操作，得到整体轮廓图像中的托盘轮廓，将其在整体轮廓中去除；绘制填...

【专利技术属性】
技术研发人员：王康如，谷宇章，邱云周，魏智，曲磊，张力，王冠营，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海;31