基于图像识别的餐厅自动结账方法技术

本发明专利技术公开一种基于基于图像识别的餐厅自动结账方法，包括以下步骤：通过第一单目摄像头或第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息；将每个餐盘的特征信息与预先存储的餐盘特征信息与餐品或价格的对应关系进行对比，确定其对应菜品种类或价格，并汇总得到当前用户的用餐总价。本发明专利技术针对使用不同形状、尺寸、颜色的餐碟盛放不同价格菜品的食堂或餐厅，可实现客户点餐餐盘的自动图像拍摄，可对餐盘图像自动识别并自动计算餐盘所含菜品的总价，可将单价、数量及总价呈现在显示装置上。因而可以用最准确、高效的特征识别技术来对目标物体进行识别定位，具有非常广阔的应用前景。

Automatic checkout method of restaurant based on image recognition

The invention discloses an automatic checkout method for a restaurant based on image recognition, including the following steps: collecting the current plate image through a first single camera or a first binocular camera, obtaining the feature information of each meal in the current plate image, and the feature information of each plate and the characteristics of the pre stored plate. Information is compared with the corresponding relationship between food products or prices, the corresponding types or prices of dishes are determined, and the total meal price of current customers is aggregated. The invention can realize automatic image shooting of the customer point meal plate for the dining halls or restaurants with different prices of different shapes, sizes and colors, which can automatically identify the image of the plate and automatically calculate the total price of the dishes contained in the plate, and the unit price, quantity and the total price can be presented on the display device. Therefore, the most accurate and efficient feature recognition technology can be used to identify and locate the target object. It has a very broad application prospect.

【技术实现步骤摘要】
基于图像识别的餐厅自动结账方法
本专利技术属于机器视觉
，特别涉及一种基于图像识别的餐厅自动结账方法。
技术介绍
随着机器识别技术的发展，目前很多领域都应用到了机器视觉认知。传统的机器识别包括机器臂定位、智能车辆导航、规避障碍物、甚至人脸识别、指纹识别等等。然而，所有目前的机器识别系统都存在一个不可避免的缺陷，就是识别速度慢，误差率较高。当前，随着人民生活水平日益提高，饮食消费观念也逐步改变，外出就餐更趋经常化，选择性增强，对消费质量要求不断提高，市场消费大众性和基本需求性特点表现的更加充分。由于传统的人工计费方式费时费力，不便于管理，结账速度慢，出错概率高又容易造成人群的拥堵。
技术实现思路
本专利技术的目的就是克服现有技术中提到的上述弊端，提供一种识别准确率高、速度快的基于图像识别的餐厅自动结账方法。为达上述目的，本专利技术采取以下技术方案：一种基于图像识别的餐厅自动结账方法，包括以下步骤：通过第一单目摄像头或第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息；将每个餐盘的特征信息与预先存储的餐盘特征信息与餐品或价格的对应关系进行对比，确定其对应菜品种类或价格，并汇总得到当前用户的用餐总价。进一步地，上述餐厅自动结账方法还包括：通过第二单目摄像头或第二双目摄像头采集当前用户面部图像；将所述当前用户面部图像与预先存储的用户图像进行比对，确定当前用户的账户信息。进一步地，上述餐厅自动结账方法还包括：将当前用户的用餐总价和账户信息显示在屏幕上，接受用户确认。进一步地，所述餐盘的特征信息包括颜色、形状、尺寸中的至少一项。5、根据权利要求1所述的餐厅自动结账方法，其特征在于，当采用第一双目摄像头获取当前餐盘图像时，所述通过第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息包括：通过第一双目摄像头获取当前餐盘的第一平面图像和第二平面图像；利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立当前餐盘的三维坐标空间；根据坐标与图像像素之间的预先标定信息关系，输出每个餐盘的颜色、形状、尺寸中的至少一项。进一步地，所述利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立当前餐盘的三维坐标空间包括：S1：对所述第一平面图像和第二平面图像进行预处理；S2：对经过预处理的第一平面图像和第二平面图像进行智能认知，确定视差计算前的泛化认知特征，并建立所述第一平面图像和第二平面图像之间的匹配关系，以辨认餐盘的认知属性；S3：根据餐盘的认知属性，确认与该认知属性相对应的一个或多个特定认知特征；S4：根据双目立体成像原理进行视差计算；S5：结合所述特定认知特征和点云图，建立当前餐盘的三维坐标空间；进一步地，上述结账方法还包括以下步骤：S6：判断所述三维坐标空间的识别度是否满足精度和误差要求；如满足，根据坐标与图片像素之间的关系，将图片中每个餐盘边长的像素值转换为真实的长度信息，输出所述目标物体的几何尺寸信息；如不满足，转至步骤S7；S7：返回步骤S2，重新确定所述泛化认知特征，并继续执行步骤S3-S6。进一步地，所述步骤S4中还包括获取所述当前餐盘的点云图。进一步地，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种；所述特定认知特征包含在所述泛化认知特征之内；所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。进一步地，所述步骤S1中的预处理包括滤波、降噪、白平衡、扭曲处理、放射变化。进一步地，所述步骤S2中确定视差计算前的泛化认知特征的方法包括：图形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、本图形和其它泛化图形的几何关系、组成图形的轮廓的长度比例关系。本专利技术相对于现有技术，最大的创新点在于，采用了泛化认知特征和特定认知特征相结合的方式来对目标物体进行识别定位的技术手段。首先，所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种；而所述特定认知特征包含在所述泛化认知特征之内。所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。所述特定认知特征则是基于图像的深度学习认知特征，辨认出目标物体的具体类别。这里的类别可以包括各种不同形状的具体物体。综上所述，本专利技术针对使用不同形状、尺寸、颜色的餐碟盛放不同价格菜品的食堂或餐厅，可实现客户点餐餐盘的自动图像拍摄，可对餐盘图像自动识别并自动计算餐盘所含菜品的总价，以及根据当前顾客的面部图像识别出预先预先绑定的顾客账户信息，并将单价、数量、总价以及结算账户呈现在显示装置上。，因而可以用最准确、高效的特征识别技术来对目标物体进行识别定位，具有非常广阔的应用前景。附图说明图1为本专利技术一具体实施里的基于图像识别的餐厅自动结账方法使用场景示意图。附图标记说明：显示器10、第一单目摄像头或第一双目摄像头20、第二单目摄像头或第二双目摄像头30。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参见图1，本专利技术一个实施例的基于图像识别的餐厅自动结账方法，包括以下步骤：通过第一单目摄像头或第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息；将每个餐盘的特征信息与预先存储的餐盘特征信息与餐品或价格的对应关系进行对比，确定其对应菜品种类或价格，并汇总得到当前用户的用餐总价。进一步地，上述餐厅自动结账方法还包括：通过第二单目摄像头或第二双目摄像头采集当前用户面部图像；将所述当前用户面部图像与预先存储的用户图像进行比对，确定当前用户的账户信息。进一步地，上述餐厅自动结账方法还包括：将当前用户的用餐总价和账户信息显示在屏幕上，接受用户确认。进一步地，所述餐盘的特征信息包括颜色、形状、尺寸中的至少一项。5、根据权利要求1所述的餐厅自动结账方法，其特征在于，当采用第一双目摄像头获取当前餐盘图像时，所述通过第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息包括：通过第一双目摄像头获取当前餐盘的第一平面图像和第二平面图像；利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立当前餐盘的三维坐标空间；根据坐标与图像像素之间的预先标定信息关系，输出每个餐盘的颜色、形状、尺寸中的至少一项。进一步地，所述利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立当前餐盘的三维坐标空间包括：S1：对所述第一平面图像和第二平面图像进行预处理；S2：对经过预处理的第一平面图像和第二平面图像进行智能认知，确定视差计算前的泛化认知特征，并建立所述第一平面图像和第二平面图像之间的匹配关系，以辨认餐盘的认知属性；S3：根据餐盘的认知属性，确认与该认知属性相对应的一个或多个特定认知特征；S4：根据双目立体成像原理进行视差计算；S5：结合所述特定认知特征和点云图，建立当前餐盘的三维坐标空间；进一步地，上述自动结账方法还包括以下步骤：S6：判断所述三维坐标空间的识别度是否满足精度和误差要求；如满足，根据坐标与图本文档来自技高网...

【技术保护点】
一种基于图像识别的餐厅自动结账方法，其特征在于，包括以下步骤：通过第一单目摄像头或第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息；将每个餐盘的特征信息与预先存储的餐盘特征信息与餐品或价格的对应关系进行对比，确定其对应菜品种类或价格，并汇总得到当前用户的用餐总价。

【技术特征摘要】
1.一种基于图像识别的餐厅自动结账方法，其特征在于，包括以下步骤：通过第一单目摄像头或第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息；将每个餐盘的特征信息与预先存储的餐盘特征信息与餐品或价格的对应关系进行对比，确定其对应菜品种类或价格，并汇总得到当前用户的用餐总价。2.根据权利要求1所述的餐厅自动结账方法，其特征在于，还包括：通过第二单目摄像头或第二双目摄像头采集当前用户面部图像；将所述当前用户面部图像与预先存储的用户图像进行比对，确定当前用户的账户信息。3.根据权利要求2所述的餐厅自动结账方法，其特征在于，还包括：将当前用户的用餐总价和账户信息显示在屏幕上，接受用户确认。4.根据权利要求1所述的餐厅自动结账方法，其特征在于，所述餐盘的特征信息包括颜色、形状、尺寸中的至少一项。5.根据权利要求1所述的餐厅自动结账方法，其特征在于，当采用第一双目摄像头获取当前餐盘图像时，所述通过第一双目摄像头采集当前餐盘图像，获取所述当前餐盘图像中每个餐盘的特征信息包括：通过第一双目摄像头获取当前餐盘的第一平面图像和第二平面图像；利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理，建立当前餐盘的三维坐标空间；根据坐标与图像像素之间的预先标定信息关系，输出每个餐盘的颜色、形状、尺寸中的至少一项。6.根据权利要求5所述的基餐厅自动结账方法，其特征在于，所述利用双目视觉处理算法对所述第一平面图像和...

【专利技术属性】
技术研发人员：董霄剑，曾洪庆，姚明，钱超超，
申请(专利权)人：陕西伟景机器人科技有限公司，
类型：发明
国别省市：陕西,61