一种基于深度学习图像识别的餐厅自动结算方法及系统技术方案

一种基于深度学习图像识别的餐厅自动结算方法及系统，本系统分为单目摄像头、图像处理模块、计价程序模块及支付系统。通过单目摄像头采集餐盘识别区完整图像，传输至图像处理模块后经ENet Object Detection算法模型的运算得到餐盘的定位框和类别标签数据，将数据输出至计价程序模块，计价程序模块中计价程序根据菜品种类及数量，计算并显示总价格，便于顾客由支付系统进行付款。本发明专利技术采用基于深度学习的图像识别技术进行餐厅自动结算，在具有普通视觉技术结算成本低、部署灵活、鲁棒性强等优势的同时，克服了普通视觉技术结算识别在角度、光线、遮挡等不利因素影响下准确度不够的难题，可识别内容也更多，实用性更强。

【技术实现步骤摘要】
一种基于深度学习图像识别的餐厅自动结算方法及系统
本专利技术涉及餐饮结算
，尤其涉及一种基于深度学习图像识别的餐厅自动结算方法及系统。
技术介绍
餐饮是人们生活中必不可少的环节，随着城市生活节奏的不断加快，越来越多的人通过餐厅解决饮食问题。目前餐厅的主流做法是自主选择然后统一结账计费。总体而言，目前的餐厅结算方式主要有：(1)传统人工结算方法：传统人工结算由人工辨别菜品类别、费用并作总计，就餐高峰期时就餐人员较多，人工结算行区分计算效率低下且容易导致错误。(2)基于条码识别的结算方法：在餐盘上贴有条码标签与对应的菜价关联，在计费终端用红外或激光条码扫描枪进行读取得到相应价格，再以人工或自动的方式计算总金额实行结算。相较于传统的人工结算，结果更精确可靠，但是由于需要对餐盘逐个扫描，结算效率提升有限，且条码标签易损坏，实际使用时效果并不理想。(3)基于RFID识别的结算方法：事先在餐盘内嵌RFID芯片，将菜品价格与相应芯片关联，在计费终端对芯片内容进行读取得到相应菜肴价格。此方法的缺点是必须使用专门的餐具，结算系统成本高，部署复杂，内嵌芯片易损坏。(4)基于图像识别的结算方法：现有的基于图像识别的结算方法，将菜品的像素特征或餐盘的颜色、形状、花纹特征与菜价进行关联，在计费终端通过图像识别方法得到相应菜品价格。其中：菜品识别模型复杂，识别率低、易出错，且推出新菜需要重新更新复杂模型；基于餐盘颜色、形状识别的结算系统，识别特征单一，易受光线、角度、餐盘遮挡因素的影响，面对识别环境较差的场景鲁棒性很差；对于在餐盘上印刷特殊图案的识别结算方法，需要使用专门的特殊餐具，后期增添新餐具将不通用。
技术实现思路
针对目前基于图像识别的结算方法模型复杂，识别率低，在某些使用场景下鲁棒性差，实际使用成本高的缺陷，本专利技术提出一种基于深度学习图像识别的餐厅自动结算方法及系统。为实现上述目的，本专利技术所采取的技术方案是：一种基于深度学习图像识别的餐厅自动结算方法，其特征在于，包括以下步骤：(1)通过单目摄像头采集餐盘识别区的完整图像；(2)将获取的完整图像输入到ENetObjectDetection模型系统，首先经过骨干网络ENet提取基本特征，再经过FFWA过滤筛选出便于定位和识别的优质特征，然后输出可信度(conf)和初步的定位框、类别标签；(3)通过自适应的NMS算法进行后处理，筛选掉可信度(conf)较低的定位框；(4)输出最终的定位框及类别标签数据；(5)将最终的定位框及类别标签数据传输至计价程序；(6)计价程序将最终的定位框及类别标签数据转换成菜品种类及数量，根据预先录入的菜价计算并显示菜品总价格；(7)客户通过支付系统完成付款，回到步骤(1)。所述的“定位框”及“类别标签”的生成方法及作用分别是：输入餐盘识别区图像后，算法模型从整个图像中识别出餐盘并用框图标记出来，便于记录餐盘数量，此即生成“定位框”；与此同时，算法识别出不同种类的餐盘，为便于区分不同种类而对餐盘施加标签，此即生成“类别标签”。所述的定位框及类别标签数据属于一种特征数据，把这些特征数据与具体的菜品种类、数量进行对应，当生成具体的“定位框”及“类别标签”数据时，就会生成对应的菜品种类及数量数据。一种实施所述方法的系统，其特征在于，包括：(1)用于采集餐盘识别区的完整图像的单目摄像头；(2)图像处理模块，用于将单目摄像头采集的完整图像进行图像处理，输出定位框及类别标签数据；(3)计价程序模块，用于将最终的定位框及类别标签数据转换成菜品种类及数量，根据预先录入的菜价计算并显示菜品总价格；(4)支付系统，用于客户根据计价程序模块提供的菜品总价格完成付款。所述的图像处理模块为ENetObjectDetection模型。所述的ENetObjectDetection模型包括：(a)用于提取完整图像基本特征的骨干网络ENet模块；(b)用于过滤筛选出便于定位和识别的优质特征的FFWA模块；该完整图像经过ENet模块和FFWA模块的处理后输出可信度(conf)和初步的定位框、类别标签；(c)自适应的NMS算法模块，用于对经过ENet模块和FFWA模块输出的数据进行后处理，筛选掉可信度(conf)较低的定位框，并输出最终的定位框及类别标签数据。所述的图像处理模块、计价程序模块和支付系统安装在计算机系统中运行。本专利技术的有益效果是：采用基于深度学习的视觉技术结算系统，在具有使用视觉技术相较于其它结算方式的成本低、部署灵活、鲁棒性强等优势的同时，利用特定的深度学习技术使餐盘生成更加具有表达力和泛化力的特征，在识别环境较差的场景也具有很好的鲁棒性，餐盘识别准确度更高，可识别的餐盘种类也更多。另外，通过特定的自适应NMS算法提高了检测遮挡物体的召回率，可以有效解决餐盘遮挡问题。再者，针对本专利技术的算法系统，设计了特定的损失函数，可以训练模型解决困难案例、物体间遮挡等问题。附图说明图1为本专利技术的餐厅结算系统使用时的运行流程图图2为本专利技术的餐厅结算系统中的ENetObjectDetection算法模型运行流程图；图3是两次Shuffle(DoubleChannelShuffle)的原理说明图；图4是ChannelAttention机制的原理说明图；图5是FFWA(FastFPNwithAttention)的原理说明图。具体实施方式参见图1-图5，本专利技术一种基于深度学习图像识别的餐厅自动结算方法，基本思路是：采用单目摄像头获取餐盘图像，输入到ENetObjectDetection算法模型(系统)，在经过已训练好的(让系统做识别餐盘的重复训练，为深度学习的通用训练过程)ENetObjectDetection模型运算后，输出餐盘的“定位框”及“类别标签”数据，计价程序处理这些数据得到餐盘数量及类别，根据预先录入的菜价计算并显示菜品总价格，方便客户付款。所述的“定位框”及“类别标签”分别是：输入餐盘识别区图像后，算法模型可从整个图像中识别出餐盘并用框图标记出来，便于记录餐盘数量，此即生成“定位框”；与此同时，算法识别出不同种类的餐盘，为便于区分不同种类而对餐盘施加标签，此即生成“类别标签”。本专利技术的具体方法包括以下步骤：(1)通过单目摄像头采集餐盘识别区的完整图像；餐盘识别区指单目摄像头能拍摄到的区域，在这个区域能够拍摄到完整的餐盘图像。(2)将获取的完整图像输入到ENetObjectDetection模型系统，首先经过骨干网络ENet提取基本特征，再经过FFWA过滤筛选出便于定位和识别的优质特征，然后输出可信度(conf)和初步的定位框、类别标签。(3)通过自适应的NMS算法进行后处理，筛选掉可信度(conf)较低的定位框。具体筛选的方法就是运行自适应的NMS算法，本专利技术选用的自适应的NMS算法是soft-NMS算法，是一种专门用于后处理的算法。(4)输出最终的定位框及类别标签数据。(5)将最终的定位框及类别标签数据传输至计价程序。(6)计价程序将最终的定位框及类别标签数据转换成菜品种类及数量，根据预先录入的菜价计算并显示菜品总价格。在系统的数据库中储存有定位框及类别标签数据与具体的菜品种类、数量相对应的数据，当系统生成具体的定位框及类别标签数据时，就会生成对应的菜品种类及数量数本文档来自技高网...

【技术保护点】
1.一种基于深度学习图像识别的餐厅自动结算方法，其特征在于，包括以下步骤：(1)通过单目摄像头采集餐盘识别区的完整图像；(2)将获取的完整图像输入到ENet Object Detection模型系统，首先经过骨干网络ENet提取基本特征，再经过FFWA过滤筛选出便于定位和识别的优质特征，然后输出可信度(conf)和初步的定位框、类别标签；(3)通过自适应的NMS算法进行后处理，筛选掉可信度(conf)较低的定位框；(4)输出最终的定位框及类别标签数据；(5)将最终的定位框及类别标签数据传输至计价程序；(6)计价程序将最终的定位框及类别标签数据转换成菜品种类及数量，根据预先录入的菜价计算并显示菜品总价格；(7)客户通过支付系统完成付款，回到步骤(1)。

【技术特征摘要】
1.一种基于深度学习图像识别的餐厅自动结算方法，其特征在于，包括以下步骤：(1)通过单目摄像头采集餐盘识别区的完整图像；(2)将获取的完整图像输入到ENetObjectDetection模型系统，首先经过骨干网络ENet提取基本特征，再经过FFWA过滤筛选出便于定位和识别的优质特征，然后输出可信度(conf)和初步的定位框、类别标签；(3)通过自适应的NMS算法进行后处理，筛选掉可信度(conf)较低的定位框；(4)输出最终的定位框及类别标签数据；(5)将最终的定位框及类别标签数据传输至计价程序；(6)计价程序将最终的定位框及类别标签数据转换成菜品种类及数量，根据预先录入的菜价计算并显示菜品总价格；(7)客户通过支付系统完成付款，回到步骤(1)。2.如权利要求1所述的方法，其特征在于，所述的“定位框”及“类别标签”的生成方法及作用分别是：输入餐盘识别区图像后，算法模型从整个图像中识别出餐盘并用框图标记出来，便于记录餐盘数量，此即生成“定位框”；与此同时，算法识别出不同种类的餐盘，为便于区分不同种类而对餐盘施加标签，此即生成“类别标签”。3.如权利要求1所述的方法，其特征在于，所述的定位框及类别标签数据属于一种特征数据，把这些特征数据与具体的菜品种类、数量进行对应，当生成具体的“定位框”...

【专利技术属性】
技术研发人员：方炼，
申请(专利权)人：北京伟景智能科技有限公司，
类型：发明
国别省市：北京,11