一种基于计算机视觉的餐桌清扫智能提醒方法技术

本发明专利技术公开了一种基于计算机视觉的餐桌清扫智能提醒方法，包括以下步骤：（1）获取餐厅内的视频图像；（2）对获得的每帧视频图像；（3）获取每个餐桌的矩形框位置；（4）在每个餐桌周边位置进行人体检测；（5）对检测到的人体进行持续跟踪；（6）对待检测区域进行持续的人体检测；（7）对餐桌桌面进行清洁度检测。本发明专利技术方法采用计算机视觉和人工智能等技术，自动监控分析每个餐桌的清扫状况，当系统判断某一桌的客人离开后且餐桌尚未清扫时，即向餐厅管理者发出餐桌需要清扫提醒。本发明专利技术能够实现对餐厅餐桌清扫情况的智能分析，节省人力物力，帮助更高效地管理餐厅，具有重要的现实应用意义。具有重要的现实应用意义。具有重要的现实应用意义。

【技术实现步骤摘要】
一种基于计算机视觉的餐桌清扫智能提醒方法


[0001]本专利技术涉及图像分析
，特别地，涉及一种基于计算机视觉的餐桌清扫智能提醒系统。

技术介绍

[0002]随着国家经济形势越来越好，居民的消费热情也越来越高。日常去餐厅消费的人越来越多，一些网红餐厅更是人满为患，常常需要排队很久才能就餐。特别是在用餐高峰期时，很多餐厅常常面临一位难求的情况。这种情况下，一个迫切的现实需求是，当客人用完餐，离开餐厅后，要及时清扫餐桌，做好清洁整理，准备将该餐桌提供给下一个客人用餐。因此，餐厅的管理者们需要及时知悉店里的餐桌清扫状况，在客人离开的时候及时打算餐桌。然而，很多餐厅服务人员繁忙或人手不够，或是很多餐厅采用先付款后用餐的模式，这些餐厅无法及时掌握什么时候应该清扫餐桌。传统的方法需要服务员们时刻盯着用餐餐桌，这样需要消耗大量的人力，且容易发生遗漏，尤其是对那些服务员人数较少的餐厅更加不利。

技术实现思路

[0003]本专利技术的目的在于提供一种基于计算机视觉的餐桌清扫智能提醒方法，以解决
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术提供了一种基于计算机视觉的餐桌清扫智能提醒方法，包括以下步骤：S1、获取餐厅内的视频图像，其中视频图像包括所有目标检测餐桌；S2、对获得的每帧视频图像，采用基于深度学习的目标检测技术识别出其中每个餐桌的位置；S3、获取每个餐桌的矩形框位置；S4、在每个餐桌周边位置进行人体检测；若检测到某一餐桌周边位置有人体存在，则认为正有客人在此餐桌就餐；S5、对检测到的人体进行持续跟踪；在检测到人体离开其所就餐的餐桌后，开始计时；就餐客人离开后的餐桌被称为待检测餐桌；S6、对待检测餐桌进行持续的人体检测；在重新检测到人体出现在该待检测餐桌周边位置后，对该人体进行行人重识别，以确认该行人是暂时离开后又返回的客人还是落座的新客人；如一段时间后，之前就餐的客人仍未落座该待检测餐桌或落座的客人属于新客人，则认为之前就餐的客人已经离开；S7、对待检测餐桌的桌面进行清洁度检测；若检测到当前待检测餐桌表面存在遗留碗筷及食物残渣的情况，则发出餐桌清扫提醒给服务人员，由服务人员前往该待检测餐桌进行核查或清扫。
[0005]进一步的，所述步骤S1中，采用餐厅视频采集系统获取餐厅内的视频图像，所述餐厅视频采集系统包括至少一个摄像头、处理计算机和声光提示器，所述摄像头用于向下俯
拍餐桌，所述处理计算机用于接收并处理所述摄像头拍摄的视频数据，所述声光提示器用于与所述处理计算机连接，用于提醒管理者某个餐桌需要清扫。
[0006]进一步的，所述步骤S2中，利用Yolo系列检测算法检测出餐桌的矩形框区域。
[0007]进一步的，所述步骤S3中，获取每个餐桌的矩形框位置的具体方法为：首先统计连续m帧图像的餐桌检测结果，即每帧图像中每个餐桌的检测矩形框；然后采用非极大值抑制方法确定每个餐桌的矩形框位置。
[0008]进一步的，所述步骤S4中，在每个餐桌周边位置进行人体检测的具体方法为：（1）选取以餐桌中心位置为矩形中心，长宽分别为餐桌矩形框的长宽2倍的矩形区域为待检测区域；（2）对待检测区域的图像进行人体检测；利用Yolo系列检测算法检测出每个客人的人体矩形框；若检测到人体存在，则认为正有客人在此餐桌就餐。
[0009]进一步的，所述步骤S5中，采用卡尔曼滤波方法对人体进行跟踪。
[0010]进一步的，所述步骤S6中，采用AlignedReID算法进行行人重识别；若计时到10秒钟的时候，仍然没有客人落座该待检测餐桌或落座的客人属于新客人，则认为之前在该待检测餐桌就餐的客人已经离开，准备进行下一步的桌面清洁度检测；且重新检测到人体出现后，停止计时并归零。
[0011]进一步的，所述步骤S7中，对待检测餐桌的桌面进行清洁度检测的具体方法包括以下步骤：（1）、提前拍摄桌面在完全干净状态下的图像，作为初始干净状态图像；（2）、将当前时刻的桌面区域图像和初始干净状态桌面区域图像进行对比，利用减背景法获得其差异图像；（3）、对差异图像区域进行图像分水岭法分割，若分割结果出现超过10块以上的图像块，则认为当前餐桌表面存在遗留碗筷及食物残渣情况，此时应该发出餐桌清扫提醒给服务人员，即立刻发出餐桌清扫的声光提醒，由服务人员前往该餐桌进行核查或清扫。
[0012]相比于现有技术，本专利技术具有以下有益效果：本专利技术的一种基于计算机视觉的餐桌清扫智能提醒方法，在餐厅的顶部架设摄像机，采用计算机视觉和人工智能等技术，自动监控分析每个餐桌的清扫状况，当系统判断某一桌的客人离开后且餐桌尚未清扫时，即向餐厅管理者发出餐桌需要清扫提醒。通过该系统，能够实现对餐厅餐桌清扫情况的智能分析，节省人力物力，帮助更高效地管理餐厅，具有重要的现实应用意义。
[0013]除了上面所描述的目的、特征和优点之外，本专利技术还有其它的目的、特征和优点。下面将参照图，对本专利技术作进一步详细的说明。
附图说明
[0014]附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：图1是本专利技术一种基于计算机视觉的餐桌清扫智能提醒方法的流程示意图；图2是本专利技术中餐厅视频采集系统的结构示意图。
具体实施方式
[0015]以下结合附图对本专利技术的实施例进行详细说明，但是本专利技术可以根据权利要求限定和覆盖的多种不同方式实施。
[0016]请参见图1，本专利技术实施例的一种基于计算机视觉的餐桌清扫智能提醒系统，包括以下步骤：步骤一：获取餐厅内的视频图像，其中视频图像包括所有目标检测餐桌；采用餐厅视频采集系统获取餐厅内的视频图像，所述餐厅视频采集系统包括设置在餐厅顶部或其它合适位置的一个或多个摄像头，摄像头用于向下俯拍用餐的餐桌，并将拍摄到的视频数据传输至处理计算机；处理计算机连接硬盘等储存设备，将视频存储在本地数据库中；处理计算机连接一个声光提示器，用于提醒管理者某个餐桌需要清扫。
[0017]步骤二：针对获得的每帧视频图像，采用基于深度学习的目标检测技术识别出其中每个餐桌的位置。优选的，利用Yolo系列检测算法检测出餐桌的矩形框区域。
[0018]步骤三：获取每个餐桌的矩形框位置。具体方法：首先，统计连续m帧图像的餐桌检测结果，优选的，m大于10，例如m为30帧，即每帧图像中每个餐桌的检测矩形框，然后采用非极大值抑制方法NMS(Non Maximum Suppression)确定每个餐桌的矩形框位置。本实施例采用多帧图像和非极大值抑制方法，是因为每帧图像中餐桌检测结果可能受图像采集、场景变化、甚至检测算法本身的影响而产生细微变动，采用非极大值抑制方法融合多帧图像的检测结果，能够得到更为精准的餐桌位置识别结果。
[0019]步骤四：在每个餐桌周边位置进行人体检测。具体方法：（1）选取以餐桌中心位置为矩形中心，长宽分别为餐桌矩形框的长宽2倍的矩形区域为待检测区域；（2）对待检测区域的图像进行人体检测。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的餐桌清扫智能提醒方法，其特征在于，包括以下步骤：S1、获取餐厅内的视频图像，其中该视频图像包括所有目标检测餐桌；S2、对获得的每帧视频图像，采用基于深度学习的目标检测技术识别出其中每个餐桌的位置；S3、获取每个餐桌的矩形框位置；S4、在每个餐桌周边位置进行人体检测；若检测到某一餐桌周边位置有人体存在，则认为正有客人在此餐桌就餐；S5、对检测到的人体进行持续跟踪；在检测到人体离开其所就餐的餐桌后，开始计时；就餐客人离开后的餐桌被称为待检测餐桌；S6、对待检测餐桌进行持续的人体检测；在重新检测到人体出现在待检测餐桌周边位置后，对该人体进行行人重识别，以确认该行人是暂时离开后又返回的客人还是落座的新客人；如一段时间后，之前就餐的客人仍未落座该待检测餐桌，或落座的客人属于新客人，则认为之前就餐的客人已经离开；S7、对待检测餐桌的桌面进行清洁度检测；若检测到待检测餐桌表面存在遗留碗筷及食物残渣的情况，则发出餐桌清扫提醒给服务人员，由服务人员前往该待检测餐桌进行核查或清扫。2.根据权利要求1所述的餐桌清扫智能提醒方法，其特征在于，所述步骤S1中，采用餐厅视频采集系统获取餐厅内的视频图像，所述餐厅视频采集系统包括至少一个摄像头、处理计算机和声光提示器，所述摄像头用于向下俯拍餐桌，所述处理计算机用于接收并处理所述摄像头拍摄的视频数据，所述声光提示器用于与所述处理计算机连接，用于提醒管理者某个餐桌需要清扫。3.根据权利要求1所述的餐桌清扫智能提醒方法，其特征在于，所述步骤S2中，利用Yolo系列检测算法检测出餐桌的矩形框区域。4.根据权利要求1所述的餐桌清扫智能提醒方法，其特征在于，所述步骤S3中，获取每...

【专利技术属性】
技术研发人员：汪彦明，涂丹，徐新文，朱为，谢志恒，胡青霞，王涛，郑冰，徐东，
申请(专利权)人：长沙鹏阳信息技术有限公司，
类型：发明
国别省市：