一种基于时序图像分析的智能待客方法技术

本发明专利技术公开了一种基于时序图像分析的智能待客方法，包括：获取当前图像数据并裁剪视频图像，并裁剪出桌台区域图像，将桌台区域图像送入特征提取网络中，得到四个桌角特征点，计算透视变换矩阵，透视变换矩阵计算透视变换后的桌台区域图像，再送入图像分割网络，再根据分割后的结果计算露出的桌台面在桌台区域的占比

【技术实现步骤摘要】
一种基于时序图像分析的智能待客方法


[0001]本专利技术涉及餐饮服务
，具体为一种基于时序图像分析的智能待客方法
。

技术介绍

[0002]餐饮业为人工密集型行业，如何提升服务人员的工作效率，节省开支，是当前餐饮业主的首要课题
。
[0003]目前餐厅为提高餐桌翻台率，会对点单系统记录的每张餐桌消费数据进行计算，单纯的
POS
消费数据检测方法未考虑时序变化，顾客就餐是一个持续不断变化的过程，从客人座下，到菜上桌吃完离开，再到服务员来清理桌台，都是动态且持续的过程，存在同一桌客人多次下单或者下单即买单的情况，导致点单系统无法统计实际翻台次数，并且目标检测方法是一个定性的方法而不是一个定量的方法，目标检测主要对特征比较敏感，对于区域增长变化并不敏感，除非量的变化达到质的变化
。

技术实现思路

[0004]本专利技术的目的在于提供一种基于时序图像分析的智能待客方法，以解决上述
技术介绍
中提出的现有技术无法对动态且持续的就餐过程进行精准监测与反馈的问题
。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于时序图像分析的智能待客方法，包括以下步骤：
[0006]S1、
获取餐厅当前时刻图像数据
I
t
，其中该视频图像包括所有目标检测餐桌；
[0007]S2、
裁剪视频图像，保留用餐区域图像
Roi
t
；
[0008]S3、
从用餐区域图像
Roi
t
中裁剪出桌台区域图像
Table
t
；
[0009]S4、
将用餐区域剩余部分图像缩放至指定大小，并将其送入检测网络中，得到检测结果
[0010]S5、
将桌台区域图像
Table
t
送入特征提取网络中，得到四个桌角特征点：
Corner
t
＝
{(cx1，
cy1)
，
(cx2，
cy2)
，
(cx3，
cy3)
，
(cx4，
cy4)}
；
[0011]S6、
根据步骤
S5
中的特征点坐标及对齐坐标计算透视变换矩阵：
[0012]A
t
＝
Perspective(Corner
t
，
Align)
；
[0013]S7、
根据步骤
S6
得到的透视变换矩阵
A
t
计算透视变换后的桌台区域图像
PerspectiveTable
t
；
[0014]S8、
将步骤
S7
得到的
PerspectiveTable
t
送入图像分割网络，得到分割后的结果，再根据分割后的结果计算露出的桌台面在桌台区域的占比；
[0015]S9、
判断步骤
S8
所得占比是否大于设定阈值，并统计占比大于阈值的次数；
[0016]S10、
判断当前桌台区域待客状态，所述桌台区域状态包括：可待客
、
已待客
、
可清台与清台中
。
[0017]优选的，所述步骤
S8
中露出的桌台面在桌台区域的占比计算方法为将统计桌台面在图像中的像素数除以区域整体的像素数，具体公式如下：
[0018][0019]优选的，当
t
＞
100
时，统计从餐厅当前时刻开始前
100
个检测结果中有客人的次数
、
有服务员的次数以及桌台露出占比结果中占比大于
0.5
和
0.8
的次数
。
[0020]优选的，所述步骤
S4
中用餐区域剩余部分图像缩放至
640
×
640。
[0021]优选的，若检测结果中未出现客人且也未出现服务员并且桌台露出占比大于
0.8
的次数大于
90
次则认为该桌台处于可待客状态，将当前状态转变为可待客；若检测结果中客人出现次数大于
90
次，则认为目前该区域属于已待客状态，将当前状态转变为已待客
。
[0022]优选的，若检测结果中客人出现次数小于
10
次，且桌台占比大于
0.5
的次数为
90
，且
POS
数据显示为已买单，则认为客人已经离开，将当前状态转变为可清台；若检测结果中客人出现次数小于
10
次，且服务人员出现次数大于
90
次，且桌台占比大于
0.5
的次数为
90
，则认为服务员开始清台，状态转变为清台中
。
[0023]与现有技术相比，本专利技术的有益效果是：
[0024]本专利技术采用目标检测方法及图像分割方法等技术，通过自动监控分析判断露出的桌台面在桌台区域的占比及占比大于阈值次数，判断顾客
、
服务人员的位置信息及餐桌占用情况，结合时序信息，得出当前待客的状态，更高效地管理餐厅，提高用户的就餐体验，还可以提高餐桌的利用率，大大降低餐厅因提升翻台率和监督清理行为而带来的人工成本
。
附图说明
[0025]图1为本专利技术一种基于时序图像分析的智能待客方法的结构示意图
。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0027]请参阅图1，本专利技术提供一种技术方案：一种基于时序图像分析的智能待客方法，包括以下步骤：
[0028]S1、
获取餐厅当前时刻图像数据
I
t
，其中该视频图像包括所有目标检测餐桌，采用餐厅内视频采集监控系统获取餐厅内的视频图像，视频采集系统包括设置在餐厅顶部或其它合适位置的一个或多个摄像头，摄像头用于向下俯拍用餐的桌台，并将拍摄到的视频图像数据传输至处理计算机；
[0029]S2、
裁剪视频图像，保留用餐区域图像
Roi
t
，该步骤中视频图像将用餐区域做目标对象，通过处理计算机中的视频处理单元进行画面裁剪；
[0030]S3、
从用餐区域图像
Roi
t
中裁剪出桌台区域图像...

【技术保护点】

【技术特征摘要】
1.
一种基于时序图像分析的智能待客方法，其特征在于，包括以下步骤：
S1、
获取餐厅当前时刻图像数据
I
t
，其中该视频图像包括所有目标检测餐桌；
S2、
裁剪视频图像，保留用餐区域图像
Roi
t
；
S3、
从用餐区域图像
Roi
t
中裁剪出桌台区域图像
Table
t
；
S4、
将用餐区域剩余部分图像缩放至指定大小，并将其送入检测网络中，得到检测结果
S5、
将桌台区域图像
Table
t
送入特征提取网络中，得到四个桌角特征点：
Corner
t
＝
{(cx1，
cy1)
，
(cx2，
cy2)
，
(cx3，
cy3)
，
(cx4，
cy4)}
；
S6、
根据步骤
S5
中的特征点坐标及对齐坐标计算透视变换矩阵：
A
t
＝
Perspective(Corner
t
，
Align)
；
S7、
根据步骤
S6
得到的透视变换矩阵
A
t
计算透视变换后的桌台区域图像
PerspectiveTable
t
；
S8、
将步骤
S7
得到的
PerspectiveTable
t
送入图像分割网络，得到分割后的结果，再根据分割后的结果计算露出的桌台面在桌台区域的占比；
S9、
判断步骤
S8
所得占比是否大于设定阈值，并统计占比大于阈值的次数；
S10、
判断当前...

【专利技术属性】
技术研发人员：曹俊慷，孙扬，范伟超，
申请(专利权)人：北京优海网络科技有限公司，
类型：发明
国别省市：