基于机器视觉的食堂点菜系统技术方案

基于机器视觉的食堂点菜系统，包括支架，第一相机和第二相机，指示灯和处理器；处理器分别将第一相机和第二相机的位置信息分别转换为各自在世界坐标系中的坐标；处理器分别获取第一图像中手臂的中轴线和第二图像中手臂的中轴线；获取组成第一、第二图像中轴线的各个像素与第一、第二相机的相对位置信息并转换为各个像素在世界坐标系的坐标；处理器对第一图像中轴线和第二图像中轴线进行立体匹配确定每一对匹配点在世界坐标系中的实际位置坐标；处理器将所有实际位置坐标拟合成直线，获取拟合直线与菜盘所在面的交点，交点所在的菜盘区域作为用餐者选中的菜品。本发明专利技术具有能够根据用餐人的手势准确得到目标菜品的优点。

【技术实现步骤摘要】
基于机器视觉的食堂点菜系统
本专利技术涉及一种依靠机器视觉识别人体动作以完成食堂点菜的食堂点菜系统。技术背景现在高校学生用餐以食堂为主，高校食堂的学生用餐方式为：用餐者排列成对，队首的用餐者向食堂打菜人员说明自己需要的菜名，打菜人员根据菜名为用餐者打菜，然后打菜人员计算出所消费金额，并将消费金额输入到刷卡器，由用餐者刷卡进行支付。由于用餐时间集中，用餐时食堂人声嘈杂，加上用餐者会带有口音，打菜人员不容易听清楚用餐者所说的菜名，用餐者也会采用指势指明自己需要的菜，但是由于用餐者和打菜人员所处位置不同，打菜人员也不容易确定用餐者指势指向的目标菜品，而且每次打完菜还需要打菜人员计算用餐人员所消费的金额，并在刷卡器上进行操作，使得打菜的效率不高。
技术实现思路
为了克服目前食堂打菜时，打菜人员不容易确定用餐者指示的目标菜品，打菜人员需要口算得到消费金额的缺点，本专利技术提供了一种能够根据用餐人的手势准确得到目标菜品的基于机器视觉的食堂点菜系统。基于机器视觉的食堂点菜系统，包括支架，安装于支架上的第一相机和第二相机，与菜盘一一对应的指示灯和处理器；第一相机和第二相机等高，第一相机和第二相机作为双目视觉的两个相机；处理器中预设点菜系统的世界坐标系，每个餐盘在世界坐标系中围成的区域存于处理器中，处理器分别将第一相机和第二相机的位置信息分别转换为各自在世界坐标系中的坐标；第一相机拍摄的用餐者手臂的第一图像输入处理器中，第二相机拍摄的用餐者手臂的第二图像输入处理器中；处理器将分别将第一图像和第二图像的背景去除、提取手臂图像，再分别获取第一图像中手臂的中轴线和第二图像中手臂的中轴线；处理器分别获取组成第一图像中轴线的各个像素与第一相机的相对位置信息、并将相对位置信息转换为各个像素在世界坐标系中的坐标；处理器分别获取组成第二图像中轴线的各个像素与第二相机的相对位置信息、并将相对位置信息转换为各个像素在世界坐标系中的坐标；处理器对第一图像中轴线和第二图像中轴线进行立体匹配，每一对匹配点由纵坐标相同的第一图像中轴线像素和第二图像中轴线像素组成；分别确定每一对匹配点之间的相对位置得到视差图像，由此确定每一对匹配点在世界坐标系中的实际位置坐标；处理器将所有实际位置坐标拟合成直线，获取拟合直线与菜盘所在面的交点，最后判断出该交点处于哪个菜盘的区域内，交点所在的菜盘区域作为用餐者选中的菜品，处理器使与交点所在菜盘区域对应的指示灯亮起，其余指示灯处于熄灭状态。所谓的背景指的是没有手臂的环境图像，用减背景法减去背景图像即可去除手臂图像以外的其它图像。系统在预设时间、在没有人点菜的情况下更新背景，以减少光线变化带来的背景变化。处理器能够组成第一图像中轴线的各个像素与第一相机的相对位置信息，是因为图像上的每一点与第一相机的成像元件上的物理成像是一一对应的，如此可以建立图像坐标系中每个像素点与世界坐标系中成像单元的对应关系，在世界坐标系中采取匹配算法得到左右两幅图像上一对匹配点对应的空间点，这些空间点拟合成直线。进一步，处理器以所有实际位置坐标通过最小二乘法拟合成直线，拟合直线生成后，处理器分别计算各矩形中心点与拟合直线的距离，剔除大于预设极限距离的中心点，再将剩余的矩形中心点通过最小二乘法拟合成直线，再分别计算各矩形中心点与拟合直线的距离，剔除大于预设极限距离的中心点；如此迭代多次，直到所有中心点与拟合直线的距离小于预设极限距离，或者迭代次数达到预设迭代次数为止；预设极限距离和迭代次数均预存于处理器中。进一步，指示灯与菜盘的对应关系预存于处理器中，菜盘的菜价与菜盘一一对应，指示灯亮起时，对应菜盘的菜价输入处理器中进行菜价计算。指示灯亮起时，代表与指示灯对应的菜盘被选中。点菜时做如下要求：点菜的时候手要处于第一相机和第二相机的拍摄范围内，点完菜，手离开，系统没有检测到手持续几秒钟后，认为点菜结束。然后处理器计算获得的菜价总和输入刷卡机中，刷卡机固定安装于支架上。约定再指一次该菜盘，边上的指示灯灭掉，表示不选择该菜，金额也从累加的金额中删去。刷卡完毕后，系统复位，累计菜价清零，准备。进一步，支架上设有能够拍摄菜盘中实际菜品图片的菜品相机，菜品相机获取的实际菜品图片输入处理器中，处理器中预设有菜品图像和菜品价格对应表，处理器将菜品相机获取的实际菜品图片与菜品图像对比、寻找到与实际菜品图片最相近的菜品图像和菜品价格，使菜品价格与菜盘一一对应。由于在食堂打菜时，用餐者通常是用手臂形成直线指向所需的菜品，因此，本专利技术通过第一相机和第二相机分别获取用餐者的手臂图像，通过双目视觉分析拟合形成用餐者的指向方向，从而获取对应菜品，克服了食堂环境嘈杂，声音不易识别问题。本专利技术的有益效果在于：1.在食堂嘈杂的环境下实现高效率的点菜操作，用餐者可以选择在点菜终端的触摸屏上进行点菜，也可以选择用指势完成点菜操作，点菜系统自动根据点菜情况计算出消费金额，并将消费金额传送给刷卡器，2.基于机器视觉自动跟新当天菜盘桌上各菜盘的菜品信息，无需人工参与，提高食堂的工作效率。3.打菜人员只需要根据指示灯进行打菜，结算由计算机完成，使得打菜人员的劳动强度降低，提高了食堂效率。附图说明图1是装置整体结构示意图。图2是菜品相机和菜品相机安装座布置图。图3是第一相机和第二相机和第一相机安装座和第二相机安装座布置图。图4是菜品相机采集的菜盘图像。图5是经过图像处理后第一相机和第二相机采集的用餐者指势图像，a是第一相机采集的用餐者指势图像，b是第二相机采集的用餐者指势图像。图6是双目视觉系统原理示意图一。图7是装置双人工作状态示意图。图8是本专利技术的流程图。图9是像素点转换为世界坐标系中的坐标的计算方法的示意图。图中1、处理器，2、支架，3、第一相机，4、第一相机安装座，5、菜品相机安装座，6、菜品相机，7、第二相机安装座，8、第二相机，9、菜盘，10、指示灯，11、菜盘桌，12、点菜终端，13、支撑板，14、刷卡器，15、墙，16、螺钉。具体实施方式参照图1～图3，一种基于机器视觉的食堂点菜辅助装置，包括处理器，支架2，第一相机3，第一相机安装座4，菜品相机安装座5，菜品相机6，第二相机安装座7，第二相机8，菜盘9，指示灯10，菜盘桌11，点菜终端12，支撑板13，刷卡器14，墙15，螺钉16。第一相机3和第二相机5等高。所述的菜盘9放置在菜盘桌11上，每个菜盘9旁边设置有LED指示灯10，墙15上设置有支撑板13，支撑板13上设置有刷卡器14，支撑板13上设置有支架2，支架2上设置有第一相机安装座4，菜品相机安装座5和第二相机安装座7，第一相机安装座4上安装有第一相机3，菜品相机安装座5上安装有菜品相机6，第二相机安装座7上安装有第二相机8。第一相机3和第二相机8用于采集用餐者手臂图片，菜品相机6用于采集当日菜盘桌上菜盘的图片，第一相机3，菜品相机6，第二相机8，点菜终端12，指示灯10和刷卡器15连接至计算机，由计算机统一管理。指示灯10使用LED灯。一种基于机器视觉的食堂点菜辅助装置，相机布置方案图2和图3。支架上的摄像机布置方案：第一相机和第二相机分别用螺钉固定在第一相机安装座和第二相机安装座上，菜品相机用螺钉固定在菜品相机安装座上，第一相机安装座，菜品相机安装座和第二相机安装座本文档来自技高网...

【技术保护点】
基于机器视觉的食堂点菜系统，其特征在于：包括支架，安装于支架上的第一相机和第二相机，与菜盘一一对应的指示灯和处理器；第一相机和第二相机等高，第一相机和第二相机作为双目视觉的两个相机；处理器中预设点菜系统的世界坐标系，每个餐盘在世界坐标系中围成的区域存于处理器中，处理器分别将第一相机和第二相机的位置信息分别转换为各自在世界坐标系中的坐标；第一相机拍摄的用餐者手臂的第一图像输入处理器中，第二相机拍摄的用餐者手臂的第二图像输入处理器中；处理器将分别将第一图像和第二图像的背景去除、提取手臂图像，再分别获取第一图像中手臂的中轴线和第二图像中手臂的中轴线；处理器分别获取组成第一图像中轴线的各个像素与第一相机的相对位置信息、并将相对位置信息转换为各个像素在世界坐标系中的坐标；处理器分别获取组成第二图像中轴线的各个像素与第二相机的相对位置信息、并将相对位置信息转换为各个像素在世界坐标系中的坐标；处理器对第一图像中轴线和第二图像中轴线进行立体匹配，每一对匹配点由纵坐标相同的第一图像中轴线像素和第二图像中轴线像素组成；分别确定每一对匹配点之间的相对位置得到视差图像，由此确定每一对匹配点在世界坐标系中的实际位置坐标；处理器将所有实际位置坐标拟合成直线，获取拟合直线与菜盘所在面的交点，最后判断出该交点处于哪个菜盘的区域内，交点所在的菜盘区域作为用餐者选中的菜品，处理器使与交点所在菜盘区域对应的指示灯亮起，其余指示灯处于熄灭状态。...

【技术特征摘要】
1.基于机器视觉的食堂点菜系统，其特征在于：包括支架，安装于支架上的第一相机和第二相机，与菜盘一一对应的指示灯和处理器；第一相机和第二相机等高，第一相机和第二相机作为双目视觉的两个相机；处理器中预设点菜系统的世界坐标系，每个餐盘在世界坐标系中围城的区域存于处理器中，处理器分别将第一相机和第二相机的位置信息分别转换为各自在世界坐标系中的坐标；第一相机拍摄的用餐者手臂的第一图像输入处理器中，第二相机拍摄的用餐者手柄的第二图像输入处理器中；处理器分别将第一图像和第二图像的背景去除、提取手臂图像，再分别获取第一图像中手臂的中轴线和第二图像中手臂的中轴线；处理器分别获取组成第一图像中轴线的各个像素与第一相机的相对位置信息、并将相对位置信息转换为各个像素在世界坐标系中的坐标；处理器分别获取组成第二图像中轴线的各个像素与第二相机的相对位置信息、并将相对位置信息转换为各个像素在世界坐标系中的坐标；处理器对第一图像中轴线和第二图像中轴线进行立体匹配，每一对匹配点由纵坐标相同的第一图像中轴线像素和第二图像中轴线像素组成；分别确定每一对匹配点之间的相对位置得到的视差图像，由此确定每一对匹配点在世界坐标系中的实际位置坐标；该处理器将所有实际位置坐标拟合成直线，获取拟合直线与餐盘所在面的交点，最后判断出该交点处于哪个菜盘的区域内，交点所在的菜盘区域作为用餐者选中的菜品，处理器使与交点所在菜盘区域对应的指示灯亮起，其余指示灯处于熄灭状态；处理器为将所有实际位置坐标拟合成直线而执行的操作为：以第一相机成像元件上的左上点O建立平面坐标系uvo，以第二相机成像元件上的左上点01建立平面坐标系ulvlol，以第一相机成像元件上的左上点，建立世界坐标系uvzo，则pl点在坐标系uvo位置为pl(u,v)...

【专利技术属性】
技术研发人员：魏燕定，田埂，邓海金，储燎原，金立帅，邹云龙，赵晓伟，杨依领，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33