一种基于图像识别的自动取菜方法、系统及存储介质技术方案

本发明专利技术公开了一种基于图像识别的自动取菜方法、系统及存储介质，该系统可实现以下自动取菜方法：接收操作终端的取菜指令，解析取菜指令以得到需要抓取的菜品的名称；根据该菜品的名称，获取该菜品的位置坐标；控制机械手移动至位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；若否，则再次控制机械手再次执行抓取动作；若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。该系统能实现自动抓取菜品至用户的餐盘中，解决用户无法夹取远处的菜品的问题。

An automatic picking-up method, system and storage medium based on image recognition

The invention discloses an automatic picking-up method, system and storage medium based on image recognition, which can realize the following automatic picking-up methods: receiving the picking-up instructions of the operation terminal, parsing the picking-up instructions to get the name of the dish to be grabbed; obtaining the position coordinates of the dish according to the name of the dish; controlling the manipulator to move to the position coordinates, and then controlling the manipulator. To perform the grabbing action to grab the dishes on the first plate and check whether the manipulator has grabbed the dishes after the grabbing action is finished; if not, to control the manipulator to perform the grabbing action again; if not, to control the manipulator to move to the second plate in the legal area corresponding to the operation terminal that issued the command and to place the dishes on the second plate. The system can automatically grab the dishes to the user's plate and solve the problem that the user can't grab the distant dishes.

【技术实现步骤摘要】
一种基于图像识别的自动取菜方法、系统及存储介质
本专利技术涉及自动化
，尤其涉及一种基于图像识别的自动取菜方法、系统及存储介质。
技术介绍
由于某些餐桌较大，人们在夹菜的时候经常会出现远处的菜品够不着的情况，遇到这种情况，有些人会站起来夹取自己想吃的菜品，但是，对于某些用餐场景来说，站起来夹菜会显得不礼貌，并且很多人也会因为觉得不好意思站起来夹菜而放弃远处的菜品。为了解决这个问题，出现了旋转桌面，用户可通过将自己想吃的菜品旋转至自己能够夹取的范围内。但是，也有很多人碍于面子，不好意思经常旋转桌子，导致没法吃到离自己比较远而自己又喜欢吃的食物。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种基于图像识别的自动取菜系统，其能实现自动抓取菜品至用户的餐盘中，解决用户无法夹取远处的菜品的问题。本专利技术的目的之二在于提供一种基于图像识别的自动取菜方法，其能实现自动抓取菜品至用户的餐盘中，解决用户无法夹取远处的菜品的问题。本专利技术的目的之三在于提供一种计算机可读存储介质，该存储介质存储的程序运行时能实现自动抓取菜品至用户的餐盘中，解决用户无法夹取远处的菜品的问题。本专利技术的目的之一采用如下技术方案实现：一种基于图像识别的自动取菜系统，包括：摄像头、机械手、操作终端以及控制单元，所述控制单元分别与所述摄像头、所述机械手及所述操作终端连接，所述操作终端用于输入取菜指令，所述摄像头用于拍摄桌面图片以供进行图像识别得到菜品的位置坐标；该系统可实现以下自动取菜方法：接收操作终端的取菜指令，解析所述取菜指令以得到需要抓取的菜品的名称；根据该菜品的名称，获取该菜品的位置坐标；控制机械手移动至所述位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；若否，则再次控制机械手再次执行抓取动作；若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。进一步地，所述根据该菜品的名称，获取该菜品的位置坐标具体为：根据该菜品的名称，查询数据库中是否存在该菜品的位置坐标；若否，则获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及所述识别结果确定该菜品的位置坐标，并将该菜品的名称及位置坐标存储在数据库中；若是，则获取该菜品在数据库中的位置坐标。进一步地，所述根据该菜品的名称，获取该菜品的位置坐标具体为：获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标。进一步地，所述获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标具体为：获取摄像头所拍摄的图片并对图片进行预处理；将预处理后的图片传送至菜品识别模型中进行图像识别得到识别结果，所述识别结果包含了需要抓取的菜品在图片中的位置信息；对识别结果进行处理以得到需要抓取的菜品所在的第一餐盘在图片中的尺寸以及该第一餐盘相对于参考点的距离和方向；根据桌子在图片中的尺寸和在实际中的尺寸得到比例值；根据需要抓取的菜品所在的第一餐盘在图片中的尺寸、相对于参考点的距离以及所述比例值，得到菜品所在的第一餐盘的实际尺寸以及该第一餐盘与参考点的实际距离；根据第一餐盘的实际尺寸及该第一餐盘相对于参考点的方向和实际距离得到该第一餐盘的位置坐标。进一步地，所述机械手设置在桌面中心且以桌面中心为参考点，所述摄像头设置在所述桌面上方以保证拍摄桌面全景。进一步地，所述自动取菜方法还包括：实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令。进一步地，所述实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令具体为：实时监测用餐客户的肢体动作；当监测到用餐客户摇头或摆手时，判断机械手是否正在工作；若是，则发送指令使机械手停止当前的工作并返回初始位置；若否，则结束流程；当监测到用餐客户敲桌面两下时，则生成倒茶指令，控制机械手抓取茶壶并将定量的茶水倒入发出倒茶指令的用餐客户的茶杯中。本专利技术的目的之二采用如下技术方案实现：一种基于图像识别的自动取菜方法，包括以下步骤：接收操作终端的取菜指令，解析所述取菜指令以得到需要抓取的菜品的名称；根据该菜品的名称，获取该菜品的位置坐标；控制机械手移动至所述位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；若否，则再次控制机械手再次执行抓取动作；若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。进一步地，所述根据该菜品的名称，获取该菜品的位置坐标具体为：根据该菜品的名称，查询数据库中是否存在该菜品的位置坐标；若否，则获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及所述识别结果确定该菜品的位置坐标，并将该菜品的名称及位置坐标存储在数据库中；若是，则获取该菜品在数据库中的位置坐标。进一步地，所述根据该菜品的名称，获取该菜品的位置坐标具体为：获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标。进一步地，所述获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标具体为：获取摄像头所拍摄的图片并对图片进行预处理；将预处理后的图片传送至菜品识别模型中进行图像识别得到识别结果，所述识别结果包含了需要抓取的菜品在图片中的位置信息；对识别结果进行处理以得到需要抓取的菜品所在的第一餐盘在图片中的尺寸以及该第一餐盘相对于参考点的距离和方向；根据桌子在图片中的尺寸和在实际中的尺寸得到比例值；根据需要抓取的菜品所在的第一餐盘在图片中的尺寸、相对于参考点的距离以及所述比例值，得到菜品所在的第一餐盘的实际尺寸以及该第一餐盘与参考点的实际距离；根据第一餐盘的实际尺寸及该第一餐盘相对于参考点的方向和实际距离得到该第一餐盘的位置坐标。进一步地，所述机械手设置在桌面中心且以桌面中心为参考点，所述摄像头设置在所述桌面上方以保证拍摄桌面全景。进一步地，还包括：实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令。进一步地，所述实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令具体为：实时监测用餐客户的肢体动作；当监测到用餐客户摇头或摆手时，判断机械手是否正在工作；若是，则发送指令使机械手停止当前的工作并返回初始位置；若否，则结束流程；当监测到用餐客户敲桌面两下时，则生成倒茶指令，控制机械手抓取茶壶并将定量的茶水倒入发出倒茶指令的用餐客户的茶杯中。本专利技术的目的之三采用如下技术方案实现：一种计算机可读存储介质，所述存储介质存储有可执行计算机程序，所述计算机程序运行时可实现如上述的基于图像识别的自动取菜方法。相比现有技术，本专利技术的有益效果在于：该系统主要由控制单元、摄像头、机械手以及操作终端组成，用户通过操作终端输入想吃的菜品名称即可实现自动夹取对应的菜品到自己的餐盘中，控制单元根据菜品名称，通过摄像头所拍摄的图片进行图像识别以识别出该菜品的位本文档来自技高网...

【技术保护点】
1.一种基于图像识别的自动取菜系统，其特征在于，包括：摄像头、机械手、操作终端以及控制单元，所述控制单元分别与所述摄像头、所述机械手及所述操作终端连接，所述操作终端用于输入取菜指令，所述摄像头用于拍摄桌面图片以供进行图像识别得到菜品的位置坐标；该系统可实现以下自动取菜方法：接收操作终端的取菜指令，解析所述取菜指令以得到需要抓取的菜品的名称；根据该菜品的名称，获取该菜品的位置坐标；控制机械手移动至所述位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；若否，则再次控制机械手再次执行抓取动作；若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。

【技术特征摘要】
1.一种基于图像识别的自动取菜系统，其特征在于，包括：摄像头、机械手、操作终端以及控制单元，所述控制单元分别与所述摄像头、所述机械手及所述操作终端连接，所述操作终端用于输入取菜指令，所述摄像头用于拍摄桌面图片以供进行图像识别得到菜品的位置坐标；该系统可实现以下自动取菜方法：接收操作终端的取菜指令，解析所述取菜指令以得到需要抓取的菜品的名称；根据该菜品的名称，获取该菜品的位置坐标；控制机械手移动至所述位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；若否，则再次控制机械手再次执行抓取动作；若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。2.如权利要求1所述的自动取菜系统，其特征在于，所述根据该菜品的名称，获取该菜品的位置坐标具体为：根据该菜品的名称，查询数据库中是否存在该菜品的位置坐标；若否，则获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及所述识别结果确定该菜品的位置坐标，并将该菜品的名称及位置坐标存储在数据库中；若是，则获取该菜品在数据库中的位置坐标。3.如权利要求1所述的自动取菜系统，其特征在于，所述根据该菜品的名称，获取该菜品的位置坐标具体为：获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标。4.如权利要求2或3所述的自动取菜系统，其特征在于，所述获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标具体为：获取摄像头所拍摄的图片并对图片进行预处理；将预处理后的图片传送至菜品识别模型中进行图像识别得到识别结果，所述识别结果包含了需要抓取的菜品在图片中的位置信息；对识别结果进行处理以得到需要抓取的菜品所在的第一餐盘在图片中的尺寸以及该第一餐盘相对于参考点的距离和方向；根据桌子在图片中的尺寸和在实际中的尺寸得到比例值；根据需要抓取的菜品所在的第一餐盘在图片中的尺寸、相对于参考点的距离以及所述比例值，得到菜品所在的第一餐盘的实际尺寸以及该第一餐盘与参考点的实际距离；根据第一餐盘的实际尺寸及该第一餐盘相对于参考点的方向和实际距离得到该第一餐盘的位置坐标。5.如权利要求4所述的基于图像识别的自动取菜系统，其特征在于，所述机械手设置在桌面中心且以桌面中心为参考点，所述摄像头设置在所述桌面上方以保证拍摄桌面全景。6.如权利要求5所述的基于图像识别的自动取菜系统，其特征在于，所述自动取菜方法还包括：实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令。7.如权利要求6所述的基于图像识别的自动取菜系统，其特征在于，所述实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令具体为：实时监测用餐客户的肢体动作；当监测到用餐客户摇头或摆手时，判断机械手是否正在工作；若是，则发送指令使机械手停止当前的工作并返回初始位置；若否，则结束流程；当监测到用餐客户敲桌面两下时，则生成倒茶指令，控制机械手抓取茶壶并将定量的茶水倒入发出倒茶指令的用餐客户的茶杯...

【专利技术属性】
技术研发人员：傅峰峰，
申请(专利权)人：广州富港万嘉智能科技有限公司，
类型：发明
国别省市：广东,44