机械臂控制方法、装置、电子设备以及烹饪系统制造方法及图纸

本申请实施例提供一种机械臂控制方法、装置、电子设备以及烹饪系统，所述方法包括：响应于接收到的移动指令，控制机械臂移动至第一目标位置；在所述机械臂移动至所述第一目标位置的情况下，获取采集到的第一目标图像；对所述第一目标图像进行图像识别，获得第一识别结果，所述第一识别结果用于表示所述第一目标图像中是否存在第一目标以及所述第一目标内是否含有目标物；基于所述第一识别结果，确定是否执行控制所述机械臂按照第一模式运行。

【技术实现步骤摘要】
机械臂控制方法、装置、电子设备以及烹饪系统
本申请涉及机械臂控制
，特别涉及一种机械臂控制方法、装置、电子设备以及烹饪系统。
技术介绍
机械臂本身具有定位精确度高、性能稳定、使用操作简单等特点，在餐厅、产品组装、分类、喷漆等领域得到了广泛的应用。例如，在餐厅中，在煲仔饭的烹饪过程中，煲仔饭烹制主要依靠煲仔炉加热其上方的煲仔的形式完成，机械臂可以用于实现煲仔进炉、加菜以及出炉等。由于目前操作流程及烹制工艺的影响，在烹制过程中，一部分食材(如玉米粒等)等异物可能会落入煲仔炉中，若将煲仔放入含有异物的煲仔炉中，易导致煲仔无法与煲仔炉的加热内壁保持良好的直接接触，造成热传递不良问题，进而可能引发烹制食材不熟等食品安全问题，影响用户用餐体验。现有技术中，采用人工识别煲仔炉中是否落入食材等异物，以调控机械臂的移动，这种控制方法不仅耗费人力，延误烹饪时间，而且存在人为失误等问题。
技术实现思路
本申请提供了一种机械臂控制方法、装置、电子设备以及烹饪系统，能够对采集到的图像进行识别，根据识别结果控制机械臂的运动。第一方面，本申请提供了一种机械臂控制方法，包括：响应于接收到的移动指令，控制机械臂移动至第一目标位置；在所述机械臂移动至所述第一目标位置的情况下，获取采集到的第一目标图像；对所述第一目标图像进行图像识别，获得第一识别结果，所述第一识别结果用于表示所述第一目标图像中是否存在第一目标以及所述第一目标内是否含有目标物；基于所述第一识别结果，确定是否执行控制所述机械臂按照第一模式运行。其中一种可能的实现方式中，所述基于所述第一识别结果，确定是否执行控制所述机械臂按照第一模式运行，包括：若所述第一目标图像中存在第一目标且所述第一目标内不含有目标物，则控制所述机械臂按照第一模式运行；若所述第一目标图像中不存在第一目标，或者，第一目标图像中存在第一目标且所述第一目标内含有目标物，则控制所述机械臂移动至第二目标位置，在所述机械臂移动至所述第二目标位置的情况下，获取采集到的第二目标图像，对所述第二目标图像进行图像识别，获得第二识别结果，基于所述第二识别结果，确定是否执行控制所述机械臂按照所述第一模式运行，所述第二识别结果用于表示所述第二图像中是否存在第二目标以及所述第二目标内是否含有目标物。其中一种可能的实现方式中，所述控制所述机械臂移动至第二目标位置，包括：获取第二目标位置以及第二目标的当前状态，所述第二目标位于所述第二目标位置；判断所述第二目标的当前状态是否为第一状态；若所述第二目标的当前状态为所述第一状态，则控制所述机械臂移动至所述第二目标位置。其中一种可能的实现方式中，所述方法还包括：若所述第二目标的当前状态不为所述第一状态，则控制所述第二目标从所述当前状态转变为所述第一状态。其中一种可能的实现方式中，所述方法还包括：判断是否存在空闲的第二目标、每个所述空闲的第二目标的当前状态是否为第一状态以及每个所述处于第一状态且空闲的第二目标是否被标注为含有目标物；若不存在空闲的第二目标，或每个所述空闲的第二目标的当前状态不为第一状态，或每个所述处于第一状态且空闲的第二目标被标注为含有目标物，则控制所述机械臂移动至预设存放位置。其中一种可能的实现方式中，所述方法还包括：若所述第一目标图像中不存在第一目标，或者，所述第一目标图像中存在第一目标且所述第一目标内含有目标物，则生成第一标注，所述第一标注用于标注所述第一目标不适用。其中一种可能的实现方式中，所述移动指令中包含第一移动路径，所述方法还包括：在所述机械臂沿所述第一移动路径移动至目标位置的过程中，获取采集到的机械臂周围环境信息；基于所述环境信息以及所述第一移动路径，控制所述机械臂停止移动，或者控制所述机械臂沿第二移动路径移动至所述目标位置，所述第二移动路径基于所述机械臂的当前位置、所述环境信息以及所述目标位置确定。其中一种可能的实现方式中，所述对所述第一目标图像进行图像识别，获得第一识别结果，包括：基于预设图像对所述第一目标图像进行目标识别，确定是否存在第一目标；若存在所述第一目标，则在所述第一目标中进行搜索，获得多个待选区域；对所述多个待选区域进行筛选，确定待定目标；对所述待定目标进行像素点分类，确定第一类型像素点；基于所有所述第一类型像素点占所述待定目标中总像素点的比例，确定所述第一目标中是否含有目标物。其中一种可能的实现方式中，所述预设图像包括目标边缘曲线，所述基于预设图像对第一目标图像进行目标识别，确定是否存在第一目标，包括：对所述第一目标图像进行灰度处理，获得灰度图像；以所述目标边缘曲线作为参照，基于预设旋转偏差角和预设缩放比例对所述灰度图像进行广义霍夫变换处理，获得多个匹配区域及其对应的匹配度；根据多个所述匹配区域的匹配度大小，确定第一目标。其中一种可能的实现方式中，所述对所述多个待选区域进行筛选，确定待定目标，包括：判断每个所述待选区域的面积是否小于或等于预设第一面积阈值，且是否大于或等于预设第二面积阈值，以及每个所述待选区域的长宽比是否小于预设长宽比阈值；基于判断结果，从多个所述待选区域中确定待定目标。其中一种可能的实现方式中，所述基于判断结果，从多个所述待选区域中确定待定目标，包括：若所述待选区域的面积小于或等于预设第一面积阈值，且大于或等于预设第二面积阈值，以及每个所述待选区域的长宽比小于预设长宽比阈值，则确定所述待选区域为第三目标区域；对所述第三目标区域进行筛选，确定待定目标。其中一种可能的实现方式中，所述对所述第三目标区域进行筛选，确定待定目标，包括：判断多个所述第三目标区域是否相重叠；若多个所述第三目标区域相重叠，则选取相重叠的多个所述第三目标区域中面积最小或最大的所述第三目标区域为待定目标；若多个所述第三目标区域不重叠，则确定不重叠的多个所述第三目标区域为待定目标。其中一种可能的实现方式中，所述对所述待定目标进行像素点分类，确定第一类型像素点，包括：判断所述待定目标中每个像素点的像素值是否小于或等于预设第一颜色阈值，且是否大于或等于预设第二颜色阈值；基于判断结果，对所述待定目标中的每个像素点进行二值处理，获得二值图像，其中，所述二值图像的每个像素点为白像素点或黑像素点，所述第一类型像素点为所述二值图像中的白像素点。其中一种可能的实现方式中，在所述获取第一目标图像之后，所述方法还包括：基于预设算子对所述第一目标图像进行纹理增强处理，获得纹理增强后的第一目标图像。其中一种可能的实现方式中，所述预设算子包括第一参数和第二参数，其中，所述第一参数与所述第二参数满足关系：a＞0，b＞0，b-4a＝1，a为所述第一参数，b为所述第二参数。第二方面，本申请提供了一种机械臂控制装置，包括：本文档来自技高网...

【技术保护点】
1.一种机械臂控制方法，其特征在于，包括：/n响应于接收到的移动指令，控制机械臂移动至第一目标位置；/n在所述机械臂移动至所述第一目标位置的情况下，获取采集到的第一目标图像；/n对所述第一目标图像进行图像识别，获得第一识别结果，所述第一识别结果用于表示所述第一目标图像中是否存在第一目标以及所述第一目标内是否含有目标物；/n基于所述第一识别结果，确定是否执行控制所述机械臂按照第一模式运行。/n

【技术特征摘要】
1.一种机械臂控制方法，其特征在于，包括：
响应于接收到的移动指令，控制机械臂移动至第一目标位置；
在所述机械臂移动至所述第一目标位置的情况下，获取采集到的第一目标图像；
对所述第一目标图像进行图像识别，获得第一识别结果，所述第一识别结果用于表示所述第一目标图像中是否存在第一目标以及所述第一目标内是否含有目标物；
基于所述第一识别结果，确定是否执行控制所述机械臂按照第一模式运行。


2.根据权利要求1所述的方法，其特征在于，所述基于所述第一识别结果，确定是否执行控制所述机械臂按照第一模式运行，包括：
若所述第一目标图像中存在第一目标且所述第一目标内不含有目标物，则控制所述机械臂按照第一模式运行；
若所述第一目标图像中不存在第一目标，或者，第一目标图像中存在第一目标且所述第一目标内含有目标物，则控制所述机械臂移动至第二目标位置，在所述机械臂移动至所述第二目标位置的情况下，获取采集到的第二目标图像，对所述第二目标图像进行图像识别，获得第二识别结果，基于所述第二识别结果，确定是否执行控制所述机械臂按照所述第一模式运行，所述第二识别结果用于表示所述第二图像中是否存在第二目标以及所述第二目标内是否含有目标物。


3.根据权利要求2所述的方法，其特征在于，所述控制所述机械臂移动至第二目标位置，包括：
获取第二目标位置以及第二目标的当前状态，所述第二目标位于所述第二目标位置；
判断所述第二目标的当前状态是否为第一状态；
若所述第二目标的当前状态为所述第一状态，则控制所述机械臂移动至所述第二目标位置。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述第二目标的当前状态不为所述第一状态，则控制所述第二目标从所述当前状态转变为所述第一状态。


5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
判断是否存在空闲的第二目标、每个所述空闲的第二目标的当前状态是否为第一状态以及每个所述处于第一状态且空闲的第二目标是否被标注为含有目标物；
若不存在空闲的第二目标，或每个所述空闲的第二目标的当前状态不为第一状态，或每个所述处于第一状态且空闲的第二目标被标注为含有目标物，则控制所述机械臂移动至预设存放位置。


6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述第一目标图像中不存在第一目标，或者，所述第一目标图像中存在第一目标且所述第一目标内含有目标物，则生成第一标注，所述第一标注用于标注所述第一目标不适用。


7.根据权利要求1所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：洪蒂，曾巧，郭康慧，
申请(专利权)人：广东智源机器人科技有限公司，
类型：发明
国别省市：广东;44