视觉引导拾取和放置方法、移动机器人和计算机可读存储介质技术

本发明专利技术提供了一种视觉引导拾取和放置方法、移动机器人和计算机可读存储介质，该方法包括：接收命令该移动机器人抓取至少一个物体中的目标物品的命令指令；控制该移动机器人移动到与该至少一个物体相关联的位置，控制机械臂去够该至少一个物体，并用摄像头实时拍摄该至少一个物体的一幅或多幅图像；从所述图像中提取视觉特征数据，将提取的视觉特征数据与数据库中预设的目标物品的特征数据进行匹配，以识别出该目标物品，并确定该目标物品的抓握位置和抓握向量；根据该抓握位置和抓握向量控制机械臂和手抓取该目标物品。本发明专利技术的移动机器人在接近目标物品的同时计算目标物品的握取位置和抓握向量，从而实现抓握动作的精确计算，提高抓握精度。提高抓握精度。提高抓握精度。

【技术实现步骤摘要】
视觉引导拾取和放置方法、移动机器人和计算机可读存储介质


[0001]本专利技术涉及机器人，更具体地涉及一种视觉引导拾取和放置方法、移动机器人和计算机可读存储介质。

技术介绍

[0002]抓取规划是机器人领域中的一个基本问题，已经吸引了越来越多的研究人员。许多机器人执行“盲抓”(例如，在仓库或生产线内)，它们每次都致力于从同一位置拾取物体。如果有任何变化，例如物体的形状、质地或位置，机器人将不知道如何响应，并且抓取尝试很可能会失败。这种方法显然不适合机器人需要在其他物体中的随机位置抓取目标的其他应用。
[0003]因此，需要提供一种方法和移动机器人来克服上述问题。

技术实现思路

[0004]因此，本专利技术提供一种方法和移动机器人以解决上述问题。
[0005]为了达到上述目的，本专利技术提供了一种用于移动机器人的计算机实现的视觉引导拾取和放置方法，该移动机器人包括具有手和摄像头的机械臂，该方法包括：接收命令该移动机器人抓取至少一个物体中的目标物品的命令指令；控制该移动机器人移动到确定的与该至少一个物体相关联的位置，控制该机械臂伸手去够该至少一个物体，并使用该摄像头实时拍摄该至少一个物体的一幅或多幅图像；从所述一幅或多幅图像中提取视觉特征数据，将提取的视觉特征数据与数据库中预设的目标物品的特征数据进行匹配，以识别出该目标物品，并确定该目标物品的抓握位置和抓握向量；及根据该抓握位置和抓握向量控制该机械臂和手抓取该目标物品，并将该目标物品放置到目标位置。
[0006]可选的，在接收该命令指令之前，该方法还包括：扫描与该移动机器人执行的取放任务相关联的至少一个样本物品，以获得与该至少一个样本物品中的每一个对应的至少一个模板图像，其中，该至少一个样本物品包括该目标物品；将至少一对抓取点的抓握数据插入到该至少一个模板图像中，其中，该抓握数据包括与该至少一个样本物品相关联的抓握位置和抓握向量；及将该至少一模板图像以及与该至少一模板图像对应的抓握数据存储为该至少一样本物品中对应的一个样品物品的特征数据。
[0007]可选的，从所述一幅或多幅图像中提取视觉特征数据，将提取的视觉特征数据与数据库中预设的目标物品的特征数据进行匹配，以识别出该目标物品，包括：使用定向快速旋转简要(ORB)算法从所述一幅或多幅图像的每一帧中提取多个视觉特征数据；和使用平衡二叉搜索方法和最近欧几里得距离算法将所述多个视觉特征数据与该目标物品的视觉特征数据匹配以识别该目标物品，其中，该目标物品的视觉特征数据是通过ORB算法从该目标物品的一模板图像中提取的。
[0008]可选的，从所述一幅或多幅图像中提取视觉特征数据，将提取的视觉特征数据与
数据库中预设的目标物品的特征数据进行匹配，以识别出该目标物品，包括：使用定向快速旋转简要(ORB)算法从所述一幅或多幅图像的每一帧中提取多个视觉特征数据；将所述多个视觉特征数据与该目标物品的视觉特征数据进行比较以获得内点比和透视角，其中，其中，该目标物品的视觉特征数据是通过ORB算法从该目标物品的一模板图像中提取的；根据该内点比和透视角确定该至少一个物体的匹配度的置信度；以及将具有最高置信度分数的该至少一个物体之一确定为该目标物品。
[0009]可选的，根据该内点比和透视角确定该至少一个物体的匹配度的置信度包括：判断该内点比是否小于第一预设值；响应于该内点比不小于该第一预设值，计算所述一幅或多幅图像的单应矩阵，并将该单应矩阵的变换矩阵应用于该模板图像中目标物体的形状；判断该单应矩阵对应的一幅或多幅图像的面积是否超过第二预设值且位于该摄像头的视野之外；响应该单应矩阵对应的所述一幅或多幅图像的面积不超过第二预设值且在该摄像头的视野之外，判断对应于该单应矩阵的所述一幅或多幅图像的形状畸变度是否大于预设畸变度；响应于该单应矩阵对应的所述一幅或多幅图像的形状畸变度不大于预设畸变度，根据预设置信度评分规则确定该至少一个物体的匹配度的置信度分数，其中，该置信度评分规则与该内点比和透视角正相关。
[0010]可选的，确定该目标物品的抓握位置和抓握向量包括：当该机械臂伸手去够该目标物品时，利用该摄像头拍摄该目标物品的多个图像；根据插入在该至少一个模板图像中的抓握位置和抓握向量，确定该目标物品的该多个图像中的每一个的第一有希望区域；控制该机械臂移动靠近该第一有希望区域，并确定该目标物品的所述多个图像中的每一个的该第一有希望区域的第二有希望区域；根据判断结果控制该手向该目标物品移动，直到该机械臂抓住该目标物品。
[0011]可选的，控制该移动机器人移动到确定的与该至少一个物体相关联的位置并控制该机械臂伸手去够该至少一个物体包括：响应于侦测到该目标物品，根据该目标物品的位置和方向计算该机械臂的无碰撞运动轨迹；响应存在两个或多个无碰撞运动轨迹，选择其中一个无碰撞运动轨迹作为最终运动轨迹；响应存在一条无碰撞运动轨迹，选择该无碰撞运动轨迹作为最终运动轨迹；控制该机械臂根据该最终运动轨迹向该目标物品移动。
[0012]可选的，该方法还包括：使用该摄像头获取该目标物品的二维图像，根据该二维图像中关键特征位置之间的欧几里得距离确定该二维图像的深度信息；和当该手靠近该目标物品并停在该目标物品上方时，利用距离传感器确定该目标物品的距离信息，并根据该距离信息和深度信息引导该手抓住该目标物品。
[0013]可选的，在将该目标物品放置到目标位置之前，该方法还包括：该手握住该目标物品后，控制该手将该目标物品旋转360度，通过安装在该手的一侧的摄像头持续观察旋转过程中的该目标物品；响应于检测到附着在该目标物品表面的条形码，通过安装在该手的该侧的该摄像头连续拍摄该条形码的图像；基于该条形码的所述图像运行条形码查找和解码算法，生成条形码串；将该该条形码串与数据库中预存的目标商品的条形码串进行比较；响应该条形码串与预存条形码串相同，控制该移动机器人将该目标物品放置到该目标位置。
[0014]本专利技术还提供一种移动机器人，包括：机械臂，其包括手和摄像头；一个或多个处理器；存储器；和一个或多个程序，其中，所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括：接收命令该移动机器人抓
取至少一个物体中的目标物品的命令指令的指令；控制该移动机器人移动到确定的与该至少一个物体相关联的位置，控制该机械臂伸手去够该至少一个物体，并使用该摄像头实时拍摄该至少一个物体的一幅或多幅图像的指令；从所述一幅或多幅图像中提取视觉特征数据，将提取的视觉特征数据与数据库中预设的目标物品的特征数据进行匹配，以识别出该目标物品，并确定该目标物品的抓握位置和抓握向量的指令；及根据该抓握位置和抓握向量控制该机械臂和手抓取该目标物品，并将该目标物品放置到目标位置的指令。
[0015]本专利技术还提供一种存储将由移动机器人的一个或多个处理器执行的一个或多个程序的非暂时性计算机可读存储介质，该一个或多个程序在由所述一个或多个处理器执行时，使该移动机器人执行处理包括：接收命令该移动机器人抓取至少一个物体中的目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于移动机器人的计算机实现的视觉引导拾取和放置方法，该移动机器人包括具有手和摄像头的机械臂，该方法包括：接收命令该移动机器人抓取至少一个物体中的目标物品的命令指令；控制该移动机器人移动到确定的与该至少一个物体相关联的位置，控制该机械臂伸手去够该至少一个物体，并使用该摄像头实时拍摄该至少一个物体的一幅或多幅图像；从所述一幅或多幅图像中提取视觉特征数据，将提取的视觉特征数据与数据库中预设的目标物品的特征数据进行匹配，以识别出该目标物品，并确定该目标物品的抓握位置和抓握向量；及根据该抓握位置和抓握向量控制该机械臂和手抓取该目标物品，并将该目标物品放置到目标位置。2.根据权利要求1所述的方法，其特征在于，在接收该命令指令之前，还包括：扫描与该移动机器人执行的取放任务相关联的至少一个样本物品，以获得与该至少一个样本物品中的每一个对应的至少一个模板图像，其中，该至少一个样本物品包括该目标物品；将至少一对抓取点的抓握数据插入到该至少一个模板图像中，其中，该抓握数据包括与该至少一个样本物品相关联的抓握位置和抓握向量；及将该至少一模板图像以及与该至少一模板图像对应的抓握数据存储为该至少一样本物品中对应的一个样品物品的特征数据。3.根据权利要求2所述的方法，其特征在于，从所述一幅或多幅图像中提取视觉特征数据，将提取的视觉特征数据与数据库中预设的目标物品的特征数据进行匹配，以识别出该目标物品，包括：使用定向快速旋转简要(ORB)算法从所述一幅或多幅图像的每一帧中提取多个视觉特征数据；和使用平衡二叉搜索方法和最近欧几里得距离算法将所述多个视觉特征数据与该目标物品的视觉特征数据匹配以识别该目标物品，其中，该目标物品的视觉特征数据是通过ORB算法从该目标物品的一模板图像中提取的。4.根据权利要求2所述的方法，其特征在于，从所述一幅或多幅图像中提取视觉特征数据，将提取的视觉特征数据与数据库中预设的目标物品的特征数据进行匹配，以识别出该目标物品，包括：使用定向快速旋转简要(ORB)算法从所述一幅或多幅图像的每一帧中提取多个视觉特征数据；将所述多个视觉特征数据与该目标物品的视觉特征数据进行比较以获得内点比和透视角，其中，其中，该目标物品的视觉特征数据是通过ORB算法从该目标物品的一模板图像中提取的；根据该内点比和透视角确定该至少一个物体的匹配度的置信度；以及将具有最高置信度分数的该至少一个物体之一确定为该目标物品。5.根据权利要求4所述的方法，其特征在于，根据该内点比和透视角确定该至少一个物体的匹配度的置信度包括：判断该内点比是否小于第一预设值；
响应于该内点比不小于该第一预设值，计算所述一幅或多幅图像的单应矩阵，并将该单应矩阵的变换矩阵应用于该模板图像中目标物体的形状；判断该单应矩阵对应的一幅或多幅图像的面积是否超过第二预设值且位于该摄像头的视野之外；响应该单应矩阵对应的所述一幅或多幅图像的面积不超过第二预设值且在该摄像头的视野之外，判断对应于该单应矩阵的所述一幅或多幅图像的形状畸变度是否大于预设畸变度；响应于该单应矩阵对应的所述一幅或多幅图像的形状畸变度不大于预设畸变度，根据预设置信度评分规则确定该至少一个物体的匹配度的置信度分数，其中，该置信度评分规则与该内点比和透视角正相关。6.根据权利要求3所述的方法，其特征在于，确定该目标物品的抓握位置和抓握向量包括：当该机械臂伸手去够该目标物品时，利用该摄像头拍摄该...

【专利技术属性】
技术研发人员：邵丹，沈扬，龙飞，蔡洁心，谭欢，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：