一种基于视觉感知的运动物体机器人抓取方法及装置制造方法及图纸

本发明专利技术公开了一种基于视觉感知的运动物体机器人抓取方法及装置，该方法包括：获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数；根据第一和第二能量函数，计算物体中心坐标系下的综合能量函数；对综合能量函数进行最小化，得到位姿变换增量；根据位姿变换增量，更新在每个相机视角下的物体位姿；将若干次更新后的物体位姿输入物体运动预测模型中，预测未来预定时间内物体的第一位姿；将第一位姿与抓取位姿数据库中的所有第二位姿进行比较，将与第二位姿差值最小且差值小于预定阈值的第一位姿作为抓取位姿对应的机械臂末端位姿；根据机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取。臂运动后控制末端执行器进行物体抓取。臂运动后控制末端执行器进行物体抓取。

【技术实现步骤摘要】
一种基于视觉感知的运动物体机器人抓取方法及装置


[0001]本申请涉及三维物体跟踪、轨迹预测与机械臂规划控制
，尤其涉及一种基于视觉感知的运动物体机器人抓取方法及装置。

技术介绍

[0002]三维物体位姿跟踪是增强现实(AR)技术之一, 通过实时估计相机与三维物体的相对位置关系来实时求解物体的位姿. 三维物体跟踪技术有广泛的应用, 例如可以应用于AR游戏, 使用移动设备进行诸如商场环境下的AR导航, 以及应用于器械维修时的电子说明书, 通过对器械进行追踪, 在屏幕上实时渲染需处理的步骤或器件等。实时高精度的三维物体姿态跟踪一直是研究者们努力的方向。
[0003]机器人控制与规划领域一直是研究的热点。机器人研究者们在为静态环境中的机器人操作开发算法和方法方面取得了重大进展。
[0004]然而，在实现本专利技术的过程中，专利技术人发现现有技术中至少存在如下问题：机器人操作在动态环境中变得更加困难，而这在现实世界中是常有的事。比如在动态抓取、接球、人机交接等方面，要与之交互的目标和障碍物可能会以未知或已知的运动方式移动。一方面是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉感知的运动物体机器人抓取方法，其特征在于，包括：获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数；根据所述第一能量函数和第二能量函数，计算物体中心坐标系下双视图联合优化的综合能量函数；对所述综合能量函数进行最小化，得到位姿变换增量；根据所述位姿变换增量，更新在每个相机视角下的物体位姿；将若干次更新后的物体位姿输入物体运动预测模型中，预测未来预定时间内物体的第一位姿；将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较，将与所述第二位姿的差值最小且所述差值小于预定阈值的第一位姿作为所述抓取位姿对应的机械臂末端位姿；根据所述机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取。2.根据权利要求1所述的方法，其特征在于，对所述综合能量函数进行最小化，得到位姿变换增量，包括：计算第一能量函数的第一雅克比矩阵和第二能量函数的第二雅克比矩阵；根据所述第一雅克比矩阵和第二雅克比矩阵，计算位姿变换增量。3.根据权利要求1所述的方法，其特征在于，所述物体运动预测模型的预测过程包括：获取更新后的物体位姿，判断物体的运动模式；若所述物体的运动模式为匀速直线运动或匀速圆周运动，则通过卡尔曼滤波算法预测物体的位姿；若所述物体的运动模式为球面摆运动，则通过建立物体平移模型预测物体的平移运动，通过构建物体旋转运动的关键序列预测物体的旋转运动，根据所述物体的平移运动和所述物体的旋转运动，得到物体的位姿的预测结果。4.根据权利要求1所述的方法，其特征在于，在将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较之前还包括：根据所述第一位姿，获取目标物体上一帧的运动方向和运动速度；根据所述运动方向和运动速度，对所述第一位姿进行预筛选。5.根据权利要求1所述的方法，其特征在于，将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较，包括：获取相机坐标系和机械臂基座坐标系的转换关系，其中所述物体运动预测模型得到的第一位姿为在所述相机坐标系下的位姿；将所述第一位姿转换到机械臂基座坐标系下，得到第三位姿；将所述第三位姿与抓取位姿数据库中的所有第二位姿进行比较...

【专利技术属性】
技术研发人员：李特，王彬，顾建军，曹昕，金立，秦学英，
申请(专利权)人：之江实验室，
类型：发明
国别省市：