一种基于触觉图元滑移特征反馈的机器人再抓取优化方法技术

本发明专利技术属于机器人智能抓取技术领域，涉及一种基于触觉图元滑移特征反馈的机器人再抓取优化方法，包括以下步骤：步骤1，利用设置在机械臂上的光学式触觉传感器获取触觉模态信息，即感知获取到接触区域的触觉图元；步骤2：基于获取的触觉模态信息，进行椭圆参数拟合；步骤3：构建机械臂的试抓取坐标系；步骤4：对物体进行试抓取使物体发生滑移，解算物体的触觉感知滑动矢量，推测物体在滑移期间的位姿变化；步骤5：对物体在试抓取过程中发生的不同剧烈程度的滑移进行对应的优化调整，重构机械臂的再抓取位姿。本发明专利技术解决了现有抓取调整方法依赖于试错，无法充分利用触觉模态信息的问题。题。题。

【技术实现步骤摘要】
一种基于触觉图元滑移特征反馈的机器人再抓取优化方法


[0001]本专利技术属于机器人智能抓取
，涉及一种基于触觉图元滑移特征反馈的机器人再抓取优化方法。

技术介绍

[0002]基于视觉的抓取检测方法通常依赖物体的尺寸、纹理、颜色等信息来获取抓取位姿，但无法感知被抓取物体的接触表面特性、质心位姿变化信息以及接触力的变化，以及抓取过程中物体与夹爪相对运动状态等信息，无法对现有的抓取配置做出评估及反馈。因此，当发生不稳定抓取现象时，需要对视觉推理出的抓取位姿进行进一步优化，以满足稳定性、安全性和效率性等方面的要求。

技术实现思路

[0003]为了解决现有技术中存在的上述技术问题，本专利技术提出了一种基于触觉图元滑移特征反馈的机器人再抓取优化方法，基于Canny边缘检测和最小二乘的椭圆拟合，实现了光学式触觉传感器感知的触觉图元的提取，并进一步确定了触觉图元滑移特征，依照物体在试抓取中发生滑移的剧烈程度将其分为三种类型：初期滑移、局部滑移和全面滑移，通过结合的视觉抓取检测地图，触觉反馈特征和视触融合质量分析模型方法制定对应的自适应优化调整策略，以稳定重构抓取位姿，其具体技术方案如下：
[0004]一种基于触觉图元滑移特征反馈的机器人再抓取优化方法，包括以下步骤：
[0005]步骤1，利用设置在机械臂上的光学式触觉传感器获取触觉模态信息，即感知获取到接触区域的触觉图元；
[0006]步骤2：基于获取的触觉模态信息，进行椭圆参数拟合；
[0007]步骤3：构建机械臂的试抓取坐标系；
[0008]步骤4：对物体进行试抓取使物体发生滑移，解算物体的触觉感知滑动矢量，推测物体在滑移期间的位姿变化；
[0009]步骤5：对物体在试抓取过程中发生的不同剧烈程度的滑移进行对应的优化调整，重构机械臂的再抓取位姿。
[0010]进一步的，所述步骤1，具体为：利用基于视觉的触觉传感器通过接触图像的变化，判断机械臂夹爪是否与物体发生接触，若是则获取到传感器接触图像，若否则获取到无接触触觉初始图像；获取物体接触的面积、位置、方向；通过连续的视频图像获取接触部分在传感器表面运动状况；
[0011]其中，所述触觉传感器通过单点和多点特征估计物体的接触区域，并通过几何特征的提取和匹配来实现对接触区域的感知，从而获取到与初始图像的差分图；
[0012]利用弹性体材料和表面微凸的构型在成像图像上表现为椭圆形接触区域或者圆形接触区域的特性，通过触觉感知模态椭圆图元提取描述接触区域，并将接触区域统一表达成A(p,a,b,θ)的格式；其中，p(x,y)为触觉传感器图像坐标系下接触椭圆的中心坐标，a
为接触椭圆的半长轴长，b为接触椭圆的半短轴长，θ为接触椭圆的偏转角度，以椭圆的长轴为参考，其值为长轴偏转水平方向的角度，值域为[
‑
π/2,π/2]；当接触区域的形状为圆形时，长轴长与短轴长相等即a＝b，θ为[
‑
π/2,π/2]内任意值。
[0013]进一步的，所述步骤2，具体包括：
[0014]步骤2.1：对差分图进行灰度和形态学处理后使用Canny边缘检测算子对接触区域进行边缘检测提取；
[0015]步骤2.2：使用基于最小二乘法的几何椭圆拟合方式对检测提取到的边缘图像进行拟合。
[0016]进一步的，所述步骤3，具体包括：
[0017]步骤3.1：以当前时刻由抓取检测算法推理出的抓取配置地图G(x,y,z,r
x
,r
y
,r
z
,W)为基准，以抓取中心坐标为原点建立抓取坐标系o
‑
xyz；
[0018]步骤3.2：所述机械臂夹爪的工作表面安装两个面对面的触觉传感器，则对通过触觉传感器获取的两幅接触图像的坐标系重新定义，以右侧传感器成像为基准，以320
×
240成像区域中心为坐标系中心建立右图像坐标系o
‑
xz，左侧传感器成像按照o
‑
xyz坐标系的zox平面为镜像，以图像中心为中心建立左图像坐标系o
‑
xz，左、右图像产生的接触区域分别标记为A1、A2，对应的中心分别为p1(x1,z1)、p2(x2,z2)；其中，p(x,z)的坐标值为触觉图像空间到真实接触表面尺寸的映射值。
[0019]进一步的，所述步骤4，具体包括：
[0020]步骤4.1：将初始状态统一描述成偏差的形式；物体的初始偏差包括初始位置偏差(Δx,Δy,Δz)和初始角度偏差(Δr
x
,Δr
y
,Δr
z
)，其中Δy由相机视野中获得，其大小表示物体偏离抓取坐标系o
‑
xyz的zox平面距离；初始时刻的位姿偏差如下式所示：
[0021][0022]步骤4.2：通过读取触觉图像的视频流，获取接触椭圆的运动特征；
[0023]步骤4.3：对椭圆参数进行滤波，再描述椭圆状态矢量，最终确定物体在滑移期间的位姿变化：
[0024][0025]进一步的，所述步骤5，具体包括：
[0026]步骤5.1：对物体在试抓取过程中发生的初期滑移进行优化调整；
[0027]步骤5.2：对物体在试抓取过程中发生的局部滑移进行优化调整；
[0028]步骤5.3：对物体在试抓取过程中发生的全面滑移进行优化调整。
[0029]进一步的，所述步骤5.1，具体为：按照初期滑移收敛且有界的特点，进行以下优化调整：
[0030](1)期望接触区域的中心位置在传感器的感受范围之内，若在刚接触时接触检测的拟合椭圆中心位于传感器的感受范围之外，则为发生全面滑移，在调整时使接触区域中心沿着靠近传感器感受范围中心方向进行；
[0031](2)对于小幅度的初期滑移运动即拟合椭圆中心位于传感器的感受范围内，只需使末端执行器的位姿沿物体位姿变化的反方向进行调整即可，特别地，由于重力的影响，物体天然具有沿z轴负方向运动的趋势，对于z轴方向上的变动采用缩放处理，采用的缩放因子为0.6，即将抓取配置地图G(x,y,z,r
x
,r
y
,r
z
,W)调整为：
[0032]G
′
(x
‑
dx,y
‑
dy,z
‑
dz
×
0.6,r
x
‑
dr
x
,r
y
‑
dr
y
,r
z
‑
dr
z
,W)。
[0033]进一步的，所述步骤5.2，具体为：对照当前物体的抓取位置地图，在抓取位置地图非零位置上沿当前抓取坐标系的x轴靠近物体重心的方向搜索，根据该区域附近置信度最高点的点重新构建抓取构型，通过空间映射函数变化f获取新的抓取配置，搜索的方向由两个触觉传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于触觉图元滑移特征反馈的机器人再抓取优化方法，其特征在于，包括以下步骤：步骤1，利用设置在机械臂上的光学式触觉传感器获取触觉模态信息，即感知获取到接触区域的触觉图元；步骤2：基于获取的触觉模态信息，进行椭圆参数拟合；步骤3：构建机械臂的试抓取坐标系；步骤4：对物体进行试抓取使物体发生滑移，解算物体的触觉感知滑动矢量，推测物体在滑移期间的位姿变化；步骤5：对物体在试抓取过程中发生的不同剧烈程度的滑移进行对应的优化调整，重构机械臂的再抓取位姿。2.如权利要求1所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法，其特征在于，所述步骤1，具体为：利用基于视觉的触觉传感器通过接触图像的变化，判断机械臂夹爪是否与物体发生接触，若是则获取到传感器接触图像，若否则获取到无接触触觉初始图像；获取物体接触的面积、位置、方向；通过连续的视频图像获取接触部分在传感器表面运动状况；其中，所述触觉传感器通过单点和多点特征估计物体的接触区域，并通过几何特征的提取和匹配来实现对接触区域的感知，从而获取到与初始图像的差分图；利用弹性体材料和表面微凸的构型在成像图像上表现为椭圆形接触区域或者圆形接触区域的特性，通过触觉感知模态椭圆图元提取描述接触区域，并将接触区域统一表达成A(p,a,b,θ)的格式；其中，p(x,y)为触觉传感器图像坐标系下接触椭圆的中心坐标，a为接触椭圆的半长轴长，b为接触椭圆的半短轴长，θ为接触椭圆的偏转角度，以椭圆的长轴为参考，其值为长轴偏转水平方向的角度，值域为[
‑
π/2,π/2]；当接触区域的形状为圆形时，长轴长与短轴长相等即a＝b，θ为[
‑
π/2,π/2]内任意值。3.如权利要求2所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法，其特征在于，所述步骤2，具体包括：步骤2.1：对差分图进行灰度和形态学处理后使用Canny边缘检测算子对接触区域进行边缘检测提取；步骤2.2：使用基于最小二乘法的几何椭圆拟合方式对检测提取到的边缘图像进行拟合。4.如权利要求3所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法，其特征在于，所述步骤3，具体包括：步骤3.1：以当前时刻由抓取检测算法推理出的抓取配置地图G(x,y,z,r
x
,r
y
,r
z
,W)为基准，以抓取中心坐标为原点建立抓取坐标系o
‑
xyz；步骤3.2：所述机械臂夹爪的工作表面安装两个面对面的触觉传感器，则对通过触觉传感器获取的两幅接触图像的坐标系重新定义，以右侧传感器成像为基准，以320
×
240成像区域中心为坐标系中心建立右图像坐标系o
‑
xz，左侧传感器成像按照o
‑
xyz坐标系的zox平面为镜像，以图像中心为中心建立左图像坐标系o
‑
xz，左、右图像产生的接触区域分别标记为A1、A2，对应的中心分别为p1(x1,z1)、p2(x2,z2)；其中，p(x,z)的坐标值为触觉图像空间到真实接触表面尺寸的映射值。
5.如权利要求4所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法，其特征在于，所述步骤4，具体包括：步骤4.1：将初始状态统一描述成偏差的形式；物体的初始偏差包括初始位置偏差(Δ...

【专利技术属性】
技术研发人员：王进，赵阳，唐锋，张海运，陆国栋，
申请(专利权)人：浙江大学，
类型：发明
国别省市：