一种基于微视觉的触觉三维力检测方法技术

本发明专利技术涉及一种基于微视觉的触觉三维力检测方法，属于机器人灵巧手执行末端的智能感知技术领域。本发明专利技术方法基于自主设计的触觉传感器上，设计验证的三维力检测技术方法，并在抓取过程中取得良好效果，属于机器人感知技术领域。当传感器与物体的直接接触时，弹性体会受力产生形变，标记点相应的会发生位移，由图像采集摄像头捕捉标记点位移前后的图像信息。通过施加力前后的图像信息的对比，计算标记点的偏移信息，再利用神经网络训练预测，得到回归出三维力预测矢量。本发明专利技术的基于微视觉的触觉三维力检测方法，能够检测得到灵巧手抓取过程中的触觉、滑觉等三维力信息，能应用于机器人灵巧手的触觉感知领域。

【技术实现步骤摘要】

本专利技术涉及一种基于微视觉的触觉三维力检测方法，属于机器人灵巧手执行末端的智能感知

技术介绍
机器人灵巧手需要能够执行各种抓取、移动、捏抱或固定物体等操作,在操作过程中须通过灵巧手的触觉反馈实现对操作力量的精确控制，避免对被操作物体造成破坏，从而实现灵巧手的精细操作。常见的触觉检测方法大多是基于压阻式，电容式，光电式等传感器，这些传感器采集的物理量只能检测触觉接触区域内的垂直方向力，不能检测切向力，在机器人灵巧手执行抓取等操作时滑觉检测具有很大的局限性。
技术实现思路
本专利技术的目的是提出一种基于微视觉的触觉三维力检测方法，通过采集触觉接触区域内弹性体的形变图像的变化，采用一系列图像处理方法，并且使用神经网络拟合的技巧，定性并且定量的刻画物理世界中的触觉、滑觉等。1、一种基于微视觉的触觉三维力检测方法，其特征在于该方法包括以下步骤：(1)在初始静态采集触觉检测区域带标记点弹性体的形变图像，对形变图像依次进行灰度化处理和二值化处理，得到形变图像的二值化图像，二值化图像中的像素点取值为0或1，0代表白点，1代表黑点，并记二值化图像为X；(2)设定一个结构元素为5x5的矩阵单元Y，矩阵单元Y的取值均为0，将矩阵单元Y的中心点与上述二值化图像X上的像素点a重叠，若二值化图像X与矩阵单元Y的重叠部分的所有像素点均为0，则使二值化图像X上的像素点a的取值为0，若二值化图像X与矩阵单元Y的重叠部分的像素点不全为0，则使二值化图像X上的像素点a的取值为1；遍历二值化图像X上的所有像素点，依次进行上述操作，得到二值化图像X的腐蚀图像E(X)，用公式可以描述为： E ( X ) = { a | Y a ⋐ X , a ⋐ X本文档来自技高网...

【技术保护点】
一种基于微视觉的触觉三维力检测方法，其特征在于该方法包括以下步骤：(1)在初始静态采集触觉检测区域带标记点弹性体的形变图像，对形变图像依次进行灰度化处理和二值化处理，得到形变图像的二值化图像，二值化图像中的像素点取值为0或1，0代表白点，1代表黑点，并记二值化图像为X；(2)设定一个结构元素为5x5的矩阵单元Y，矩阵单元Y的取值均为0，将矩阵单元Y的中心点与上述二值化图像X上的像素点a重叠，若二值化图像X与矩阵单元Y的重叠部分的所有像素点均为0，则使二值化图像X上的像素点a的取值为0，若二值化图像X与矩阵单元Y的重叠部分的像素点不全为0，则使二值化图像X上的像素点a的取值为1；遍历二值化图像X上的所有像素点，依次进行上述操作，得到二值化图像X的腐蚀图像E(X)，用公式可以描述为：E(X)={a|Ya⋐X,a⋐X};]]>(3)将上述步骤(2)的矩阵单元Y的中心点与上述腐蚀图像E(X)上的像素点b重叠，若腐蚀图像E(X)与矩阵单元Y的重叠部分中所有像素点均为1，则使腐蚀图像E(X)上的像素点b的取值为1，若腐蚀图像E(X)与矩阵单元Y的重叠部分的像素点不全为1，则使腐蚀图像E(X)上的像素点b的取值为0；遍历腐蚀图像E(X)上的所有像素点，依次进行上述操作，得到腐蚀图像E(X)的膨胀图像D(X),记该膨胀图像D(X)为基准帧：D(X)={b|Yb↑E(X),b⋐E(X)};]]>(4)上述膨胀图像D(X)中每个触觉检测区域标记点形成一个圆边界，对圆边界进行霍夫圆检测，在圆边界上作垂线，多条垂线的相交处为一个亮点，该亮点为标记点的中心坐标,记做aij，aij＝(x0ij,y0ij)，其中x0ij为标记点中心坐标的横坐标，y0ij为标记点中心坐标的横坐标；(5)按照上述步骤(4)的霍夫圆检测方法，对上述步骤(3)得到的基准帧进行处理，分别得到16个标记点的坐标，16个标记点的坐标构成矩阵A，A=a11a12a13a14a21a22a23a24a31a32a33a34a41a42a43a44,]]>其中，aij＝(x0ij,y0ij)表示基准帧中第i行第j列个标记点的横纵坐标为x0ij,y0ij；(6)对触觉检测区域带标记点弹性体施加一个外力F，在外力作用下采集触觉检测区域带标记点弹性体的形变图像，重复上述步骤(1)‑步骤(3)，得到一个膨胀图像，将该膨胀图像记为动态帧；利用上述步骤(4)的霍夫圆检测方法，对动态帧进行处理，分别得到16个标记点的坐标，16个标记点的坐标构成矩阵B，B=b11b12b13b14b21b22b23b24b31b32b33b34b41b42b43b44,]]>F=fxfyfz]]>其中，bij＝(x1ij,y1ij)表示在受到外力F时，第i行第j列个标记点的横纵坐标分别为x1ij,y1ij，fx,fy,fz为外力F通过三维力传感器测量得到的三轴方向作用力；(7)对上述步骤(5)得到的矩阵A和步骤(6)得到的矩阵B进行作差运算，分别得到触觉检测区域带标记点弹性体上每个标记点的坐标在受到外力F时，坐标由(x0ij,y0ij)到(x1ij,y1ij)的偏移量(Δxij,Δyij)，(Δxij,Δyij)＝(x1ij‑x0ij,y1ij‑y0ij)，根据偏移量(Δxij,Δyij)得到外力F的特征向量X：X＝(Δx11,Δy11,Δx21,Δy21,…,Δx44,Δy44)T；上述特征向量X和外力的转置F＝(fx,fy,fz)T构成一个训练样本集；(8)设计一个三层神经网络，三层神经网络中的输入层到隐含层的映射关系式为：hIi=Σk=132(xkwki1)-bhihoi=f(hIi)=11+e-a*hIi,i=(1,2,...,11),]]>其中(x1,x2,...,x32)为上述特征向量X，为三层神经网络输入层中第k个神经元与三层神经网络隐含层第i个神经元之间的连接权重，连接权重的取值范围为[‑1.5,1.5]，bhi为隐含层中第i个神经元的输入偏置，输入偏置的初始值为0，f(hIi)为S型激活函数，a的取值为上述训练样本集的随机采样得到的样本计算得到，hIi，hoi分别为三层神经网络中隐含层的输入和输出；三层神经网络中的隐含层到输出层的映射关系式为：f^x=f(Σi=111hoiwix2-bx)]]>f^y=f(Σi=111hoiwiy2-by)]]>f^z=f(Σi=111hoiwiz2-bz)]]>其中，分别为上述步骤(6)中外力F的预测值，f(.)为S型激活函数，代表神经网络隐含层中第i个神经元到神经网络输出层神经元x之间的连接权值，连接权值的取值范围为[‑1.5,1.5]，bx为输出层神经元x的输入...

【技术特征摘要】
1.一种基于微视觉的触觉三维力检测方法，其特征在于该方法包括以下步骤：(1)在初始静态采集触觉检测区域带标记点弹性体的形变图像，对形变图像依次进行灰度化处理和二值化处理，得到形变图像的二值化图像，二值化图像中的像素点取值为0或1，0代表白点，1代表黑点，并记二值化图像为X；(2)设定一个结构元素为5x5的矩阵单元Y，矩阵单元Y的取值均为0，将矩阵单元Y的中心点与上述二值化图像X上的像素点a重叠，若二值化图像X与矩阵单元Y的重叠部分的所有像素点均为0，...

【专利技术属性】
技术研发人员：孙富春，杨超，方斌，刘华平，张春，郭峰，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11