一种基于内模控制的机器人手眼协调方法技术

本发明专利技术基于内模控制的机器人手眼协调方法，建立了视觉

【技术实现步骤摘要】
一种基于内模控制的机器人手眼协调方法


[0001]本专利技术涉及机器人书法领域,尤其涉及一种基于内模控制的机器人手眼协调方法。

技术介绍

[0002]在机器人身上学习书法被认为是一项复杂的任务，在机器人书法领域，一个主要问题是机器人如何学习书写美学字符或字母，为了解决这个问题，机器人科学家们从各个方面对机器人学习写作进行了研究，目前的研究分为两种类型的训练方法：离线学习和在线学习。
[0003]在离线学习策略中，训练数据集必须提前收集，在模型训练过程中，该数据集不再发生变化，因此，使用离线学习策略模型的目标是尽可能准确地拟合训练数据，由于离线学习策略的这一特点，这些使用离线学习策略的方法在数据集上的拟合能力较强，数据集的质量是影响书法机器人性能的重要因素，特别是在数据集没有足够数据的情况下，这种方法很难达到最优性能，与离线学习策略相比，许多研究者也采用在线学习策略来设计书法机器人，为了使书法机器人能够与人互动，一些研究者利用人机交互策略来训练机器人，这些在线学习方法具有较好的生成能力，然而，在线学习模型的学习时间比离线机器人的学习时间长，很难保证在线学习机器人在学习阶段的稳定工作，此外，这些方法必须利用运动信息来引导机器人，运动信息由人来引导机器人，然而，运动信息的收集也需要大量的人力工作量。
[0004]由此可见，这些方法存在计算成本高、生成结果多样性低等局限性，制约了书法机器人的发展，为了解决这些局限性，本专利技术方法提出了一种基于内模控制的机器人手眼协调方法。

技术实现思路

[0005]本专利技术的技术解决问题是:针对离线学习模型与在线学习模型的不足，提出了一种基于内模控制的机器人手眼协调方法。
[0006]本专利技术的技术解决方案如下：
[0007]一种基于内模控制的机器人手眼协调方法，包括以下步骤：
[0008]步骤1，创建一个视觉
‑
运动网络来模拟模型的直接功能；
[0009]步骤2，开发一个运动
‑
视觉网络来模拟反向模型；
[0010]步骤3，机器人写作系统收集训练数据，然后将所提模型在机器人书写系统上实现；
[0011]步骤4，利用反向传播算法对模型进行训练；
[0012]步骤5，对比验证所提模型的性能。
[0013]优选的，所述步骤1中，创建一个视觉
‑
运动网络来模拟直接模型的功能，具体为：
[0014]步骤1A，根据笔画图像生成笔画动作，视觉
‑
运动网络由两个卷积层、两个池层和
四个完全连接层组成，姿态用三维矢量表示；书写动作由一个三维向量表示，其中i表示动作中的姿势数，因此，视觉
‑
运动网络的输出层有3i个神经元，由于输入图像的大小为28
×
28像素，因此视觉运动网络的输入层有784个神经元，在该方法中，视觉
‑
运动网络除输出层外，其余各层均使用SeLU作为激活函数，由于写入动作是由一组连续值来表示的，因此视觉
‑
运动网络的输出层使用Sigmoid函数作为激活函数；
[0015]步骤1B，使用视觉
‑
运动网络V对图像s到书写动作a的映射关系进行建模，机器人的手眼协调运动能力被定义为f:A
→
S和f
‑1:S
→
A，
[0016]其中,书写动作运动轨迹的图像表示为s∈S，书写动作轨迹的图像表示为:s
j
∈S,机器人的书写动作表示为a＝[g1,g2，
…
，g
i
]，a∈A，动作机器人书写笔画表示为a
x
∈A，机器人的手眼协调定义为g＝f(p)，p∈P和p＝f
‑1(g)，g∈G，机器人手臂姿态表示为g＝[j1,j2，
…
，j
i
]，g∈G，
[0017]其中，机器人视觉系统捕捉到的机器人手臂姿态图像表示为p∈P，j
i
为机器人手臂第i个关节的角度值，g为机械臂姿态；i表示写入动作的长度。
[0018]优选的，所述步骤2中,开发一个运动
‑
视觉网络来模拟反向模型，是书写动作到图像映射关系的模型，用于辅助视觉
‑
运动网络的训练，具体步骤为：
[0019]步骤2A，构建运动
‑
视觉网络，运动
‑
视觉网络由三个完全连接层和两个转置卷积层组成，运动
‑
视觉网络的输入层和输出层分别包含3i和784个神经元，与视觉
‑
运动网络完全相反，但是，与视觉
‑
运动网络类似的是，运动
‑
视觉网络的输出层使用Sigmoid函数作为其激活函数，其余网络层使用SeLU作为其激活函数，运动
‑
视觉网络根据输入动作生成图像M(a)之后，使用M(a)与视觉
‑
运动网络输入之间的误差s来训练视觉
‑
运动网络；
[0020]步骤2B，运动
‑
视觉网络训练完成后，用运动
‑
视觉网络指导视觉
‑
运动网络的训练，将视觉
‑
运动网络的输出动作a作为运动
‑
视觉网络的输入，同时对视觉
‑
运动网络进行训练，由于每个写入动作只对应一个图像，因此动作到图像的映射关系比图像到动作的映射关系更简单，并且运动
‑
视觉网络直接基于图像s与生成图像之间的重建误差进行训练；
[0021]步骤2C，由于运动
‑
视觉网络的输出是一幅图像，所以使用交叉熵函数作为运动
‑
视觉网络的损失函数，定义为:
[0022][0023]步骤2D，视觉
‑
运动网络的训练依赖于运动
‑
视觉网络的指导，因此，视觉
‑
运动网络的损失函数定义如下:
[0024][0025]其中M(
·
)代表运动
‑
视觉网络；表示视觉
‑
运动网络产生的写入动作，视觉
‑
运动网络用L
v
来训练，L
v
表示s与的重构图像之间的误差。
[0026]优选的，所述步骤3中机器人写作系统收集训练数据，然后将所提模型在机器人书写系统上实现该方法包括以下步骤：
[0027]步骤3A，首先生成一个随机动作；
[0028]步骤3B，通过逆运动学方程将该随机动作转换为机器人的关节值；
[0029]步骤3C，机器人根据这些关节值的变化信息控制笔在板子上写字；
[0030]步骤3D，摄像头捕捉机器人的书写结果，并将其转换为标准图像，将捕获的图像作
为随机动作的标签，与该动作一起构成训练样本，在该模型中，机器人的动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于内模控制的机器人手眼协调方法，其特征在于，包括以下步骤：步骤1，创建一个视觉
‑
运动网络来模拟模型的直接功能；步骤2，开发一个运动
‑
视觉网络来模拟反向模型；步骤3，机器人写作系统收集训练数据，然后将所提模型在机器人书写系统上实现；步骤4，利用反向传播算法对模型进行训练；步骤5，对比验证所提模型的性能。2.基于内模控制的机器人手眼协调方法，其特征在于：所述步骤1中，创建一个视觉
‑
运动网络来模拟直接模型的功能，具体为：步骤1A，根据笔画图像生成笔画动作，视觉
‑
运动网络由两个卷积层、两个池层和四个完全连接层组成，姿态用三维矢量表示；书写动作由一个三维向量表示，其中i表示动作中的姿势数，因此，视觉
‑
运动网络的输出层有3i个神经元，由于输入图像的大小为28
×
28像素，因此视觉运动网络的输入层有784个神经元，在该方法中，视觉
‑
运动网络除输出层外，其余各层均使用SeLU作为激活函数，由于写入动作是由一组连续值来表示的，因此视觉
‑
运动网络的输出层使用Sigmoid函数作为激活函数；步骤1B，使用视觉
‑
运动网络V对图像s到书写动作a的映射关系进行建模，机器人的手眼协调运动能力被定义为f:A
→
S和f
‑1:S
→
A，其中,书写动作运动轨迹的图像表示为s∈S，书写动作轨迹的图像表示为:s
j
∈S,机器人的书写动作表示为a＝[g1,g2，
…
，g
i
]，a∈A，动作机器人书写笔画表示为a
x
∈A，机器人的手眼协调定义为g＝f(p)，p∈P和p＝f
‑1(g)，g∈G，机器人手臂姿态表示为g＝[j1,j2，
…
，j
i
]，g∈G，其中，机器人视觉系统捕捉到的机器人手臂姿态图像表示为p∈P，j
i
为机器人手臂第i个关节的角度值，g为机械臂姿态；i表示写入动作的长度。3.基于内模控制的机器人手眼协调方法，其特征在于：所述步骤2中,开发一个运动
‑
视觉网络来模拟反向模型，是书写动作到图像映射关系的模型，用于辅助视觉
‑
运动网络的训练，具体步骤为：步骤2A，构建运动
‑
视觉网络，运动
‑
视觉网络由三个完全连接层和两个转置卷积层组成，运动
‑
视觉网络的输入层和输出层分别包含3i和784个神经元，与视觉
‑
运动网络完全相反，但是，与视觉
‑
运动网络类似的是，运动
‑
视觉网络的输出层使用Sigmoid函数作为其激活函数，其余网络层使用SeLU作为其激活函数，运动
‑
视觉网络根据输入动作生成图像M(a)之后，使用M(a)与视觉
‑
运动网络输入之间的误差s来训练视觉
‑
运动网络；步骤2B，运动
‑
视觉网络训练完成后，用运动
‑
视觉网络指导视觉
‑

【专利技术属性】
技术研发人员：吴瑞琪，苏慧清，胡波，樊超，刘刚，张自豪，母亚双，晁飞，郭孟佳，丁钰琳，
申请(专利权)人：河南工业大学，
类型：发明
国别省市：