基于视、触觉融合的机器人精密装配控制方法及系统技术方案

本发明专利技术涉及基于机器人的装配控制方法及系统，提供多个神经网络模型，所述多个神经网络模型至少包括强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据。同时公开了一种基于机器人的装配控制系统，其包括：在机器人移动部分末端设置的夹持执行器及与机器人配套的视觉设备，所述夹持执行器的夹持内侧从内到外依次设置触觉传感器及软胶垫。本发明专利技术的系统利用触觉信号的变化来间接得到其他维度的外力信息，并将其与视觉信息相融合，表征向量能够用于生成合适的机器人动作指令，以及灵活调整插装力以完成装配。以及灵活调整插装力以完成装配。以及灵活调整插装力以完成装配。

【技术实现步骤摘要】
基于视、触觉融合的机器人精密装配控制方法及系统


[0001]本专利技术一般涉及基于机器人的装配控制方法及系统，尤其涉及基于视、触觉融合的机器人精密装配控制方法及系统。本专利技术属于机器人


技术介绍

[0002]在消费电子产品的批量化生产线中，尽管大多数对精度要求不高的装配任务已经由工业机器人实现全自动化，但仍有很多精密装配和柔顺装配工作需要工人手动完成。因此，对于工业机器人实现高精度、高速度、高柔顺度、高成功率的装配任务的研究一直受到广泛关注且具有较大的技术挑战。

技术实现思路

[0003]本专利技术提供基于机器人的装配控制方法及系统，旨在至少解决现有技术中存在的技术问题之一。
[0004]本专利技术的技术方案基于的机器人末端的夹持执行器上设有触觉传感器，并且所述夹持执行器的装配区域被视觉设备拍摄。
[0005]本专利技术的技术方案一方面涉及一种基于机器人的装配控制方法，包括以下步骤：
[0006]S10、提供多个神经网络模型，所述多个神经网络模型至少包括强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据；
[0007]S20、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的视觉数据及触觉数据，并且执行压缩和/或滤波处理，以转换成相应的视觉数据表征向量和触觉数据表征向量；
[0008]S30、将所述视觉数据表征向量和所述触觉数据表征向量拼接融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
[0009]S40、将所述视觉数据表征向量和所述触觉数据表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否运到装配阻尼节点；
[0010]S50、根据所述机器人的预测的动作控制数据以及所述夹持执行器是否运到装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度；
[0011]其中，所述视觉数据包括RGB图像数据和深度图像数据。
[0012]进一步，所述步骤S10包括，
[0013]S11、读取机器人末端的实时六维笛卡尔空间位姿，并输入强化学习网络模型对其进行训练，同时采集装配区域在每个装配动作步的RGB图片、深度图片和触觉数据；
[0014]S12、当夹持执行器与装配终点的距离越近时、或夹持执行器插入装配零件中的深度越深时，所述强化学习网络模型的奖励函数相应增加。
[0015]进一步，所述步骤S20包括：
[0016]S21、所述触觉数据通过卡尔曼滤波器进行滤波，并使用光流法得到机器人沿装配动作方向的触觉流数据。
[0017]进一步，所述步骤S20还包括：
[0018]S22、将采集的RGB图像数据转换成灰度图，然后对于所述夹持执行器每个装配动作步中最后一个路点，将所述RGB图像数据通过RGB图片编码器压缩输出RGB表征向量，然后所述RGB表征向量通过RGB图片解码器裁剪输出128像素
×
128像素已处理的灰度图；
[0019]S23、将采集的深度图像数据转换成灰度图，然后对于所述夹持执行器每个装配动作步中最后一个路点，将所述深度图像数据通过深度图片编码器压缩输出深度表征向量，然后所述深度表征向量通过深度图片解码器裁剪输出128像素
×
128像素已处理的深度图片。
[0020]进一步，所述步骤S20还包括：
[0021]S24、提供变分自编码器，分别多次输入已处理的灰度图、已处理的深度图片到所述变分自编码器进行训练，分别输出RGB表征向量的维度为16
×
1、输出深度表征向量的维度为16
×
1。
[0022]进一步，所述步骤S21还包括：所述触觉流数据通过高斯卷积降维的维度为9个触觉检测点
×
1个触觉检测点得到处理后的触觉数据。
[0023]进一步，所述机器人的活动关节的扭矩通过以下雅可比矩阵求解：
[0024][0025]其中，K
p
，K
v
，K
Fp
和K
Fi
是控制参数，S为判别矩阵。
[0026]进一步，所述机器人控制器通过比例微分控制算法实施位置控制；所述机器人控制器通过比例积分控制算法实施力控制。
[0027]本专利技术的技术方案还涉及一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施上述的方法。
[0028]本专利技术的技术方案还涉及一种基于机器人的装配控制系统，其包括：在机器人移动部分末端设置的夹持执行器，所述夹持执行器的夹持内侧从内到外依次设置触觉传感器及软胶垫；与机器人配套的视觉设备，所述视觉设备用于收集装配配件及其周边的视觉数据；计算机装置，所述计算机装置包括所述的计算机可读存储介质。
[0029]本专利技术的有益效果如下。
[0030]1、本专利技术利用触觉信号的变化来间接得到其他维度的外力信息，并将其与视觉信息相融合，得到多模态表征。这一表征向量能够用于生成合适的机器人动作指令，也用于预判装配件是否到达阻尼点，从而灵活调整插装力以完成装配。
[0031]2、本专利技术使用多个神经网络模型，使装配作业的视觉数据及触觉数据具有强化学习的效果，显著提高小型部件的精密装配的成功率和准确度。
附图说明
[0032]图1是根据本专利技术方法的流程框架图。
[0033]图2是根据本专利技术方法中的机器人运动控制部分的细节框图。
[0034]图3是根据本专利技术实施例中的夹持执行器的布置示意图。
[0035]图4是根据本专利技术实施例中的机器人和装配控制系统的硬件平台。
[0036]图5及图6是根据本专利技术方法中的强化学习结果的曲线示意图。
具体实施方式
[0037]以下将结合实施例和附图对本专利技术的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本专利技术的目的、方案和效果。
[0038]需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，除非另有定义，本文所使用的所有的技术和科学术语与本
的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本专利技术。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
[0039]本专利技术的技术方案是基于机器人的基础硬件来实施，例如在现有的机器人上附加配置硬件和软件来实施。参照图3和图4，在一些实施例中，根据本专利技术的装配系统包括：在机器人移动部分末端设置的夹持执行器1；设置在所述夹持执行器1的夹爪内侧的触本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器人的装配控制方法，其中，在所述机器人末端的夹持执行器上设有触觉传感器，并且所述夹持执行器的装配区域被视觉设备拍摄，其特征在于，所述方法包括以下步骤：S10、提供多个神经网络模型，所述多个神经网络模型至少包括强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据；S20、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的视觉数据及触觉数据，并且执行压缩和/或滤波处理，以转换成相应的视觉数据表征向量和触觉数据表征向量；S30、将所述视觉数据表征向量和所述触觉数据表征向量拼接融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；S40、将所述视觉数据表征向量和所述触觉数据表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否运到装配阻尼节点；S50、根据所述机器人的预测的动作控制数据以及所述夹持执行器是否运到装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度；其中，所述视觉数据包括RGB图像数据和深度图像数据。2.根据权利要求1所述的方法，其中，所述步骤S10包括，S11、读取机器人末端的实时六维笛卡尔空间位姿，并输入强化学习网络模型对其进行训练，同时采集装配区域在每个装配动作步的RGB图片、深度图片和触觉数据；S12、当夹持执行器与装配终点的距离越近时、或夹持执行器插入装配零件中的深度越深时，所述强化学习网络模型的奖励函数相应增加。3.根据权利要求1所述的方法，其中，所述步骤S20包括：S21、所述触觉数据通过卡尔曼滤波器进行滤波，并使用光流法得到机器人沿装配动作方向的触觉流数据。4.根据权利要求1所述的方法，其中，所述步骤S20还包括：S22、将采集的RGB图像数据转换成灰度图，然后对于所述夹持执行器每个装配动作步中最后一个路点，将所述RGB图像数据通...

【专利技术属性】
技术研发人员：楼云江，杨先声，刘瑞凯，黎阿建，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：