一种基于视觉的工业机器人装配的模仿学习系统及方法技术方案

本发明专利技术涉及一种基于视觉的工业机器人装配的模仿学习系统，包括目标检测与定位模块、装配动作分类识别模块、文本分类语料库模块、ROS控制模块以及机器人执行模块；采集操作者对目标物体进行装配的图像数据；目标检测与定位模块用于识别图像数据中的目标物体的物体类别和位置信息；所述装配动作分类识别模块用于识别图像数据中的装配动作类别；所述文本分类语料库模块用于根据物体类别和装配动作类别匹配装配动作分类语句，并转换为对应的编程语言；所述ROS控制模块用于上述数据编写机器人控制程序，并建立虚拟环境，运行机器人控制程序并进行测试和调参；所述机器人控制器通过机器人执行模块执行机器人控制程序，控制工业机器人动作。机器人动作。机器人动作。

【技术实现步骤摘要】
一种基于视觉的工业机器人装配的模仿学习系统及方法


[0001]本专利技术涉及一种基于视觉的工业机器人装配的模仿学习系统，属于工业机器人控制、智能制造


技术介绍

[0002]随着人工智能的不断发展，近些年机器人学逐步成为人工智能领域的热点之一。目前在机器人的领域中，尤其是工业机器人，由于传统的工业机器人编程周期较长，在多品种、小批量、定制化产品制造中，企业需要根据不同的产品，频繁改变机器人控制程序，影响了编程效率。而基于模仿学习的机器人编程技术，通过观察人类使用工具的视频，从中学习相关的技能，如完成轴孔装配等动作。在机器人的智能性方面带来了巨大提升，大大提高了人机交互性。
[0003]对于工业机器人模仿学习，一般分为三个过程，示教阶段、学习阶段和再现阶段，目前已经出现了多种模仿学习的方法，大致分为三种方法，一是基于监督学习的方法，二是基于强化学习的方法，三是基于生成对抗网络的方法。虽然这些方法可以得到一个最优的控制策略，但是由于示教样本少、示教样本采集复杂，进而造成控制策略稳定性差、泛化能力差的局面，给机器人模仿学习的应用和局面带来了困难；且由于工业机器人在实际物理世界中所展现的性能与仿真环境中相差较大，尤其是涉及到运动控制，要想把实际的控制算法落地，从仿真到实际还要做大量的修改与调参工作，时间成本比较高。

技术实现思路

[0004]为了解决上述现有技术中存在的问题，本专利技术提出了一种基于视觉的工业机器人装配的模仿学习系统及方法，根据目标物体的物体类别以及图像数据中的装配动作类别，匹配文本分类语料库中的装配动作分类语句，以编写机器人控制程序并在虚拟环境中进行观察和调参，增加模仿学习的泛化性和鲁棒性，并大大减少了真实环境调试的时间和成本、高安全性地验证模仿实验的可行性。
[0005]本专利技术的技术方案如下：
[0006]一种基于视觉的工业机器人装配的模仿学习系统，包括深度相机、计算机、机器人控制器以及工业机器人，所述计算机中包括目标检测与定位模块、装配动作分类识别模块、文本分类语料库模块以及ROS控制模块，所述机器人控制器中包括机器人执行模块；所述深度相机与计算机通信连接，所述计算机与所述机器人控制器通信连接，所述机器人控制器与工业机器人通信连接；
[0007]所述深度相机用于采集操作者对目标物体进行装配的图像数据并传输至所述计算机；所述目标检测与定位模块用于识别图像数据中的目标物体的物体类别和位置信息；所述装配动作分类识别模块用于识别图像数据中的装配动作类别；所述文本分类语料库模块用于根据物体类别和装配动作类别匹配装配动作分类语句，并将所述装配动作分类语句转换为对应的编程语言；所述ROS控制模块用于根据所述目标物体的位置信息以及所述装
配动作分类语句对应的编程语言编写机器人控制程序，并建立虚拟环境，在虚拟环境中运行机器人控制程序并进行测试和调参，将调整后的机器人控制程序发送至机器人执行模块；所述机器人控制器通过机器人执行模块执行机器人控制程序，控制工业机器人动作。
[0008]作为优选实施方式，所述目标检测与定位模块包括目标框选与语义分割单元以及目标定位单元；
[0009]所述目标框选与语义分割单元包括预训练的目标检测网络模型，用于框选目标物体，生成目标物体的像素掩码，并获得目标物体的物体类别；
[0010]所述目标定位单元用于提取和标注目标物体的像素掩码的中心点坐标，并根据目标物体坐标系与机器人基坐标系之间的矩阵转换关系，计算目标物体的中心点在机器人基坐标系中的坐标。
[0011]作为优选实施方式，所述装配动作分类识别模块包括预训练的动作识别网络模型；
[0012]通过所述动作识别网络模型识别操作者对目标物体进行装配的图像数据中的每一帧图像，并输出为对应的动作分类标签；
[0013]装配动作分类识别模块输出装配动作类别为各动作分类标签整合成的词向量C＝{c1,c2,
…
cn}。
[0014]作为优选实施方式，所述文本分类语料库模块包括装配动作分类语句库、匹配单元和转换单元；
[0015]所述装配动作分类语句库包括若干装配动作分类语句，所述装配动作分类语句用来描述对目标物体进行装配的分类；
[0016]所述匹配单元用于根据物体类别以及装配动作类别匹配最相关的装配动作分类语句；
[0017]所述转换单元用于将装配动作分类语句转换为编程语言并输入至ROS控制模块。
[0018]另一方面，本专利技术提供一种基于视觉的工业机器人装配的模仿学习方法，包括以下步骤：
[0019]采集原始数据集，通过原始数据集训练用于识别目标物体的目标检测网络模型以及动作识别网络模型；
[0020]建立文本分类语料库，输入若干用于描述对目标物体进行装配的装配动作分类语句；
[0021]通过深度相机采集操作者对目标物体进行装配的图像数据；
[0022]通过目标检测网络模型识别图像数据中目标物体的物体类别，并获取目标物体的位置信息；
[0023]通过动作识别网络模型识别图像数据中操作者的装配动作类别；
[0024]根据所述目标物体的物体类别以及装配动作类别在文本分类语料库匹配装配动作分类语句，并将匹配到的装配动作分类语句转换为编程语言；
[0025]基于ROS系统，根据目标物体的位置信息以及装配动作分类语句对应的编程语言编写机器人控制程序；并建立虚拟环境，虚拟环境中运行机器人控制程序并进行测试和调参；
[0026]将调参后的机器人控制程序发送至工业机器人的控制器中。
[0027]作为优选实施方式，所述采集原始数据集，通过原始数据集训练用于识别目标物体的目标检测网络模型以及动作识别网络模型的步骤具体为：
[0028]建立目标检测网络模型；
[0029]收集若干装配产品的彩色图片，并标注各彩色图片中装配产品的定位框和类别，生成目标检测样本集；
[0030]通过目标检测样本集对目标检测网络模型进行训练；
[0031]建立动作识别网络模型；
[0032]收集操作者对装配产品进行装配的演示视频；
[0033]提取演示视频的每一帧图像的图像特征，并标注对应的装配动作分类标签，生成动作识别样本集；
[0034]通过动作识别样本集对动作识别网络模型进行训练。
[0035]作为优选实施方式，所述通过目标检测网络模型识别图像数据中目标物体的物体类别，并获取目标物体的位置信息的步骤具体为：
[0036]通过目标检测网络模型框选目标物体，生成目标物体的像素掩码并获取目标物体的物体类别；
[0037]提取和标注目标物体的像素掩码的中心点坐标，并根据目标物体坐标系与机器人基坐标系之间的矩阵转换关系，计算目标物体的中心点在机器人基坐标系中的坐标。
[0038]作为优选实施方式，所述通过动作识别网络模型识别图像数据中操作者的装配动作类别的步骤具体为：
[0039]利用特征提取网络提取图像数据中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的工业机器人装配的模仿学习系统，其特征在于：包括深度相机(10)、计算机(20)、机器人控制器(30)以及工业机器人(40)，所述计算机(20)中包括目标检测与定位模块、装配动作分类识别模块、文本分类语料库模块以及ROS控制模块，所述机器人控制器(30)中包括机器人执行模块；所述深度相机(10)与计算机(20)通信连接，所述计算机(20)与所述机器人控制器(30)通信连接，所述机器人控制器(30)与工业机器人(40)通信连接；所述深度相机(10)用于采集操作者(70)对目标物体进行装配的图像数据并传输至所述计算机(20)；所述目标检测与定位模块用于识别图像数据中的目标物体的物体类别和位置信息；所述装配动作分类识别模块用于识别图像数据中的装配动作类别；所述文本分类语料库模块用于根据物体类别和装配动作类别匹配装配动作分类语句，并将所述装配动作分类语句转换为对应的编程语言；所述ROS控制模块用于根据所述目标物体的位置信息以及所述装配动作分类语句对应的编程语言编写机器人控制程序，并建立虚拟环境，在虚拟环境中运行机器人控制程序并进行测试和调参，将调整后的机器人控制程序发送至机器人执行模块；所述机器人控制器(30)通过机器人执行模块执行机器人控制程序，控制工业机器人(40)动作。2.根据权利要求1所述的一种基于视觉的工业机器人装配的模仿学习系统，其特征在于：所述目标检测与定位模块包括目标框选与语义分割单元以及目标定位单元；所述目标框选与语义分割单元包括预训练的目标检测网络模型，用于框选目标物体，生成目标物体的像素掩码，并获得目标物体的物体类别；所述目标定位单元用于提取和标注目标物体的像素掩码的中心点坐标，并根据目标物体坐标系与机器人基坐标系之间的矩阵转换关系，计算目标物体的中心点在机器人基坐标系中的坐标。3.根据权利要求1所述的一种基于视觉的工业机器人装配的模仿学习系统，其特征在于：所述装配动作分类识别模块包括预训练的动作识别网络模型；通过所述动作识别网络模型识别操作者(70)对目标物体进行装配的图像数据中的每一帧图像，并输出为对应的动作分类标签；装配动作分类识别模块输出装配动作类别为各动作分类标签整合成的词向量C＝{c1,c2,
…
cn}。4.根据权利要求1所述的一种基于视觉的工业机器人装配的模仿学习系统，其特征在于：所述文本分类语料库模块包括装配动作分类语句库、匹配单元和转换单元；所述装配动作分类语句库包括若干装配动作分类语句，所述装配动作分类语句用来描述对目标物体进行装配的分类；所述匹配单元用于根据物体类别以及装配动作类别匹配最相关的装配动作分类语句；所述转换单元用于将装配动作分类语句转换为编程语言并输入至ROS控制模块。5.一种基于视觉的工业机器人装配的模仿学习方法，其特征在于，包括以下步骤：采集原始数据集，通过原始数据集训练用于识别目标...

【专利技术属性】
技术研发人员：陈成军，邹剑，张浩，张超，
申请(专利权)人：烟台朗文汽车零部件有限公司，
类型：发明
国别省市：