【技术实现步骤摘要】
一种基于视觉的工业机器人装配的模仿学习系统及方法
[0001]本专利技术涉及一种基于视觉的工业机器人装配的模仿学习系统,属于工业机器人控制、智能制造
技术介绍
[0002]随着人工智能的不断发展,近些年机器人学逐步成为人工智能领域的热点之一。目前在机器人的领域中,尤其是工业机器人,由于传统的工业机器人编程周期较长,在多品种、小批量、定制化产品制造中,企业需要根据不同的产品,频繁改变机器人控制程序,影响了编程效率。而基于模仿学习的机器人编程技术,通过观察人类使用工具的视频,从中学习相关的技能,如完成轴孔装配等动作。在机器人的智能性方面带来了巨大提升,大大提高了人机交互性。
[0003]对于工业机器人模仿学习,一般分为三个过程,示教阶段、学习阶段和再现阶段,目前已经出现了多种模仿学习的方法,大致分为三种方法,一是基于监督学习的方法,二是基于强化学习的方法,三是基于生成对抗网络的方法。虽然这些方法可以得到一个最优的控制策略,但是由于示教样本少、示教样本采集复杂,进而造成控制策略稳定性差、泛化能力差的局面,给机器人模仿学习的应用和局面带来了困难;且由于工业机器人在实际物理世界中所展现的性能与仿真环境中相差较大,尤其是涉及到运动控制,要想把实际的控制算法落地,从仿真到实际还要做大量的修改与调参工作,时间成本比较高。
技术实现思路
[0004]为了解决上述现有技术中存在的问题,本专利技术提出了一种基于视觉的工业机器人装配的模仿学习系统及方法,根据目标物体的物体类别以及图像数据中的装配动作类别,匹 ...
【技术保护点】
【技术特征摘要】
1.一种基于视觉的工业机器人装配的模仿学习系统,其特征在于:包括深度相机(10)、计算机(20)、机器人控制器(30)以及工业机器人(40),所述计算机(20)中包括目标检测与定位模块、装配动作分类识别模块、文本分类语料库模块以及ROS控制模块,所述机器人控制器(30)中包括机器人执行模块;所述深度相机(10)与计算机(20)通信连接,所述计算机(20)与所述机器人控制器(30)通信连接,所述机器人控制器(30)与工业机器人(40)通信连接;所述深度相机(10)用于采集操作者(70)对目标物体进行装配的图像数据并传输至所述计算机(20);所述目标检测与定位模块用于识别图像数据中的目标物体的物体类别和位置信息;所述装配动作分类识别模块用于识别图像数据中的装配动作类别;所述文本分类语料库模块用于根据物体类别和装配动作类别匹配装配动作分类语句,并将所述装配动作分类语句转换为对应的编程语言;所述ROS控制模块用于根据所述目标物体的位置信息以及所述装配动作分类语句对应的编程语言编写机器人控制程序,并建立虚拟环境,在虚拟环境中运行机器人控制程序并进行测试和调参,将调整后的机器人控制程序发送至机器人执行模块;所述机器人控制器(30)通过机器人执行模块执行机器人控制程序,控制工业机器人(40)动作。2.根据权利要求1所述的一种基于视觉的工业机器人装配的模仿学习系统,其特征在于:所述目标检测与定位模块包括目标框选与语义分割单元以及目标定位单元;所述目标框选与语义分割单元包括预训练的目标检测网络模型,用于框选目标物体,生成目标物体的像素掩码,并获得目标物体的物体类别;所述目标定位单元用于提取和标注目标物体的像素掩码的中心点坐标,并根据目标物体坐标系与机器人基坐标系之间的矩阵转换关系,计算目标物体的中心点在机器人基坐标系中的坐标。3.根据权利要求1所述的一种基于视觉的工业机器人装配的模仿学习系统,其特征在于:所述装配动作分类识别模块包括预训练的动作识别网络模型;通过所述动作识别网络模型识别操作者(70)对目标物体进行装配的图像数据中的每一帧图像,并输出为对应的动作分类标签;装配动作分类识别模块输出装配动作类别为各动作分类标签整合成的词向量C={c1,c2,
…
cn}。4.根据权利要求1所述的一种基于视觉的工业机器人装配的模仿学习系统,其特征在于:所述文本分类语料库模块包括装配动作分类语句库、匹配单元和转换单元;所述装配动作分类语句库包括若干装配动作分类语句,所述装配动作分类语句用来描述对目标物体进行装配的分类;所述匹配单元用于根据物体类别以及装配动作类别匹配最相关的装配动作分类语句;所述转换单元用于将装配动作分类语句转换为编程语言并输入至ROS控制模块。5.一种基于视觉的工业机器人装配的模仿学习方法,其特征在于,包括以下步骤:采集原始数据集,通过原始数据集训练用于识别目标...
【专利技术属性】
技术研发人员:陈成军,邹剑,张浩,张超,
申请(专利权)人:烟台朗文汽车零部件有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。