面向人机协作钻铆的虚实融合工艺引导方法及系统技术方案

本发明专利技术提供了一种面向人机协作钻铆的虚实融合工艺引导方法及系统，该方法采用虚实融合显示的方式对人机协作钻铆进行引导，包括增强现实信息显示、力度显示、机器人控制等功能的融合，通过增强现实信息显示可以免去工人查阅、记忆各类信息的时间精力，通过力度显示有利于准确的力度控制，通过增强现实设备控制机器人可以减少工人移动等操作，从而提高了工作效率。效率。效率。

【技术实现步骤摘要】
面向人机协作钻铆的虚实融合工艺引导方法及系统


[0001]本专利技术涉及虚拟现实
，具体而言，涉及一种面向人机协作钻铆的虚实融合工艺引导方法及系统。

技术介绍

[0002]在飞机壁板钻铆的工业场景中，机器人具有精度高、稳定、效率高、能在危险场景工作的特点，而工人具有更强的感知能力、经验丰富、随机应变的特点。钻铆机器人体型庞大，不适合工作于狭小空间，因此很多时候需要工人手动进行钻铆。而人工手动钻铆过程中，需要兼顾多种信息且与机器人相配合，工作效率较低。

技术实现思路

[0003]为解决上述问题，本专利技术实施例提供了一种面向人机协作钻铆的虚实融合工艺引导方法，应用于增强现实设备，所述增强现实设备通过上位机与机器人、力传感铆枪分别连接，所述方法包括：显示待钻铆部件的配准图像，以基于所述配准图像进行虚实配准；在确定目标孔位后，显示所述目标孔位的钻铆信息；所述钻铆信息包括虚拟孔位位置；获取所述机器人的状态信息，以及根据所述状态信息确定是否满足所述目标孔位的钻铆条件；若满足所述目标孔位的钻铆条件，则获取以及显示所述力传感铆枪的压力信息；所述压力信息为所述力传感铆枪与所述目标孔位所在位置之间的抵接压力；若所述压力信息满足所述目标孔位的钻铆条件，则控制所述机器人启动钻铆作业。
[0004]可选地，所述方法还包括：获取以及存储所述目标孔位的钻铆各个过程中所述力传感铆枪的压力信息；所述钻铆各个过程包括以下至少一项：钻铆预备阶段、钻铆过程阶段、钻铆完成阶段。
[0005]可选地，所述钻铆信息还包括工艺信息；所述工艺信息包括以下至少一项：孔径、铆接方法、铆钉类型、力度。
[0006]可选地，所述方法还包括：显示跟随视野移动的虚拟操作面板，所述虚拟操作面板包括以下至少一项功能开关：显示工艺信息开关、配准跟踪开关、机器人控制功能按钮、选择下一个孔位功能按钮。
[0007]可选地，所述方法还包括：接收用户输入的孔位选择指令，以及根据所述孔位选择指令确定所述目标孔位。
[0008]可选地，在所述获取所述机器人的状态信息之前，所述方法还包括：控制所述机器人移动至所述目标孔位，以及执行所述目标孔位对应的钻铆准备动作。
[0009]可选地，所述方法还包括：在预先对所述待钻铆部件建模的情况下，根据模型目标的方式进行配准跟踪；在预先在所述待钻铆部件上布置定位标识的情况下，根据图像目标的方式进行配准跟踪。
[0010]可选地，所述状态信息包括以下至少一项：压脚状态、刀具进给状态、钻铆单元送钉状态。
[0011]本专利技术实施例提供了一种面向人机协作钻铆的虚实融合工艺引导系统，用于执行上述面向人机协作钻铆引导的虚实融合工艺引导方法。
[0012]本专利技术实施例中采用虚实融合显示的方式对人机协作钻铆进行引导，包括增强现实信息显示、力度显示、机器人控制等功能的融合，通过增强现实信息显示可以免去工人查阅、记忆各类信息的时间精力，通过力度显示有利于准确的力度控制，通过增强现实设备控制机器人可以减少工人移动等操作，从而提高了工作效率。
附图说明
[0013]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0014]图1为本专利技术实施例中人机协作钻铆的场景示意图；
[0015]图2为本专利技术实施例中一种面向人机协作钻铆的虚实融合工艺引导方法的流程示意图；
[0016]图3为本专利技术实施例中AR设备显示的虚拟孔位及提示信息示意图
[0017]图4为本专利技术实施例中操作面板示意图；
[0018]图5为本专利技术实施例中单孔位引导流程的示意图。
具体实施方式
[0019]为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0020]现有技术中多为机器人钻铆或者人工钻铆，人机协作的钻铆方式能够适应更多场景，例如一侧开放而一侧空间狭小的场景，在空间开放的一侧由钻铆机器人进行钻铆，在空间狭小的一侧无法布置钻铆机器人则由人工进行钻铆。
[0021]本专利技术实施例中提供了一种虚实融合工艺引导方法及系统，在人机协作钻铆的场景下，钻铆工人佩戴增强现实(Augmented Reality，AR)设备，例如AR头盔、AR眼镜等，能够在视野中看到应该钻铆的孔的位置、孔径、钻铆方法等信息；另外，力传感铆枪上的力传感器能够实时测量力传感铆枪与待钻铆部件的接触力，并把力的大小实时显示在虚拟视野中，以便工人能够根据自己的输出力，保证钻铆力量维持在期望范围内；以及，系统根据工人的需求，提供引导操作。
[0022]参见图1所示的本专利技术实施例提供的人机协作钻铆的场景示意图，以飞机壁板为例，示出了钻铆机器人11、钻铆工人12、飞机壁板13、力传感铆枪14以及AR头盔15。
[0023]示例性地，在真实钻铆场景中，钻铆工人12站在飞机壁板13前面，钻铆机器人11布置在飞机壁板13后面，另外有一台上位机负责运行一个服务程序来进行AR头盔、钻铆机器人之间的信息交互。钻铆工人佩戴AR头盔，AR头盔和上位机在同一个局域网内通过socket进行通信，钻铆机器人和上位机通过2.4G通信。另外，钻铆工人手持力传感铆枪和机器人协作进行钻铆，力传感铆枪加装了力传感器，上位机可以传输力传感器的压力信息至AR头盔。
[0024]参见图2所示的一种面向人机协作钻铆的虚实融合工艺引导方法的流程示意图，该方法应用于上述AR设备，该AR设备通过上位机与机器人、力传感铆枪分别连接。该方法包括以下步骤：
[0025]S202，显示待钻铆部件的配准图像，以基于该配准图像进行虚实配准。
[0026]可选地，采用以下两种配准方式：在预先对待钻铆部件建模的情况下，根据模型目标(model target)的方式进行配准跟踪；在预先在待钻铆部件上布置定位标识的情况下，根据图像目标(image target)的方式进行配准跟踪。上述两种方式的核心均是计算跟踪物体的特征点来匹配。
[0027]基于上述任一配准方式，在AR设备的视野中显示待钻铆部件的配准图像，钻铆工人可以目视该配准图像与实际的待钻铆部件，将该配准图像与待钻铆部件重合，从而进行虚实配准。
[0028]S204，在确定目标孔位后，显示目标孔位的钻铆信息。
[0029]该钻铆信息可以包括虚拟孔位位置。在进行虚实配准后，即可准备进入钻铆流程。可由钻铆工人选择任一孔位作为下一个进行钻铆的目标孔位，或者由引导系统自动选择一个孔位作为下一个进行钻铆的目标孔位。该引导系统运行于上述AR设备中。
[0030]可选地，接收用户输入的孔位选择指令，以及根据该孔位选择指令确定目标孔位；或者，根据最短路径规划算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向人机协作钻铆的虚实融合工艺引导方法，其特征在于，应用于增强现实设备，所述增强现实设备通过上位机与机器人、力传感铆枪分别连接，所述方法包括：显示待钻铆部件的配准图像，以基于所述配准图像进行虚实配准；在确定目标孔位后，显示所述目标孔位的钻铆信息；所述钻铆信息包括虚拟孔位位置；获取所述机器人的状态信息，以及根据所述状态信息确定是否满足所述目标孔位的钻铆条件；若满足所述目标孔位的钻铆条件，则获取以及显示所述力传感铆枪的压力信息；所述压力信息为所述力传感铆枪与所述目标孔位所在位置之间的抵接压力；若所述压力信息满足所述目标孔位的钻铆条件，则控制所述机器人启动钻铆作业。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取以及存储所述目标孔位的钻铆各个过程中所述力传感铆枪的压力信息；所述钻铆各个过程包括以下至少一项：钻铆预备阶段、钻铆过程阶段、钻铆完成阶段。3.根据权利要求1所述的方法，其特征在于，所述钻铆信息还包括工艺信息；所述工艺信息包括以下至少一项：孔径、铆接方法、铆钉类型、力度。4.根据权利要求3所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：王党校，李东升，翟雨农，罗虎，李英龙，张玉茹，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：