基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统技术方案

本发明专利技术公开了一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，涉及VR技术领域，该系统包括：光学定位摄像头、VR头显、机械臂交互道具和VR服务器，机械臂交互道具包括呈多轴多关节结构的机械臂主体及安装在其上的动作捕捉装置，该系统利用实体的机械臂交互道具结合虚拟现实手段进行训练，不仅可对潜水器进行自定义配置模拟，还可对海底真实的海洋流体环境和光照环境进行自定义配置模拟，从而得到更真实的还原实际效果，提升训练中的真实感和临场感，而且可进行高重复性训练，从而可以获得较好的训练效果，同时也可以对潜水器设计布局的合理性进行检验。

Virtual reality training system of manipulator control of submarine based on optical inertial fusion positioning

【技术实现步骤摘要】
基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统
本专利技术涉及VR
，尤其是一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统。
技术介绍
潜水器是人类进入深海、开发和利用深海的重要技术手段，但潜水器设计研发成本高、操作训练条件苛刻，这已成为制约潜水器谱系化发展、推广应用的主要因素。目前针对潜水器的机械臂操控训练手段常见的为模拟台训练、水池训练和浅海训练，模拟台训练没有真实效果的反馈，只能对特定操作流程进行训练，无法直观的感知操作结果，训练效果较差；水池训练和浅海训练虽然可以较直观的感知操作结果，但可重复性与成本控制均不理想，并且机械臂本身也存在使用寿命的限制，受训人员不能长期、多次进行机械臂训练，训练成本较高、可重复次数较少、训练效率较低。
技术实现思路
本专利技术人针对上述问题及技术需求，提出了一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，本专利技术的技术方案如下：一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，包括：系统包括：光学定位摄像头、VR头显、机械臂交互道具和VR服务器，机械臂交互道具连接VR服务器，机械臂交互道具包括机械臂主体和动作捕捉装置，机械臂主体呈多轴多关节结构并与潜水器上的机械臂的结构匹配，机械臂主体的不同位置固定有动作捕捉装置，每个动作捕捉装置均包括若干个光学标记物，每个动作捕捉装置上的光学标记物用于反射或发送与动作捕捉装置的空间位置和空间姿态相关的空间数据；光学定位摄像头布设在机械臂交互道具的四周并用于接收各个光学标记物反射或发送的空间数据；光学定位摄像头连接VR服务器并将接收到的空间数据输出给VR服务器，VR服务器还连接VR头显；VR服务器获取训练场景模型，并根据训练场景模型和随机生成的目标物数据生成训练场景数据发送给VR头显，VR头显显示训练场景数据并展示VR训练场景，VR训练场景包括潜水舱、潜水舱外部的海底环境以及位于潜水舱外的机械臂、载物篮和目标物，载物篮和目标物均位于机械臂的操作范围内；在受训者操控机械臂交互道具的过程中，VR服务器接收光学定位摄像头输出的实时空间数据，并根据实时空间数据生成位置姿态数据，VR服务器生成机械臂的位置姿态数据，并发送给VR服务器连接的VR头显，VR头显显示机械臂的位置姿态数据在VR训练场景中显示机械臂的运动轨迹，机械臂在VR训练场景中的运动轨迹与机械臂交互道具的运动轨迹相同；对于VR训练场景，VR服务器在检测到机械臂抓取到目标物时，控制目标物随机械臂运动，并在检测到机械臂松开目标物时控制目标物与机械臂分离；VR服务器在检测到VR训练场景中的所有目标物都落入载物篮后，清空载物篮内的目标物并随机生成新的目标物。其进一步的技术方案为，训练场景模型包括机械臂模型、潜水舱模型、海底环境模型和载物篮模型，训练场景数据包括根据机械臂模型生成的机械臂结构数据、根据潜水舱模型生成的潜水舱数据、根据海底环境模型生成的海底环境数据、根据载物篮模型生成的载物篮数据以及随机生成的目标物数据。其进一步的技术方案为，在系统初始化阶段，机械臂交互道具处于初始标定动作，VR服务器接收光学定位摄像头输出的初始空间数据，并根据实时空间数据、初始空间数据和机械臂结构数据生成机械臂的位置姿态数据。其进一步的技术方案为，VR服务器在通过机械臂和目标物内置的碰撞盒检测到机械臂与目标物发生碰撞且检测满足第二预设条件时，确定机械臂抓取到目标物，在第二预设条件不再满足时，确定机械臂未抓取目标物；第二预设条件包括机械臂的增量控制已激活、机械臂的卡抓液压已激活、机械臂的卡抓按钮激活以及视觉中心在目标物的预定范围内。其进一步的技术方案为，系统还包括操作手柄，操作手柄连接VR服务器；VR服务器获取灯光模型并生成灯光图标数据发送给VR头显，VR头显播放灯光图标数据并在VR训练场景中显示各个灯光图标；VR服务器在检测到操作手柄选中目标灯光模型时，在VR训练场景中显示目标灯光模型并控制目标灯光模型随操作手柄运动，在检测到操作手柄松开目标灯光模型时，控制目标灯光模型与操作手柄分离并在分离位置显示目标灯光模型。其进一步的技术方案为，在目标灯光模型设置过程中，潜水舱的移动控制锁定；在目标灯光模型设置完成后，目标灯光模型与潜水舱绑定并随着潜水舱运动。其进一步的技术方案为，VR服务器在通过操作手柄和各个灯光图标内置的碰撞盒检测到操作手柄与目标灯光图标发生碰撞且检测到满足第一预设条件时，确定操作手柄选中目标灯光模型，在第一预设条件不再满足时，确定操作手柄松开目标灯光模型；第一预设条件包括操作手柄扳机键激活。其进一步的技术方案为，VR服务器在目标物未落入载物篮时控制目标物显示提示灯光特效、在目标物落入载物篮时控制提示灯光特效消失。本专利技术的有益技术效果是：本申请公开了一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，该系统利用实体的机械臂交互道具、结合虚拟现实手段进行训练，机械臂交互道具基于光惯融合技术进行姿态标定，可快速完成训练准备并提高对多轴多关节设备的定位精度，可实现的训练的临场感较强，而且可进行高重复性训练，可以获得较好的训练效果。而且可以通过海底环境设置来模拟海底真实的海洋流体环境，得到更真实的还原实际效果，还可以通过灯光设置来模拟海底真实的光照环境，提升训练中的真实感，并进一步检验潜水器灯光设计的合理性。而且该系统的通用性和适应性也较高，并不受限于某一型号的潜水器，通过导入不同的潜水舱模型可以替换任何潜水器进行训练；还可以针对不同训练需要配置载物篮进行训练，并可进一步检验载物篮布局合理性。而且该系统中的机械臂交互道具可以利用3D打印技术制得，实现方式简单且成本较低。附图说明图1是本申请的潜水器机械臂操控虚拟现实训练系统的系统架构图。图2是本申请的潜水器机械臂操控虚拟现实训练系统的应用流程示意图。图3是本申请中的机械臂交互道具的初始标定动作示意图。具体实施方式下面结合附图对本专利技术的具体实施方式做进一步说明。本申请公开了一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，请参考图1，该系统包括机械臂交互道具1、光学定位摄像头2、VR服务器3和VR头显4。其中，机械臂交互道具1包括机械臂主体11和动作捕捉装置12，机械臂主体11呈多轴多关节结构并与真实的潜水器上的机械臂的结构匹配，本申请中的机械臂交互道具1通过3D打印制作得到。机械臂主体11的不同位置固定有动作捕捉装置12，在应用时，动作捕捉装置12的数量通常是机械臂主体11的轴数或关节数的一半，如图1所示，本申请中包括两个动作捕捉装置12，这两个动作捕捉装置12分别设置在机械臂主体11的两个轴上。每个动作捕捉装置12均包括若干个光学标记物13，光学标记13物用于反射或发送与动作捕捉装置12的空间位置和空间姿态相关的空间数据。机械臂主体11上还包括卡抓按钮。光学定位摄像头2通常有多个，光学定位摄像头2布设在机械臂交互道具1的四周并用于接收各个光学标记物13反射或发送的空间数据。在使用时，机械臂交互道本文档来自技高网...

【技术保护点】
1.一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，其特征在于，所述系统包括：光学定位摄像头、VR头显、机械臂交互道具和VR服务器，所述机械臂交互道具连接所述VR服务器，所述机械臂交互道具包括机械臂主体和动作捕捉装置，所述机械臂主体呈多轴多关节结构并与潜水器上的机械臂的结构匹配，所述机械臂主体的不同位置固定有所述动作捕捉装置，每个所述动作捕捉装置均包括若干个光学标记物，每个所述动作捕捉装置上的光学标记物用于反射或发送与所述动作捕捉装置的空间位置和空间姿态相关的空间数据；所述光学定位摄像头布设在所述机械臂交互道具的四周并用于接收各个光学标记物反射或发送的空间数据；所述光学定位摄像头连接所述VR服务器并将接收到的所述空间数据输出给所述VR服务器，所述VR服务器还连接所述VR头显；所述VR服务器获取训练场景模型，并根据所述训练场景模型和随机生成的目标物数据生成训练场景数据发送给所述VR头显，所述VR头显显示所述训练场景数据并展示VR训练场景，所述VR训练场景包括潜水舱、所述潜水舱外部的海底环境以及位于所述潜水舱外的机械臂、载物篮和目标物，所述载物篮和目标物均位于所述机械臂的操作范围内；在受训者操控所述机械臂交互道具的过程中，所述VR服务器接收所述光学定位摄像头输出的实时空间数据，并根据所述实时空间数据生成位置姿态数据，所述VR服务器将所述机械臂的位置姿态数据并发送给所述VR服务器连接的所述VR头显，所述VR头显显示所述机械臂的位置姿态数据在所述VR训练场景中显示所述机械臂的运动轨迹，所述机械臂在所述VR训练场景中的运动轨迹与所述机械臂交互道具的运动轨迹相同；对于所述VR训练场景，所述VR服务器在检测到所述机械臂抓取到所述目标物时，控制所述目标物随所述机械臂运动，并在检测到所述机械臂松开所述目标物时控制所述目标物与所述机械臂分离；所述VR服务器在检测到所述VR训练场景中的所有目标物都落入所述载物篮后，清空所述载物篮内的目标物并随机生成新的目标物。/n...

【技术特征摘要】
1.一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，其特征在于，所述系统包括：光学定位摄像头、VR头显、机械臂交互道具和VR服务器，所述机械臂交互道具连接所述VR服务器，所述机械臂交互道具包括机械臂主体和动作捕捉装置，所述机械臂主体呈多轴多关节结构并与潜水器上的机械臂的结构匹配，所述机械臂主体的不同位置固定有所述动作捕捉装置，每个所述动作捕捉装置均包括若干个光学标记物，每个所述动作捕捉装置上的光学标记物用于反射或发送与所述动作捕捉装置的空间位置和空间姿态相关的空间数据；所述光学定位摄像头布设在所述机械臂交互道具的四周并用于接收各个光学标记物反射或发送的空间数据；所述光学定位摄像头连接所述VR服务器并将接收到的所述空间数据输出给所述VR服务器，所述VR服务器还连接所述VR头显；所述VR服务器获取训练场景模型，并根据所述训练场景模型和随机生成的目标物数据生成训练场景数据发送给所述VR头显，所述VR头显显示所述训练场景数据并展示VR训练场景，所述VR训练场景包括潜水舱、所述潜水舱外部的海底环境以及位于所述潜水舱外的机械臂、载物篮和目标物，所述载物篮和目标物均位于所述机械臂的操作范围内；在受训者操控所述机械臂交互道具的过程中，所述VR服务器接收所述光学定位摄像头输出的实时空间数据，并根据所述实时空间数据生成位置姿态数据，所述VR服务器将所述机械臂的位置姿态数据并发送给所述VR服务器连接的所述VR头显，所述VR头显显示所述机械臂的位置姿态数据在所述VR训练场景中显示所述机械臂的运动轨迹，所述机械臂在所述VR训练场景中的运动轨迹与所述机械臂交互道具的运动轨迹相同；对于所述VR训练场景，所述VR服务器在检测到所述机械臂抓取到所述目标物时，控制所述目标物随所述机械臂运动，并在检测到所述机械臂松开所述目标物时控制所述目标物与所述机械臂分离；所述VR服务器在检测到所述VR训练场景中的所有目标物都落入所述载物篮后，清空所述载物篮内的目标物并随机生成新的目标物。


2.根据权利要求1所述的系统，其特征在于，所述训练场景模型包括机械臂模型、潜水舱模型、海底环境模型和载物篮模型，所述训练场景数据包括根据所述机械臂模型生成的机械臂结构数据、根据所述潜水舱模型生成的潜水舱数据、根据所述海底环境模型生成的海底环境数据、根据所述载物篮模型生成的载物篮数...

【专利技术属性】
技术研发人员：郭瑽，李峥，李飞，刘维甫，
申请(专利权)人：海南诺亦腾海洋科技研究院有限公司，
类型：发明
国别省市：海南;46