一种基于人机交互的多智能体协同环境探索系统及装置制造方法及图纸

本发明专利技术实施例提供了一种基于人机交互的多智能体协同环境探索系统及装置，包括：数字端、现实端及计算平台；所述现实端包括母舰，所述母舰搭载多个无人潜水艇；所述无人潜水艇与母舰通过光纤组成局域网；所述无人潜水艇上设置有多种传感器；所述母舰通过5G信息将信息转发到计算平台；计算平台通过分析各种传感器数据，并融合数据，计算出无人潜水艇的相对位姿，并构建海底的三维地图。最后将数据发送给数字端；数字端将无人潜水艇的数字孪生体和海底三维地图通过虚拟现实设备进行展示，根据观察的环境信息，直接交互控制数字孪生体移动，设定探索目标。探索目标。探索目标。

【技术实现步骤摘要】
一种基于人机交互的多智能体协同环境探索系统及装置


[0001]本专利技术涉及计算机
，特别是涉及一种基于人机交互的多智能体协同环境探索系统、一种基于人机交互的多智能体协同环境探索装置、一种计算机设备和一种存储介质。

技术介绍

[0002]探索未知是人类历史发展的永恒话题，人类对地球环境的了解可能不足10％，对深山丛林、山洞矿井、极地、深海和太空等探险队无法安全进入的环境了解的更是少之又少。近年来，随着移动机器人技术、传感器技术、计算机感知技术和通讯技术等先进技术的发展，探索上述未知环境有了新的解决方案，即投放移动机器人(即智能体)代替探险队进行探索，我国研发的蛟龙号探险潜水艇就是此方面技术的体现之一。
[0003]目前，利用移动机器人对未知环境进行探索，利用的大多只是点对点的人工控制，暂未实现多智能体协同自动探索。目前技术也暂未实现远程控制，探险队员仍然需要陪同探险机器人到达未知环境边缘，只不过探险队员无需深入未知环境。其次，目前探险机器人虽然能利用高精度测量传感器勘探地貌特征，但尚未实现环境三维模型的重建，大量珍贵数据没有被充分利用。所以对于复杂环境和偏远环境，目前的移动机器人探险方案仍然存在不足之处。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于人机交互的多智能体协同环境探索系统、一种基于人机交互的多智能体协同环境探索装置、一种计算机设备和一种存储介质。
[0005]为了解决上述问题，本专利技术实施例公开了一种基于人机交互的多智能体协同环境探索系统，包括：数字端、现实端及计算平台；所述现实端包括母舰，所述母舰搭载多个无人潜水艇；
[0006]所述无人潜水艇与母舰通过光纤组成局域网；所述无人潜水艇上设置有多种传感器；所述母舰通过5G信息将信息转发到计算平台；
[0007]计算平台通过分析各种传感器数据，并融合数据，计算出无人潜水艇的相对位姿，并构建海底的三维地图。最后将数据发送给数字端；
[0008]数字端将无人潜水艇的数字孪生体和海底三维地图通过虚拟现实设备进行展示，根据观察的环境信息，直接交互控制数字孪生体移动，设定探索目标。
[0009]优选地，所述无人潜水艇的传感器包括激光雷达、双目摄像机、RGBD摄像机、声呐、IMU、UWB设备、北斗模块、GPS模块及WIFI模块。
[0010]优选地，所述计算平台根据接收到的探索指令，利用任务分配算法和路径规划算法，自动分配无人潜水艇的探索任务，并为每一个无人潜水艇的规划路径。
[0011]优选地，所述虚拟现实设备包括配置有陀螺仪和加速度计的虚拟现实眼镜、配置
有陀螺仪和加速度计的手柄、键盘输入设备。
[0012]优选地，所述数字端运用Unity3D游戏引擎模拟现实端无人潜水艇的动力学，并将运动控制指令通过5G网络通讯传递给现实端的母舰，并通过母舰维护的与多个无人潜水艇通讯的局域网传递指令给各无人潜水艇。
[0013]优选地，所述计算平台通过任务分配与路径规划为快速搜索随机树算法对无人潜水艇进行路径规划。
[0014]优选地，通过数字孪生技术在数字端生成现实端多个无人潜水艇的数字孪生体，通过虚拟现实设备直接与数字三维环境和数字孪生体进行交互控制。
[0015]优选地，计算平台利用北斗、GPS数据计算智能体的全球定位，用UWB传感器数据计算各智能体的相对位置；利用SLAM技术实现智能体的定位和建图，首先提取传感器数据的环境地图点特征，对特征进行匹配的标定；构建位姿图模型，将关键位置节点和向关联的位置节点、地图点节点相连；将各种传感器的误差用节点与节点的边表示，最后通过图优化算法优化图模型，使得各传感器数据得到融合、构建的地图；通过对应传感器的三维成像模型构建三维环境的简单数字三维地图，再利用三维重建技术精细化地图构建。
[0016]本专利技术实施例公开了一种基于人机交互的多智能体协同环境探索装置，包括：数字端、现实端及计算平台；所述现实端包括母舰，所述母舰搭载多个无人潜水艇；
[0017]所述无人潜水艇与母舰通过光纤组成局域网；所述无人潜水艇上设置有多种传感器；所述母舰通过5G信息将信息转发到计算平台；
[0018]计算平台通过分析各种传感器数据，并融合数据，计算出无人潜水艇的相对位姿，并构建海底的三维地图。最后将数据发送给数字端
[0019]数字端将无人潜水艇的数字孪生体和海底三维地图通过虚拟现实设备进行展示，根据观察的环境信息，直接交互控制数字孪生体移动，设定探索目标。
[0020]本专利技术实施例公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的基于人机交互的多智能体协同环境探索系统的步骤。
[0021]本专利技术实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于人机交互的多智能体协同环境探索系统的步骤。
[0022]本专利技术实施例包括以下优点：
[0023]通过母舰投放多智能体，不仅能提高探索效率，降低探险人数，降低成本。运用数字孪生技术，构建现实端多智能体的数字孪生体，数字端与现实端保持同步。操作人员通过VR与虚拟端交互间接控制现实端，即方便了操作又能更清晰地观察环境。部署计算平台，运用SLAM与三维重建算法，定位多智能体并构建环境三维地图。并运用快速搜索随机树算法计算路径规划，实现智能体自动探索。
附图说明
[0024]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
[0025]图1是本专利技术实施例的一种基于人机交互的多智能体协同环境探索系统的示意图；
[0026]图2是一个实施例的一种计算机设备的内部结构图。
具体实施方式
[0027]为了使本专利技术实施例所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术实施例进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0028]参照图1，示出了本专利技术实施例的一种基于人机交互的多智能体协同环境探索系统的示意图，具体可以包括：数字端、现实端及计算平台；所述现实端包括母舰，所述母舰搭载多个无人潜水艇；
[0029]利用母舰将多智能体(即多个无人潜水艇)运送到未知环境负责现实端多智能体的投放与回收、资源补给、通讯转接等任务。通过数字孪生技术在数字端生成现实端多智能体的数字孪生体，操作人员通过VR(Virtual Reality，虚拟现实)设备直接与数字三维环境和数字孪生体进行交互控制。通过与数字三维环境交互，可更清晰了解环境；并直接控制多智能体运动，操作方便。系统将数字端多智能体的运动状态发送给母本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人机交互的多智能体协同环境探索系统，其特征在于，包括：数字端、现实端及计算平台；所述现实端包括母舰，所述母舰搭载多个无人潜水艇；所述无人潜水艇与母舰通过光纤组成局域网；所述无人潜水艇上设置有多种传感器；所述母舰通过5G信息将信息转发到计算平台；计算平台通过分析各种传感器数据，并融合数据，计算出无人潜水艇的相对位姿，并构建海底的三维地图。最后将数据发送给数字端数字端将无人潜水艇的数字孪生体和海底三维地图通过虚拟现实设备进行展示，根据观察的环境信息，直接交互控制数字孪生体移动，设定探索目标。2.根据权利要求1所述的协同环境探索系统，其特征在于，所述无人潜水艇的传感器包括激光雷达、双目摄像机、RGBD摄像机、声呐、IMU、UWB设备、北斗模块、GPS模块及WIFI模块。3.根据权利要求1所述的协同环境探索系统，其特征在于，所述计算平台根据接收到的探索指令，利用任务分配算法和路径规划算法，自动分配无人潜水艇的探索任务，并为每一个无人潜水艇的规划路径。4.根据权利要求1所述的协同环境探索系统，其特征在于，所述虚拟现实设备包括配置有陀螺仪和加速度计的虚拟现实眼镜、配置有陀螺仪和加速度计的手柄、键盘输入设备。5.根据权利要求1所述的协同环境探索系统，其特征在于，所述数字端运用Unity3D游戏引擎模拟现实端无人潜水艇的动力学，并将运动控制指令通过5G网络通讯传递给现实端的母舰，并通过母舰维护的与多个无人潜水艇通讯的局域网传递指令给各无人潜水艇；所述计算平台通过任务分配与路径规划为快速搜索随机树算法对无人潜水艇进行路径规划。6.根据权利要求1所述的协同环境探索系统，其特征在于，通过数字孪生技术在数字端生成现实端多个无人潜水艇的数字孪生体，通...

【专利技术属性】
技术研发人员：罗可其，孟伟，曾宇沛，温震霆，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：