一种多模态无人机人机交互操控半实物仿真系统技术方案

本实用新型专利技术涉及一种多模态无人机人机交互操控半实物仿真系统，包括：机载处理器，其搭载在无人机上；手势识别设备和脑电信号测量设备，其通过串口通讯模块与转接模块连接，转接模块与机载处理器连接；遥控器，其通过PPM接口与机载处理器连接；仿真上位机，其上搭载AirSim模拟器，并通过串口通讯模块与机载处理器连接；地面控制站，其通过串口通讯模块与机载处理器连接，并通过UDP协议与仿真上位机连接。本实用新型专利技术的有益效果为：实现多种模态控制下的脑电和手势控制以及遥控器控制无人机飞行过程的仿真，也可实现地面控制站控制无人机飞行过程的仿真。

A Hardware-in-the-loop Simulation System for Man-Machine Interactive Control of Multimodal UAV

The utility model relates to a hardware-in-the-loop simulation system for human-computer interaction control of a multi-mode UAV, which comprises an airborne processor mounted on the UAV; a gesture recognition device and an electroencephalogram signal measuring device, which are connected with a transfer module through a serial port communication module, and a transfer module with an airborne processor; and a remote controller, which is connected with an airborne processor through a PPM interface; AirSim simulator is installed on it and connected with airborne processor through serial communication module; ground control station is connected with airborne processor through serial communication module, and connected with simulation host computer through UDP protocol. The beneficial effect of the utility model is to realize the simulation of the flight process of the UAV controlled by the EEG and gesture control under various modes and the remote controller, as well as the simulation of the flight process of the UAV controlled by the ground control station.

【技术实现步骤摘要】
一种多模态无人机人机交互操控半实物仿真系统
本技术涉及一种多模态无人机人机交互操控半实物仿真系统。
技术介绍
无人机作为模拟飞机类来袭目标，可为防空武器系统的火控雷达校飞、射击等任务提供空中靶标，是武器系统研制、鉴定过程中必不可少的装备。作为无人机的核心组成部分之一，飞控系统通过控制无人机的姿态，从而完成无人机各种模态下的飞行任务。在无人机的研制过程中，人机交互是非常重要的一个环节。手势识别和脑电控制技术是新一代自然人机交互的一项关键技术，相对于传统的鼠标，键盘等接触式的操作方式，手势和脑电具有自然直观、容易理解、操作简单、体验性好等优点，更加符合人类日常交流习惯，手势识别和脑电控制已经成为人机交互方案的研究热点。将操控者与无人机之间结合应用，具有良好的应用前景。现有技术中，只能实现地面控制站控制无人机飞行过程中的仿真，无法实现多种模态控制下的操控者脑电和手势控制无人机飞行过程的仿真，从而无法对人机交互的控制指令有针对性的修正，进而提高识别的可靠性，避免误触发的发生。
技术实现思路
针对上述问题中存在的不足之处，本技术提供一种多模态无人机人机交互操控半实物仿真系统，实现多种模态控制下的脑电和手势控制、遥控器控制无人机飞行过程的仿真，同时可以实现地面控制站控制无人机飞行过程的仿真。为实现上述目的，本技术提供一种多模态无人机人机交互操控半实物仿真系统，包括：机载处理器，其搭载在无人机上；手势识别设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接；脑电信号测量设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接；遥控器，其通过PPM接口与所述机载处理器通信连接；仿真上位机，其上搭载有AirSim模拟器，并通过串口通讯模块与所述机载处理器通信连接；地面控制站，其通过串口通讯模块与所述机载处理器通信连接，并通过UDP协议与所述仿真上位机通信连接。作为本技术进一步改进，所述手势识别设备包括：肌电信号测量设备，其包括佩戴在操控者两只手臂上的若干个肌电电极、用以消除共模干扰的驱动电路、模数转换芯片、微控制单元MCU以及佩戴在操控者腿上的震动马达，若干个肌电电极以环状阵列形式粘贴在操控者左前臂和右前臂上，用于采集操控者的肌电信号，若干个肌电电极和所述驱动电路均与所述模数转换芯片相连，所述模数转换芯片通过SPI接口与所述微控制单元MCU双向通信连接，所述微控制单元MCU与所述震动马达相连；姿态信号测量设备，其包括佩戴在操控者两只手臂上的若干IMU；手势识别解码设备，其输入端通过串口通讯模块与所述微控制单元MCU和所述若干IMU相连，输出端通过串口与所述转接模块输入端相连，所述转接模块输出端与所述机载处理器通信连接。作为本技术进一步改进，所述转接模块选用基于AVR处理器的Arduinomega2560芯片，具有四路串口和四路中断源。作为本技术进一步改进，所述遥控器为八通道遥控器，其中，通道一为控制滚转，通道二为控制俯仰，通道三为控制油门，通道四为控制航向，通道五为切换飞行模式，包括自稳飞行模式、定高飞行模式和定点飞行模式，通道六为切换输入方式，包括遥控控制方式、脑机控制方式和手势控制方式，通道七和通道八均为备用通道。作为本技术进一步改进，所述串口通讯模块采用APC2770通讯模块。作为本技术进一步改进，所述脑电信号测量设备包括粘贴在操控者脑部的A2干电极、Fp2干电极和C4干电极，以及脑电检测与处理芯片，所述脑电检测与处理芯片将所述A2干电极、Fp2干电极和C4干电极采集到的脑电信号处理后获取操控者的大脑思维信息。本技术的有益效果为：可以实现多种模态控制下的操控者脑电和手势控制以及遥控器控制无人机飞行过程的仿真，实现对人机交互的控制指令有针对性的修正，进而提高识别的可靠性，避免误触发的发生；同时可以实现地面控制站控制无人机飞行过程的仿真；能直观展示仿真过程，直观显示无人机飞行全过程，后续可对飞行过程定性分析；采用HIL半实物仿真方式，节省了仿真成本，同时也提高了整个仿真系统的置信度。附图说明图1为本技术实施例所述的一种多模态无人机人机交互操控半实物仿真系统的示意图；图2为本技术实施例所述的手势识别设备的示意图。具体实施方式本技术实施例所述的一种如图1所示，一种多模态无人机人机交互操控半实物仿真系统，包括：手势识别设备、脑电信号测量设备、遥控器、仿真上位机、地面控制站和机载处理器，其中，手势识别设备、脑电信号测量设备和遥控器实现对无人机的多模态控制。机载处理器搭载在无人机上，用于接收手势识别设备、脑电信号测量设备和遥控接收器发送的控制指令，以及地面控制站下发的特性控制指令，按照相应的控制指令或特定控制指令控制无人机，并将控制指令通过串口通讯模块传输至地面控制站和仿真上位机。手势识别设备通过串口通讯模块与转接模块输入端连接，转接模块输出端与机载处理器通信连接，用于将采集到的手势信号融合处理后转换成对无人机的控制指令，并将控制指令传递给机载处理器。脑电信号测量设备通过串口通讯模块与转接模块输入端连接，转接模块输出端与机载处理器通信连接，用于将采集到的脑电信号分类处理后转换成对无人机的控制指令，并将控制指令传递给机载处理器。遥控器通过PPM接口与机载处理器通信连接，用于将遥控器的控制指令传递给机载处理器。仿真上位机上搭载有AirSim模拟器，并通过串口通讯模块与机载处理器通信连接，用于接收机载处理器的控制指令和地面控制站传输的特定控制指令，根据控制指令或特定控制指令建立无人机飞行的仿真模型、设置仿真参数，对无人机进行飞行模拟，并显示控制无人机飞行过程的仿真界面。地面控制站通过串口通讯模块与机载处理器通信连接，并通过UDP协议与仿真上位机通信连接，用于接收机载处理器传输的无人机控制指令，可根据需求下发特定控制指令至机载处理器，并将特定控制指令传输至仿真上位机。如图2所示，手势识别设备包括：肌电信号测量设备、姿态信号测量设备和手势识别解码设备。肌电信号测量设备包括佩戴在操控者两只手臂上的8干个肌电电极、用以消除共模干扰的驱动电路、模数转换芯片、微控制单元MCU以及佩戴在操控者腿上的震动马达，8个肌电电极以环状阵列形式粘贴在操控者左前臂和右前臂上，用于采集操控者的肌电信号，8个肌电电极和驱动电路均与模数转换芯片相连，模数转换芯片通过SPI接口与微控制单元MCU双向通信连接，微控制单元MCU与震动马达相连。肌电信号测量设备用于采集操控者的肌电信号，将模数转换后的肌电信号输出至手势识别解码进行融合处理，并接收来自手势识别解码的反馈指令，根据该反馈指令控制用于向操控者触控反馈的震动马达的震动频率。姿态信号测量设备包括佩戴在操控者两只手臂上的6个IMU(即惯性测量单元)，每只手臂的腕关节附近、肘关节附近和肩关节附近均绑缚一个IMU。通过每只手臂上的三个惯性测量单元测量的数据，剔除各个关节之间相对运动的影响，可以精确解析出手臂的运动姿态信息。IMU包括电源模块、三轴加速度计、三轴陀螺仪、三轴磁强计，电源模块为惯性测量单元提供电源，三轴加速度计、三轴陀螺仪、三轴磁强计分别用于采集操控者左手臂或右手臂的运动时的加速度本文档来自技高网...

【技术保护点】
1.一种多模态无人机人机交互操控半实物仿真系统，其特征在于，包括：机载处理器，其搭载在无人机上；手势识别设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接；脑电信号测量设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接；遥控器，其通过PPM接口与所述机载处理器通信连接；仿真上位机，其上搭载有AirSim模拟器，并通过串口通讯模块与所述机载处理器通信连接；地面控制站，其通过串口通讯模块与所述机载处理器通信连接，并通过UDP协议与所述仿真上位机通信连接。

【技术特征摘要】
1.一种多模态无人机人机交互操控半实物仿真系统，其特征在于，包括：机载处理器，其搭载在无人机上；手势识别设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接；脑电信号测量设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接；遥控器，其通过PPM接口与所述机载处理器通信连接；仿真上位机，其上搭载有AirSim模拟器，并通过串口通讯模块与所述机载处理器通信连接；地面控制站，其通过串口通讯模块与所述机载处理器通信连接，并通过UDP协议与所述仿真上位机通信连接。2.根据权利要求1所述的多模态无人机人机交互操控半实物仿真系统，其特征在于，所述手势识别设备包括：肌电信号测量设备，其包括佩戴在操控者两只手臂上的若干个肌电电极、用以消除共模干扰的驱动电路、模数转换芯片、微控制单元MCU以及佩戴在操控者腿上的震动马达，若干个肌电电极以环状阵列形式粘贴在操控者左前臂和右前臂上，用于采集操控者的肌电信号，若干个肌电电极和所述驱动电路均与所述模数转换芯片相连，所述模数转换芯片通过SPI接口与所述微控制单元MCU双向通信连接，所述微控制单元MCU与所述震动马达相连；姿态信号测量设备，其包括佩戴在操控者两只手臂上的若干IMU；手势识...

【专利技术属性】
技术研发人员：赵小川，
申请(专利权)人：赵小川，
类型：新型
国别省市：北京,11