一种多模态无人机人机交互操控半实物仿真系统及方法技术方案

本发明专利技术公开了一种多模态无人机人机交互操控半实物仿真系统，包括：机载处理器，其搭载在无人机上；手势识别设备和脑电信号测量设备，其通过串口通讯模块与转接模块连接，转接模块与机载处理器连接；遥控器，其通过PPM接口与机载处理器连接；仿真上位机，其上搭载AirSim模拟器，并通过串口通讯模块与机载处理器连接；地面控制站，其通过串口通讯模块与机载处理器连接，并通过UDP协议与仿真上位机连接。本发明专利技术还公开了一种多模态无人机人机交互操控半实物仿真方法。本发明专利技术的有益效果：实现多种模态控制下的脑电和手势控制以及遥控器控制无人机飞行过程的仿真，也可实现地面控制站控制无人机飞行过程的仿真。

【技术实现步骤摘要】
一种多模态无人机人机交互操控半实物仿真系统及方法
本专利技术涉及无人机
，具体而言，涉及一种多模态无人机人机交互操控半实物仿真系统及方法。
技术介绍
无人机作为模拟飞机类来袭目标，可为防空武器系统的火控雷达校飞、射击等任务提供空中靶标，是武器系统研制、鉴定过程中必不可少的装备。作为无人机的核心组成部分之一，飞控系统通过控制无人机的姿态，从而完成无人机各种模态下的飞行任务。在无人机的研制过程中，人机交互是非常重要的一个环节。手势识别和脑电控制技术是新一代自然人机交互的一项关键技术，相对于传统的鼠标，键盘等接触式的操作方式，手势和脑电具有自然直观、容易理解、操作简单、体验性好等优点，更加符合人类日常交流习惯，手势识别和脑电控制已经成为人机交互方案的研究热点。将操控者与无人机之间结合应用，具有良好的应用前景。现有技术中，只能实现地面控制站控制无人机飞行过程中的仿真，无法实现多种模态控制下的操控者脑电和手势控制无人机飞行过程的仿真，从而无法对人机交互的控制指令有针对性的修正，进而提高识别的可靠性，避免误触发的发生。
技术实现思路
为解决上述问题，本专利技术的目的在于提供一种多模态无人机人机本文档来自技高网...

【技术保护点】
1.一种多模态无人机人机交互操控半实物仿真系统，其特征在于，包括：机载处理器，其搭载在无人机上，用于接收手势识别设备、脑电信号测量设备和遥控接收器发送的控制指令，以及地面控制站下发的特性控制指令，按照相应的控制指令或特定控制指令控制无人机，并将控制指令通过串口通讯模块传输至地面控制站和仿真上位机；手势识别设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接，用于将采集到的手势信号融合处理后转换成对无人机的控制指令，并将控制指令传递给所述机载处理器；脑电信号测量设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接，用于将采集...

【技术特征摘要】
1.一种多模态无人机人机交互操控半实物仿真系统，其特征在于，包括：机载处理器，其搭载在无人机上，用于接收手势识别设备、脑电信号测量设备和遥控接收器发送的控制指令，以及地面控制站下发的特性控制指令，按照相应的控制指令或特定控制指令控制无人机，并将控制指令通过串口通讯模块传输至地面控制站和仿真上位机；手势识别设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接，用于将采集到的手势信号融合处理后转换成对无人机的控制指令，并将控制指令传递给所述机载处理器；脑电信号测量设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接，用于将采集到的脑电信号分类处理后转换成对无人机的控制指令，并将控制指令传递给所述机载处理器；遥控器，其通过PPM接口与所述机载处理器通信连接，用于将所述遥控器的控制指令传递给所述机载处理器；仿真上位机，其上搭载有AirSim模拟器，并通过串口通讯模块与所述机载处理器通信连接，用于接收所述机载处理器的控制指令和所述地面控制站传输的特定控制指令，根据控制指令或特定控制指令建立无人机飞行的仿真模型、设置仿真参数，对无人机进行飞行模拟，并显示控制无人机飞行过程的仿真界面；地面控制站，其通过串口通讯模块与所述机载处理器通信连接，并通过UDP协议与所述仿真上位机通信连接，用于接收所述机载处理器传输的无人机控制指令，可根据需求下发特定控制指令至所述机载处理器，并将特定控制指令传输至所述仿真上位机。2.根据权利要求1所述的多模态无人机人机交互操控半实物仿真系统，其特征在于，所述手势识别设备包括：肌电信号测量设备，其包括佩戴在操控者两只手臂上的若干个肌电电极、用以消除共模干扰的驱动电路、模数转换芯片、微控制单元MCU以及佩戴在操控者腿上的震动马达，若干个肌电电极以环状阵列形式粘贴在操控者左前臂和右前臂上，用于采集操控者的肌电信号，若干个肌电电极和所述驱动电路均与所述模数转换芯片相连，所述模数转换芯片通过SPI接口与所述微控制单元MCU双向通信连接，所述微控制单元MCU与所述震动马达相连；姿态信号测量设备，其包括佩戴在操控者两只手臂上的若干IMU；手势识别解码设备，其输入端通过串口通讯模块与所述微控制单元MCU和所述若干IMU相连，输出端通过串口与所述转接模块输入端相连，所述转接模块输出端与所述机载处理器通信连接。3.根据权利要求2所述的多模态无人机人机交互操控半实物仿真系统，其特征在于，所述转接模块选用基于AVR处理器的Arduinomega2560芯片，具有四路串口和四路中断源。4.根据权利要求1所述的多模态无人机人机交互操控半实物仿真系统，其特征在于，所述遥控器为八通道遥控器，其中，通道一为控制滚转，通道二为控制俯仰，通道三为控制油门，通道四为控制航向，通道五为切换飞行模式，包括自稳飞行模式、定高飞行模式和定点飞行模式，通道六为切换输入方式，包括遥控控制方式、脑机控制方式和手势控制方式，通道七和通道八均为备用通道。5.根据权利要求1所述的多模态无人机人机交互操控半实物仿真系统，其特征在于，所述串口通讯模块采用APC2770通讯模块。6.根据权利要求1所述的多模态无人机人机交互操控半实物仿真系统，其特征在于，所述脑电信号测量设备包括粘贴在操控者脑部的A2干电极、Fp2干电极和C4干电极，以及脑电检测与处理芯片，所述脑电检测与处理芯片将所述A2干电极、Fp2干电极和C4干电极采集到的脑电信号处理后获取操控者的大脑思维信息。7.一种多模态无人机人机交互操控半实物仿真方法，其特征在于，包括：步骤1，手势识别设备采集操控者的手势信号，获取操控者的手势信息，实现对操控者手势的识别，并将手势信息转化成...

【专利技术属性】
技术研发人员：赵小川，
申请(专利权)人：赵小川，
类型：发明
国别省市：北京,11