基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法技术方案

本发明专利技术提供一种基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法，属于飞行器控制技术领域。该方法首先获取扑翼机姿态和位置信息，然后虚拟扑翼机模型根据真实扑翼机的信息在仿真平台做出对应完全相同的动作；再根据GPS定位对应加载扑翼机所在环境场景，使虚拟环境与真实场景保持完全一致。最后，用户通过观测虚拟仿真平台画面，通过遥控器手柄控制飞行器转向和速度；虚拟控制平台接收用户遥控信号并转发至真实扑翼机，扑翼机执行控制指令后的位姿状态再经由无线串口发送给虚拟控制平台，实现虚拟控制平台与实物平台的动作统一。该方法扑翼机模型与环境的相对运动可以直观地展现，用户可以多层次，多角度观察飞行状态。

Remote Control System and Method of Bionic Flapping-wing Flying Robot Based on Virtual Reality

【技术实现步骤摘要】
基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法
本专利技术涉及飞行器控制
，特别是指一种基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法。
技术介绍
扑翼飞行机器人是一种模仿鸟类飞行方式的新型飞行器，在军事和工业领域具有广阔的应用前景：如低空侦察，城市作战，环境监测等。它的隐蔽性和低能耗等优点，使得它在军事和民用领域都具有重要的发展潜力。对于某些隐蔽的飞行任务如敌情检测，地形勘察等活动，如何实现对扑翼机的远程控制就显得尤为重要。现有的扑翼机控制方法主要采用遥控器控制，由操作员根据飞行器的当前位置或者摄像头传输的图像发送飞行指令，指导飞行。然而，这种方法在扑翼机摄像头存在信号干扰或照明情况不良的情况下无法正常使用。为了解决这一问题，本专利技术提出一种新型的远程遥控方法，通过对扑翼机所处物理环境及机身进行建模，实时获取扑翼机姿态和位置，将真实模型映射到虚拟控制平台，通过对虚拟平台的观测来发送控制指令。相比于传统的远程遥控方法，本专利技术方法能更准确地判断周围环境，规避障碍物，确保飞行安全。
技术实现思路
本专利技术要解决的技术问题是提供一种基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法。该系统包括扑翼机和虚拟控制平台，扑翼机设置姿态传感器、飞控板、GPS和无线串口模块A，虚拟控制平台包括无线串口模块B、上位机和遥控器；飞控板上设置姿态传感器和GPS，飞控板和无线串口模块A相连，遥控器控制上位机，上位机与无线串口模块B进行数据传输，无线串口模块A和无线串口模块B进行数据传输。应用该系统的方法包括步骤如下：S1：真实扑翼机根据信号飞行；S2：获取真实扑翼机姿态和位置信息；S3：虚拟扑翼机模型根据S2中获得的真实扑翼机的信息在虚拟控制平台做出对应完全相同的动作；S4：根据GPS定位对应加载扑翼机所在环境场景，虚拟环境与真实场景保持完全一致；S5：观测虚拟控制平台画面，通过遥控器手柄控制扑翼机飞行状态，如果扑翼机继续飞行，则返回S1，如果扑翼机完成飞行任务，则通过遥控手柄控制扑翼机降落。其中，S2中真实扑翼机的姿态信息包括飞行姿态角和飞行高度。S2中真实扑翼机的姿态和位置信息通过无线传输模块传输到虚拟控制平台。虚拟控制平台载有物理引擎，能够检测碰撞，设置刚体组件。虚拟控制平台为unity3D平台。S4具体过程如下：(1)遥测数据回传至地面站虚拟控制平台；(2)地面站虚拟控制平台对回传数据解析处理；(3)虚拟控制平台的仿真界面定位扑翼机当前位置并加载环境模型同时显示扑翼机姿态，实现扑翼机当前飞行状态重构与环境模型融合。S5中通过遥控器手柄控制的扑翼机飞行状态包括航向左右变化、俯仰角变化、飞行速度高低变化，所述遥控器手柄可以替换为手机、键盘等任意一种输入设备。本专利技术的上述技术方案的有益效果如下：(1)上述基于虚拟现实交互技术的扑翼机远程控制方法操作简单，拓宽用户与扑翼机飞行视野，对于执行特定飞行任务的飞行器来说，具有有效的指导预测作用。(2)场景和模型皆为三维显示，组件之间采用刚体结构，检测真实碰撞，还原物理特性。可以展现真实视觉效果，可用于虚拟现实同步。(3)相较于传统的采用摄像头观测环境，本专利技术方法提供了一种观测扑翼机飞行过程的新方法，更加直观、清晰、有益于指导飞行。(4)单次飞行过程的数据可以以视频形式留存，以便后续飞行积累经验。相较于传统的数字和曲线等数据留存方式，飞行器与环境的交互过程都被记录下来，有利于后期数据分析。(5)在夜间或者照明不良的情况下，或者摄像头无法保证清晰的观测视野的条件下，本专利技术方法也能根据虚拟环境模型判断周围环境，规避障碍物，确保飞行安全。附图说明图1为本专利技术的基于虚拟现实的仿生扑翼飞行机器人远程控制系统结构示意图；图2为本专利技术基于虚拟现实的仿生扑翼飞行机器人远程控制方法的逻辑流程图；图3为本专利技术远程控制方法的软件流程图；图4为扑翼机模型姿态重构与环境融合的软件流程图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本专利技术提供一种基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法。如图1所示，该系统扑翼机和虚拟控制平台，扑翼机设置姿态传感器、飞控板、GPS和无线串口模块A，虚拟控制平台包括无线串口模块B、上位机和遥控器；飞控板上设置姿态传感器和GPS，飞控板和无线串口模块A相连，遥控器控制上位机，上位机与无线串口模块B进行数据传输，无线串口模块A和无线串口模块B进行数据传输。应用该系统的方法包括步骤如下：S1：真实扑翼机根据信号飞行；S2：获取真实扑翼机姿态和位置信息；S3：虚拟扑翼机模型根据S1中获得的真实扑翼机的信息在虚拟控制平台做出对应完全相同的动作；S4：根据GPS定位对应加载扑翼机所在环境场景；S5：观测虚拟控制平台画面，通过遥控器手柄控制扑翼机飞行状态(遥控器左侧摇杆在水平方向的移动对应扑翼机航向的左右变化，竖直方向对应扑翼机俯仰角变化。遥控器右侧摇杆竖直方向的移动对应扑翼机飞行速度的高低变化)，如果扑翼机继续飞行，则返回S1，如果扑翼机完成飞行任务，则通过遥控手柄控制扑翼机降落。本专利技术方法的被控主体以扑翼飞行器为例，实际应用过程中也可以有效兼容包括四旋翼、固定翼在内的其他小型无人机。其中扑翼机部分主要用以飞控板为核心的飞行控制系统(以下简称飞控系统)表示。飞控板上搭载姿态传感器、GPS定位系统以及无线传输模块A。这里需要做出特殊说明的是：大部分可操纵的扑翼机都具有飞控系统，并携带无线传输模块、姿态传感器和GPS导航模块，可以直接移植并应用到本方法的软件上位机。本专利技术方法主要对未搭载以上传感器的扑翼机做出进一步解释：本方法需要用到的设备包括WT901B姿态传感器模块和AS69-T20无线串口模块以及GPS导航模块，其中姿态传感器模块可检测三轴加速度、三轴陀螺仪、三轴欧拉角、三轴磁力计以及气压和高度信息，本实施例选择的数据回传内容为三轴欧拉角信息和高度信息，用于获取扑翼机当前三轴姿态角(俯仰角、偏航角、滚转角)和高度；GPS导航模块用于获取当前扑翼机的位置信息；无线串口模块用于实现扑翼机与虚拟控制平台的信息交互。其中，以上三个模块分别与飞控板连接，其中，数据传输方向为：姿态传感器模块和GPS导航模块检测飞行数据，传递到飞控板，由飞控板上的串口与无线串口模块A进行数据交互，再通过无线串口模块A的发送端将姿态等信息以16进制数发送给无线串口模块B的接收端。串口A和串口B使用无线连接，连接方式为两串口设置同一通信波特率，根据姿态传感器模块的串口通信协议进行数据编码和解码，从而实现扑翼机与虚拟控制平台的数据传输。以上模块为了减小体积和重量，可集成化。根据飞行需要，飞控系统还可以增加其它传感器如摄像头模块。虚拟控制平台由无线传输模块B、上位机软件以及输入设备组成。无线串口传输模块和输入设备都是通过USB接口与电脑进行连接，从而使虚拟控制平台能够获取串口数据和输入指令。其中上位机软件是基于unity3D开发的，可实现如下功能：接收遥控器操作指令、接收无线传输模块数据信息并解码、通过UI界面与用户进行交互、实时显示环境模型以及扑翼机模型运动姿态、记录和保存飞行过程、通过串口模块向真实扑翼机发送控制指令等功能。本领域技术人员可本文档来自技高网...

【技术保护点】
1.一种基于虚拟现实的仿生扑翼飞行机器人远程控制系统，其特征在于：包括扑翼机和虚拟控制平台，扑翼机设置姿态传感器、飞控板、GPS和无线串口模块A，虚拟控制平台包括无线串口模块B、上位机和遥控器；飞控板上设置姿态传感器和GPS，飞控板和无线串口模块A相连，遥控器控制上位机，上位机与无线串口模块B进行数据传输，无线串口模块A和无线串口模块B进行数据传输。

【技术特征摘要】
1.一种基于虚拟现实的仿生扑翼飞行机器人远程控制系统，其特征在于：包括扑翼机和虚拟控制平台，扑翼机设置姿态传感器、飞控板、GPS和无线串口模块A，虚拟控制平台包括无线串口模块B、上位机和遥控器；飞控板上设置姿态传感器和GPS，飞控板和无线串口模块A相连，遥控器控制上位机，上位机与无线串口模块B进行数据传输，无线串口模块A和无线串口模块B进行数据传输。2.应用权利要求1所述的基于虚拟现实的仿生扑翼飞行机器人远程控制系统的方法，其特征在于：包括步骤如下：S1：真实扑翼机根据信号飞行；S2：获取真实扑翼机姿态和位置信息；S3：虚拟扑翼机模型根据S2中获得的真实扑翼机的信息在虚拟控制平台做出对应完全相同的动作；S4：根据GPS定位对应加载扑翼机所在环境场景；S5：观测虚拟控制平台画面，通过遥控器手柄控制扑翼机飞行状态，如果扑翼机继续飞行，则返回S1，如果扑翼机完成飞行任务，则通过遥控手柄控制扑翼机降落。3.根据权利要求2所述的基于虚拟现实的仿生扑翼飞行机器人远程控制方法，其特征在于：所述S2中真实扑翼机的姿态信息包括飞行姿态角和飞行高度。4...

【专利技术属性】
技术研发人员：贺威，田淑芬，付强，穆新星，黄恺，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京,11