一种无人机的沉浸式导航系统，该系统包括无人机和具有适于指向无人机的控制台的地面站，以及显现由无人机的摄像机取得的图像的虚拟现实眼镜。该系统还包括根据从地面站接收的成帧指令修改由成像工具取得的图像的成帧的装置。其还包括周期性地详细拟定眼镜方向与控制台方向之间的角度差的相对航向确定装置(304‑324)以及根据所述角度差详细拟定无人机的成帧指令的装置(316)。因此，避免当用户简单将控制台和包括头部的全身转向无人机以在其移位上跟随无人机时发生成帧的突然变化。
【技术实现步骤摘要】
本专利技术涉及诸如四螺旋桨直升机等等的旋翼无人机。这种无人机设有通过相应马达驱动的多个旋翼，马达可以以不同的方式受控制以导引无人机的高度和速度。
技术介绍
AR.Drone 2.0或法国巴黎Parrot SA的Bebop Drone是这种四螺旋桨直升机的典型实例。它们装备有一系列传感器(加速度计、3轴陀螺测试仪、高度计)、捕捉无人机朝向的场景的图像的前摄像机以及捕捉所飞过地面的图像的垂直视角摄像机。WO 2010/061099 A2和EP 2 364 757 A1(Parrot SA)描述了这种无人机及其通过具有集成加速度计的、例如iPhone型的手机或iPad型(美国苹果公司的注册商标)的多媒体平板电脑等触摸屏多媒体电话或媒体播放器进行导航的原理。这些装置包含探测导航命令和通过Wi-Fi(IEEE 802.11)或蓝牙(注册商标)局域网类型的无线链路与无人机双向数据交换所需的各种控制元件。它们还设有显示通过无人机的前摄像机捕捉的图像的触摸屏，其中，该触摸屏以叠加方式具有通过用户手指在触摸屏上的简单接触来激活命令的若干符号。无人机的前视频摄像机可以特别用于在“沉浸模式”或FPV(第一人称视角)模式下的导航，即，在该模式下，用户以好像他自己在无人机上的相同方式使用摄像机的图像。其还可用于捕捉无人机指向的场景的图像序列。用户因此可以以与由无人机搭载而非手持的摄像机或摄像录像机相同的方式使用无人机。所采集的图像可以被记录、播放、在线放到视频托管网站上、发送给其它因特网用户、在社区网络上共享等。在由申请人销售的Bebop Drone系统中，用户在以名称Skycontroller销售的地面站上直接可以看到由无人机取得的图像，并且可以通过地面站装备有的iPad型平板电脑的触摸界面来控制摄像机的视角。该视角命令作用于由鱼眼类型摄像机取得的图像的数字帧(framing)和失真校正处理，以模仿摄像机轴线的朝向左边、右边、上面和下面的物理运动。此外，地面站具有视频输出，以用于联系在沉浸模式下的导航的FPV眼镜。然而，只要所显示的图像仅依赖于使用者的触摸命令而没有考虑用户的位置以及尤其是其头部的位置，这种沉浸模式会达到其极限。本专利技术在包括无人机、地面导航站和FPV眼镜的系统中旨在允许自然引导无人机，同时允许用户以特别简单、直观且无干扰的方式修改视频图像中所显现的图像的帧。US 8 903 568 B1提出了根据用户头部的运动来引导无人机或携带摄像机的可定向支架，所述运动是由安装在眼镜上或在由用户佩戴的耳机上的传感器探测到的运动。通过将其头部转向一边或者向上或向下转动，用户因此可以控制无人机高度或摄像机方向的变化。然而，当用户用包括头部的其全身将控制台转向无人机以例如跟随该无人机的移位时，该系统没有避开无人机高度或摄像机方向的突然变化。实际上，这种转动被系统解释为旨在产生命令的转动，而其不是用户的意图，使得用户将快速失去其标记，从而无人机变得不能沿所需方向导航。这是本专利技术要努力解决的问题。
技术实现思路
为此，本专利技术提供了上述US 8 903 568 B1中公开的一般类型的无人机导航系统，即包括设有成像工具的无人机和通过无线链路与无人机通信的地面站的无人机导航系统。地面站包括适于指向无人机以保持无线链路的质量的控制台和显现由成像工具取得的并通过无线链路从无人机传输的图像的虚拟现实眼镜。系统还包括根据从地面站接收的成帧指令来修改由成像工具取得的图像的成帧的装置。本专利技术的特征是，系统还包括：用于周期性地详细拟定眼镜方向与控制台方向之间的角度差的相对航向确定装置，以及根据所述角度差为无人机详细拟定(elaborate)成帧指令的装置。因此，该系统仅当用户头部绕偏航轴(横向)且优选地也绕俯仰轴(向上和向下)相对于控制台且因此相对于其全身转动时引起成帧，而当用户用包含头部的其全身转动控制台时不引起成帧，控制台相对于用户全身保持和/或固定。该系统还可选地包括下列有利特征，这些特征单独地采用或根据本领域技术人员会认为技术上兼容的任何组合来采用：-相对航向确定装置包括与地面站相关联的惯性单元和用于确定控制台相对于参考点的航向的处理装置；-与控制台相关联的惯性单元包括磁力计，并且参考点由磁北构成；-相对航向确定装置包括与眼镜相关联的惯性单元和确定相对于参考点的眼镜航向的处理装置；-与眼镜相关联的惯性单元包括磁力计，并且参考点由磁北构成；-该航向确定装置包括：通过眼镜中产生的速度和/或加速度数据的结合来估算眼镜航向的装置；初始化装置，用以当控制台与眼镜之间的航向的物理对应被操作员触发时确定控制台航向与所估算的眼镜航向之间的偏移量；以及从所估算的航向和偏移量来确定校正的眼镜航向的装置；相对航向确定装置包括使控制台航向的角度值与眼镜航向的角度值之间相减的装置；控制台方向和眼镜方向包括至少一个偏航方向和/或俯仰方向；成帧修改装置包括用于将由成像工具取得的鱼眼类型的固定视频图像进行成帧和校正的数字处理装置；该系统还包括将无人机航向指示符叠加到虚拟现实眼镜中所显现的图像的装置。附图说明现将参照附图描述根据本专利技术的无人机与地面站之间的图像传输的系统的示例性实施例，其中，在所有图中，相同的附图标记表示相同或功能类似的元件。图1示意性示出本专利技术有利地应用于的市场的无人机和地面站单元。图2a和图2b示出了对于用户头部的两个不同角位置的、由根据本专利技术的沉浸模式导航眼镜补充的图1的单元。图3是由本专利技术的系统执行的基本功能的逻辑图。具体实施方式现将描述本专利技术的装置的示例性实施例。根据本专利技术的沉浸式成像(第一人称视角)系统包括装备有至少一个成像摄像机的无人机、通过合适范围的无线链路与无人机通信的地面站以及虚拟现实眼镜，该虚拟现实眼镜设有以最现实的可能方式在用户眼前显现给其在无人机上飞行的感觉的图像的工具(在第一人称视角或FPV模式下说明的飞行)。在该实例中，无人机包括具有鱼眼类型镜头的单个摄像机，但作为变型可以包括一组摄像机，以及数字处理工具，该数字处理工具位于飞机上并/或设置在地面站中，使得能够结合各个摄像机的图像。在图1中，附图标记10总地标示无人机，例如四螺旋桨直升机类型的飞行无人机，诸如法国巴黎Parrot SA的Bebop型号。该无人机包括四个共面旋翼12，其马达通过集成导航和高度控制系统独立引导。无人机还包括使得能够得到无人机指向的场景的视频图像的前视角摄像机14，例如具有分辨率1920x 1080像素的CMOS传感器的高清摄像机，该高清摄像机具有与鱼眼类型的大角度镜头相关联的30fps(帧/秒)的视频流的刷新频率。无人机还具有适于使根据用户希望看到的方向由无人机取得的图像实时或几乎实时成帧的图像处理和校正装置，如下文会看见的。无人机通过包括与平板电脑18相关联的遥控控制台20的地面站16导航。平板电脑18是包括可视屏幕22的例如iPad型(注册商标)等的传统平板电脑，并且，引导无人机10并使由机载摄像机14取得的图像可视的应用软件已经被载入平板电脑中。平板电脑18还装备有例如Wi-Fi类型的数据交换无线电接口。其是除了载入应用软件模块外未作修改的标准型号的平板电脑。平板电脑18的屏幕22显示由无人机的机载摄像机14捕捉的场景图像，其中，本文档来自技高网...
【技术保护点】
一种无人机沉浸式导航系统，包括设有成像工具(14)的无人机(10)和通过无线链路与所述无人机通信的地面站(16、40)，所述地面站包括：控制台(20)，所述控制台(20)适于指向无人机以保持无线链路的质量；和虚拟现实眼镜(40)，所述虚拟现实眼镜(40)显现通过所述成像工具取得并通过所述无线链路从所述无人机传输的图像，所述系统还包括根据从所述地面站接收的成帧指令修改由所述成像工具(14)取得的所述图像的成帧的装置，所述系统特征在于，其还包括：相对航向确定装置(302‑324)，所述相对航向确定装置(302‑324)用于周期性地详细拟定所述眼镜方向与所述控制台方向之间的角度差，以及用于根据所述角度差来详细拟定所述无人机的成帧指令的装置(316)。
【技术特征摘要】
2015.04.10 FR 15530911.一种无人机沉浸式导航系统，包括设有成像工具(14)的无人机(10)和通过无线链路与所述无人机通信的地面站(16、40)，所述地面站包括：控制台(20)，所述控制台(20)适于指向无人机以保持无线链路的质量；和虚拟现实眼镜(40)，所述虚拟现实眼镜(40)显现通过所述成像工具取得并通过所述无线链路从所述无人机传输的图像，所述系统还包括根据从所述地面站接收的成帧指令修改由所述成像工具(14)取得的所述图像的成帧的装置，所述系统特征在于，其还包括：相对航向确定装置(302-324)，所述相对航向确定装置(302-324)用于周期性地详细拟定所述眼镜方向与所述控制台方向之间的角度差，以及用于根据所述角度差来详细拟定所述无人机的成帧指令的装置(316)。2.如权利要求1所述的系统，其特征在于，所述相对航向确定装置包括与所述地面站相关联的惯性单元(38)和用于确定所述控制台相对于参考点的航向的处理装置。3.如权利要求2所述的系统，其特征在于，与所述控制台相关联的所述惯性单元(38)包括磁力计，并且所述参考点由磁北构成。4.如权利要求2所述的系统，其特征在于，所述相对...
【专利技术属性】
技术研发人员：N·布鲁莱，A·费朗德，H·塞杜，
申请(专利权)人：鹦鹉无人机股份有限公司，
类型：发明
国别省市：法国;FR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。