用于支持按第一人称视角（FPV）的三维显示的系统和方法技术方案

本文涉及能够支持三维显示的系统和方法。所述系统能够接收多个图像帧，所述多个图像帧是由可移动物体上的成像装置捕捉到。另外，所述系统能够获得所述可移动物体上的所述成像装置的状态信息，以及使用所述状态信息来基于所述多个图像帧配置一对图像帧以用于支持三维第一人称视角(FPV)。此外，从所述多个图像帧中选择的图像帧能够用于该对图像帧中的第一图像。

System and method for supporting 3D display based on first person view (FPV)

This article deals with systems and methods that can support 3D display. The system can receive a plurality of image frames, which are captured by an imaging device on a movable object. In addition, the system can obtain state information of the imaging device on the movable object, and use the state information to configure a pair of image frames based on the plurality of image frames to support a three-dimensional first person perspective (FPV). In addition, an image frame selected from the plurality of image frames can be used in the first image of the pair of image frames.

【技术实现步骤摘要】
【国外来华专利技术】用于支持按第一人称视角(FPV)的三维显示的系统和方法版权声明本专利文件的一部分披露内容包括受版权保护的材料。版权所有者并不拒绝任何人对所述专利文件或专利披露内容按照其在专利和商标局专利文件或记录中所呈现地进行复制再现，但是在其他情况下版权所有人保留所有版权权利。专利
所披露的实施方式大体上涉及支持数字显示，并且更具体地但非排他地涉及支持三维显示。背景诸如无人飞行器(UAV)系统等各种移动平台的普遍显示体验被限制为二维的。这是因为用于大多数移动平台的显示设备(例如，外部显示屏幕、特殊显示屏幕、笔记本计算机显示屏幕、和平板计算机)被设计成用于平板显示。另一方面，可能需要不同的立体显示设备来用于显示深度信息，这增加了整个系统的复杂性和成本。例如，为了在三维(3D)显示器上显示立体信息，无人飞行器(UAV)系统除可能需要部署各种特殊的3D显示设备之外还需要部署更复杂的图像捕捉模块、编/解码模块和通信模块。因此，需要开发一种简单且便宜的三维(3D)显示器。这是本专利技术的实施方式所旨在解决的大体领域。概述本文阐述了能够支持三维显示的系统和方法。这种系统能够接收多个图像帧，所述图像帧是由可移动物体上的成像装置捕捉。另外，所述系统能够获得所述可移动物体上的所述成像装置的状态信息，并且使用所述状态信息来基于所述多个图像帧配置一对图像帧，用于支持三维第一人称视角(FPV)。此外，从所述多个图像帧中选择的图像帧能够用于该对图像帧中的第一图像。附图简要说明图1示出了根据本专利技术的各个实施方式的可移动物体环境。图2示出了根据实施方式的在可移动物体环境中的示例性载体。图3示出了根据本专利技术的各个实施方式在可移动物体环境中经由可移动物体支持三维显示。图4示出了根据本专利技术的各个实施方式在可移动物体环境中经由终端支持三维显示。图5示出了根据本专利技术的各个实施方式在可移动物体环境中支持三维第一人称视角(FPV)。图6示出了根据本专利技术的各个实施方式在可移动物体环境中在视场(FOV)从左向右移动时支持三维(3D)第一人称视角(FPV)。图7示出了根据本专利技术的各个实施方式在可移动物体环境中在视场(FOV)从右向左移动时支持三维(3D)第一人称视角(FPV)。图8示出了根据本专利技术的各个实施方式在可移动物体环境中支持三维显示的流程图。图9示出了根据本专利技术的各个实施方式在可移动物体环境中针对不同状态支持三维第一人称视角(FPV)。图10示出了根据本专利技术的各个实施方式在可移动物体环境中针对不同状态支持三维第一人称视角(FPV)的流程图。详细说明在附图的图式中以举例而非限制的方式来展示本专利技术，其中，相同的元件符号指代类似的元件。应注意的是，本披露中对“一种”或“一个”或“某些”实施方式的引用不一定指相同实施方式，并且这种引用意味着至少一个。以下对本专利技术的描述使用无人飞行器(UAV)作为可移动物体的示例。本领域技术人员将清楚的是，可以不受限制地使用其他类型的可移动物体。图1示出了根据本专利技术的各个实施方式的可移动物体环境。如图1中所示，可移动物体环境100中的可移动物体118可以包括载体102和有效载荷104。尽管可移动物体118可以被描绘为飞行器，但是此描绘并不希望是限制性的，并且可以使用任何合适类型的可移动物体。本领域技术人员将认识到，本文在飞行器系统的背景中所描述的任何实施方式可以适用于任何合适的可移动物体(例如UAV)。在某些情形中，有效载荷104可以设置在可移动物体118上而无需载体102。根据本专利技术的各个实施方式，可移动物体118可以包括一个或多个移动机构106(例如推进机构)、感测系统108和通信系统110。移动机构106可以包括旋翼、螺旋桨、桨叶、发动机、电机、轮子、轮轴、磁铁、喷嘴、动物或人类中的一者或多者。例如，所述可移动物体可以具有一个或多个推进机构。移动机构106可以全部是相同的类型。备选地，移动机构106可以是不同类型的移动机构。移动机构106可以使用任何合适的手段(如支撑元件(如传动轴))安装在可移动物体118上(或反之亦然)。移动机构106可以安装在可移动物体118的任何合适的部分上，诸如，在顶部、底部、前面、背面、侧面、或其合适的组合。在某些实施方式中，移动机构106可以使可移动物体118能够垂直地从表面起飞或者垂直地降落在表面上，而无需可移动物体118做出任何水平移动(如无需在跑道上滑行)。任选地，移动机构106可以是可操作来允许可移动物体118按指定的位置和/或朝向在空中悬停。移动机构106中的一个或多个可以独立于其他移动机构被控制。备选地，移动机构106可以被配置成被同时控制。例如，可移动物体118可以具有多个水平取向的旋翼，所述水平取向的旋翼可以为可移动物体提供升力和/或推力。可以致动所述多个水平取向的旋翼以为可移动物体118提供垂直起飞、垂直降落和悬停能力。在某些实施方式中，所述水平取向的旋翼中的一个或多个旋翼可以沿顺时针方向自旋，而所述水平旋翼中的一个或多个旋翼可以沿逆时针方向自旋。例如，顺时针旋转的旋翼数量可以与逆时针旋转的旋翼数量相等。每个水平取向的旋翼的旋转速率可以独立地变化以控制由每个旋翼产生的升力和/或推力，并且由此调整可移动物体118的空间布局、速度和/或加速度(例如，关于高达三个平移度和高达三个旋转度)。感测系统108可以包括一个或多个传感器，所述一个或多个传感器可以感测可移动物体118的空间布局、速度和/或加速度(例如，关于各种平移度和各种旋转度)。所述一个或多个传感器可以包括任何传感器，包括GPS传感器、运动传感器、惯性传感器、接近传感器、或图像传感器。由感测系统108提供的感测数据可以用于控制可移动物体118的空间布局、速度和/或朝向(例如，使用合适的处理单元和/或控制模块)。备选地，感测系统108可以用于提供关于可移动物体周围环境的数据，诸如气象条件、对潜在障碍物的接近、地理特征的位置、人造结构的位置等等。通信系统110能够经由无线信号116与具有通信系统114的终端112进行通信。通信系统110、114可以包括任何数量的适于无线通信的发射器、接收器和/或收发器。所述通信可以为单向通信，使得可以在仅一个方向上传输数据。例如，单向通信可以仅涉及可移动物体118向终端112传输数据，或反之亦然。数据可以从通信系统110的一个或多个发射器传输到通信系统112的一个或多个接收器，或反之亦然。备选地，通信还可以是双向通信，使得可以在可移动物体118与终端112之间在两个方向上传输数据。所述双向通信可以涉及将数据从通信系统110的一个或多个发射器传输到通信系统114的一个或多个接收器，并且反之亦然。在一些实施方式中，终端112可以提供控制数据给可移动物体118、载体102、以及有效载荷104中的一个或多个并且接收来自可移动物体118、载体102以及有效载荷104中的一个或多个的信息(例如，可移动物体、载体或有效载荷的位置和/或运动信息；由有效载荷感测到的数据，例如由有效载荷相机捕捉的图像数据；以及根据由有效载荷相机捕捉的图像数据而生成的数据)。在某些情形中，来自终端的控制数据可以包括用于可移动物体、载体和/或有效载荷的相对位置、移动、致动或控制的指令。例如，控制数据可以导致可移动物体的位置和本文档来自技高网...

【技术保护点】
一种用于支持三维(3D)显示的方法，所述方法包括：接收多个图像帧，所述多个图像帧是由可移动物体上的成像装置捕捉到；获得所述可移动物体上的所述成像装置的状态信息；以及使用所述可移动物体上的所述成像装置的所述状态信息来基于所述多个图像帧配置一对图像帧，其中，从所述多个图像帧中选择的图像帧用于该对图像帧中的第一图像。

【技术特征摘要】
【国外来华专利技术】1.一种用于支持三维(3D)显示的方法，所述方法包括：接收多个图像帧，所述多个图像帧是由可移动物体上的成像装置捕捉到；获得所述可移动物体上的所述成像装置的状态信息；以及使用所述可移动物体上的所述成像装置的所述状态信息来基于所述多个图像帧配置一对图像帧，其中，从所述多个图像帧中选择的图像帧用于该对图像帧中的第一图像。2.如权利要求1所述的方法，其中：所述状态信息是基于从用于所述可移动物体的控制模块接收到的所述可移动物体的定位和姿态信息以及从有效载荷稳定控制模块接收到的所述成像装置的姿态信息来确定的，其中，所述有效载荷稳定控制模块控制稳定系统，所述稳定系统使所述可移动物体上的所述成像装置稳定。3.如权利要求1所述的方法，还包括：将该对图像帧提供给显示装置，所述显示装置适于显示三维(3D)第一人称视角(FPV)。4.如权利要求1所述的方法，其中：该对图像帧中的所述第一图像帧是图像帧流中的最新图像帧。5.如权利要求1所述的方法，还包括：基于所述可移动物体上的所述成像装置的状态信息确定所述三维FPV的视场(FOV)的移动。6.如权利要求5所述的方法，还包括：如果所述三维FPV的所述FOV从左向右移动，则为所述三维(3D)FPV中的右图像配置该对图像帧中的所述第一图像帧，以及如果所述三维FPV的所述FOV从右向左移动，则为所述三维(3D)FPV中的左图像配置该对图像帧中的所述第一图像帧。7.如权利要求1所述的方法，还包括：基于帧计数差值在所述多个图像帧中选择另一个图像作为该对图像帧中的第二图像。8.如权利要求7所述的方法，还包括：基于所述可移动物体上的所述成像装置的所述状态信息来动态地重新配置该对图像帧中的所述第一图像帧与所述第一图像帧之间的所述帧计数差值。9.如权利要求7所述的方法，还包括：允许用户在观看所述三维FPV时配置该对图像帧中的所述第一图像帧与所述第二图像帧之间的所述帧计数差值。10.如权利要求1所述的方法，还包括：获得该对图像帧中的所述第一图像与一对基础图像帧中的第一图像之间的变换关系，以及基于该对基础图像帧中的第二图像和所述变换关系获得该对图像帧中的第二图像。11.如权利要求10所述的方法，其中：所述变换关系是单应性矩阵，所述单应性矩阵是基于该对图像帧中的所述第一图像与该对基础图像帧中的所述第一图像之间的匹配特征点而获得。12.如权利要求10所述的方法，还包括：基于所述多个图像帧获得另一对图像帧，其中，从所述多个图像帧中选择的图像帧用作所述另一对图像帧中的第一图像，并且基于该对图像帧中的所述第二图像和另一个变换关系获得所述另一对图像帧中的第二图像。13.如权利要求1所述的方法，还包括：基于存储在所述图像高速缓存中的图像确定该对图像帧中的所述第二图像，其中，所述图像高速缓存操作以存储所述图像帧流的一部分和/或图像帧缓冲区。14.如权利要求1所述的方法，还包括：基于该对图像帧中的第一图像帧与第二图像帧之间的估计帧计数差值来配置图像高速缓存的大小。15.一种用于支持三维(3D)显示的系统，所述系统包括：一个或多个微处理器；在所述一个或多个微处理器上运行的转换器，其中，所述转换器操作以接收多个图像帧，所述多个图像帧是由可移动物体上的成像装置捕捉到；获得所述可移动物体上的所述成像装置的状态信息；以及使用所述可移动物体上的所述成像装置的所述状态信息来基于所述多个图像帧配置一对图像帧，其中，从所述多个图像帧中选择的图像帧用于该对图像帧中的第一图像。16.如权利要求15所述的系统，其中：所述状态信息是基于从用于所述可移动物体的控...

【专利技术属性】
技术研发人员：曹子晟，暴林超，胡攀，王铭钰，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44