用于增强立体显示的系统和方法技术方案

本文提供了用于处理并显示由可移动物体获得的立体视频数据的系统、方法和装置。可以提供一种用于感测可移动物体被配置为在其中操作的环境的方法。还可以提供一种生成环境的第一人称视角(FPV)的方法。所述方法可以包括：借助于一个或多个处理器，单独地或共同地分析环境的立体视频数据以确定环境信息，并通过将立体视频数据和环境信息融合来生成环境的增强立体视频数据。

【技术实现步骤摘要】
【国外来华专利技术】用于增强立体显示的系统和方法
技术介绍
包含第一人称视角(FPV)图像或视频的用户界面可以提供交互式和沉浸式用户体验。在一些情况下，可以在双目视觉显示装置上呈现FPV图像或视频。通过显示装置上的FPV操作无人机(UAV)的用户可以获得类似于在空中驾驶载运工具的体验。在一些情况下，当使用广角镜头捕获FPV图像或视频时，可能会发生透视失真，这可能会影响用户对物理环境中的物体之间距离的感知，并可能会在UAV的操作期间危及飞行安全。
技术实现思路
需要一种直观且易于使用、并允许用户通过与人机界面的交互来安全地管理和操作飞行器的FPV飞行控制和引导系统。本专利技术解决了这个需要，还提供了相关优点。在本专利技术的一方面，提供了一种用于生成环境的第一人称视角(FPV)的方法。所述方法可以包括：借助于一个或多个处理器，单独地或共同地：分析环境的立体视频数据以确定环境信息；通过将所述立体视频数据和所述环境信息融合来生成环境的增强立体视频数据。根据本专利技术的一方面，提供了一种用于生成环境的第一人称视角(FPV)的设备。所述设备可以包括一个或多个处理器，单独或共同地被配置为：分析环境的立体视频数据以确定环境信息；本文档来自技高网...

【技术保护点】
1.一种用于生成环境的第一人称视角FPV的方法，所述方法包括：借助于一个或多个处理器，单独地或共同地：分析环境的立体视频数据以确定环境信息；以及通过将所述立体视频数据和所述环境信息融合来生成环境的增强立体视频数据。

【技术特征摘要】
【国外来华专利技术】1.一种用于生成环境的第一人称视角FPV的方法，所述方法包括：借助于一个或多个处理器，单独地或共同地：分析环境的立体视频数据以确定环境信息；以及通过将所述立体视频数据和所述环境信息融合来生成环境的增强立体视频数据。2.根据权利要求1所述的方法，其中，分析立体视频数据包括：对图像帧的立体匹配和/或深度图计算。3.根据权利要求2所述的方法，其中，所述立体匹配包括：基于从图像帧中提取的特征点的运动特性来匹配所述特征点。4.根据权利要求2所述的方法，其中，所述深度图计算包括：过滤深度图并将阈值应用于深度图。5.根据权利要求4所述的方法，其中，所述阈值被应用于对深度图内具有预定大小和/或预定数量的像素的环境中的物体进行分类。6.根据权利要求1所述的方法，其中，所述环境信息包括环境地图，其中所述环境地图包括拓扑图或度量图。7.根据权利要求6所述的方法，其中所述度量图包括以下至少一项：点云、3D栅格地图、2D栅格地图、2.5D栅格地图或占据栅格地图。8.根据权利要求1所述的方法，其中，所述环境信息包括：(1)可移动物体与环境中的一个或多个物体之间的相对位置，和/或(2)环境中两个或更多个物体之间的相对位置。9.根据权利要求1所述的方法，其中，所述环境信息包括可移动物体距环境中的物体的距离，和/或所述可移动物体相对于所述物体的朝向。10.根据权利要求9所述的方法，其中，所述可移动物体被配置为跟随或跟踪所述物体。11.根据权利要求9所述的方法，其中，所述物体是位于所述可移动物体的运动路径中的障碍物，并且所述可移动物体被配置为避开所述物体。12.根据权利要求1所述的方法，其中，将立体视频数据和环境信息融合包括：将所述环境信息合并在所述立体视频数据中。13.根据权利要求9所述的方法，其中，所述环境的增强立体视频数据包括与所述环境信息相关联的图形元素。14.根据权利要求13所述的方法，其中，所述图形元素叠加在显示在远离所述可移动物体的终端上的环境的FPV上。15.根据权利要求13所述的方法，其中，所述图形元素被配置为：随着所述可移动物体相对于环境中的所述物体的位置或朝向改变而动态改变。16.根据权利要求9所述的方法，其中，所述可移动物体是无人机。17.根据权利要求14所述的方法，其中，所述终端包括头戴式显示器HMD。18.根据权利要求14所述的方法，其中，所述终端包括一副支持虚拟现实VR或增强现实AR的眼镜。19.根据权利要求14所述的方法，其中，所述终端包括安装到可折叠头盔上的移动装置，所述移动装置具有被配置为显示FPV的图形显示器。20.根据权利要求14所述的方法，其中，所述终端允许用户从所述第一人称视角FPV控制并导航所述可移动物体。21.根据权利要求20所述的方法，其中，所述可移动物体是无人机UAV。22.一种用于生成环境的第一人称视角FPV的设备，所述设备包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：分析环境的立体视频数据以确定环境信息；以及将所述立体视频数据和所述环境信息融合，由此生成环境的增强立体视频流。23.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于生成环境的第一人称视角FPV的方法，所述方法包括：分析环境的立体视频数据以确定环境信息；以及将所述立体视频数据和所述环境信息融合，由此生成环境的增强立体视频数据。24.一种用于显示环境的信息的方法，所述方法包括：在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角FPV，其中，所述增强立体视频数据是通过合并以下内容而生成的：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。25.根据权利要求24所述的方法，其中，...

【专利技术属性】
技术研发人员：黄志聪，赵丛，杨硕，武燕楠，杨康，周谷越，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44