无人自主飞行器中的图像处理制造技术

各实施例包括用于处理由无人自主飞行器(UAV)的图像传感器捕获的图像的设备和方法。该UAV的处理器可确定该UAV的机体坐标矩阵。该处理器可确定该UAV的该图像传感器的估计旋转。该处理器可确定该UAV的估计旋转。该处理器可基于机体坐标矩阵、该图像传感器的估计旋转、和该UAV的估计旋转来变换由该图像传感器捕获的图像。

Image Processing in UAV

The embodiments include devices and methods for processing images captured by an image sensor of an unmanned autonomous vehicle (UAV). The UAV processor can determine the body coordinate matrix of the UAV. The processor can determine the estimated rotation of the image sensor of the UAV. The processor can determine the estimated rotation of the UAV. The processor can transform the image captured by the image sensor based on the body coordinate matrix, the estimated rotation of the image sensor, and the estimated rotation of the UAV.

【技术实现步骤摘要】
【国外来华专利技术】无人自主飞行器中的图像处理背景正在开发用于较宽范围的应用的无人自主飞行器(UAV)。UAV通常装备有一个或多个传感器，诸如能够捕获图像、一系列图像、或视频的相机。然而，UAV的运动可能导致不可接受的失真或摇晃的图像或视频。图像稳定(IS)指代在图像或视频的捕获期间检测和校正由于相机晃动而引入的虚假运动的过程。在最一般意义上，虚假全局运动可包括与预期相机路径的任何偏离以及由于非预期相机移动而引入的抖动。各种各样的机械图像稳定机构和技术可以是可用的。然而，此类机构对于纳入到大多数UAV中且与大多数UAV联用而言通常是太重且太昂贵的。概述各个实施例包括可在UAV的处理器上实现的用于处理由该UAV的图像传感器捕获的图像的方法。各个实施例可包括：确定该UAV的机体坐标矩阵，确定该UAV的该图像传感器的估计旋转，确定该UAV的估计旋转，以及基于该机体坐标矩阵、该图像传感器的估计旋转、和该UAV的估计旋转来变换由该图像传感器捕获的图像。在一些实施例中，该UAV的估计旋转可基于该UAV的所确定的机体坐标矩阵、该UAV的该图像传感器的估计旋转、和使用该机体坐标矩阵执行的转置中的一者或多者。在一些实施例中，该UAV的处理器可确定变换矩阵，可使用所确定的变换矩阵来变换由该UAV的该图像传感器捕获的图像。在一些实施例中，该处理器可将镜像置换矩阵应用于由该UAV的该图像传感器捕获的图像。在一些实施例中，该处理器可执行包括将该变换矩阵和该镜像置换矩阵应用于所捕获图像的一步操作。一些实施例包括一种具有成像传感器(例如，相机)以及处理器的UAV，该处理器被配置有处理器可执行指令以执行以上概述的方法的操作。一些实施例包括一种UAV，其具有用于执行以上概述的方法的功能的装置。一些实施例包括其上存储有处理器可执行指令的处理器可读存储介质，这些处理器可执行指令被配置成使得UAV的处理器执行以上概述的方法的操作。附图简述纳入于此且构成本说明书一部分的附图解说了各示例实施例，并与以上给出的概括描述和下面给出的详细描述一起用来解释各个实施例的特征。图1是根据各个实施例的UAV在通信系统内操作的系统框图。图2是解说根据各个实施例的UAV的各组件的组件框图。图3A是解说根据各个实施例的UAV的图像捕获和处理系统的各组件的组件框图。图3B解说了根据各个实施例的失真图像。图3C解说了根据各个实施例的经校正图像。图4A和4B解说了根据各个实施例的由移动平台上的图像传感器捕获的图像中的图像失真。图5A和5B解说了根据各个实施例的UAV的坐标系。图6是解说根据各个实施例的UAV中的图像处理的方法的图像模型序列。图7是解说根据各个实施例的UAV中的图像处理的方法的过程流程图。详细描述将参照附图详细描述各个实施例。在可能之处，相同附图标记将贯穿附图用于指代相同或类似部分。对特定示例和实施例作出的引述用于解说性目的，而无意限定权利要求的范围。各个实施例包括可在UAV的处理器上实现的用于处理由该UAV的图像传感器捕获的图像以将图像与地平线重新对准并针对飞行器俯仰和滚转来校正图像而无需物理万向节(gimbal)的方法。各个实施例针对可使用不同的机身框架(bodyframe)坐标系的较宽范围的UAV机身框架以及安装至该UAV的不同图像传感器来提高对此类图像进行图像处理的效率和准确度。各个实施例进一步提高了对由运动中的UAV捕获的图像进行图像处理的效率和准确度。如本文中所使用的，术语“UAV”指代各种类型的无人自主飞行器(unmannedautonomousvehicle)中的一者。UAV可包括配置成在没有(诸如来自人类操作员或远程计算设备的)远程操作指令的情况下(即，自主地)操纵和/或导航该UAV的机载计算设备。替换地，该机载计算设备可被配置成使用一些远程操作指令或者对存储在该机载计算设备的存储器中的指令的更新来操纵和/或导航UAV。在一些实现中，UAV可以是使用多个推进单元来推进飞行的飞行器，每个推进单元包括为该UAV提供推进力和/或提升力的一个或多个旋翼。UAV推进单元可由一种或多种类型的电功率源(诸如电池、燃料电池、电动发电机、太阳能电池、或其他电功率源)供电，该一种或多种类型的电功率源也可为机载计算设备、导航组件、和/或其他板载组件供电。UAV越来越多地装备有用于捕获图像和视频的图像传感器设备。装备成对地面进行成像的UAV遭受飞行器的俯仰和滚转导致不与地平线对准的图像的问题。此外，UAV的虚假运动可能导致图像和视频中的抖动或其他失真。虽然各种各样的机械图像稳定机构(例如，机械万向节和光学图像稳定(OIS))是可用的，但是此类机构对于纳入到大多数UAV中且与大多数UAV联用而言通常是太重且太昂贵的。数字图像稳定(DIS)和电子图像稳定(EIS)技术可以减少或消除对机械图像稳定机构(诸如万向节)的需要。采用DIS技术的处理器可基于图像数据(诸如逐图像或逐帧的变化)来估计UAV的虚假运动。例如，处理器可从图像数据确定一个或多个图像统计。处理器可例如分析连贯帧以计算变换，该变换在被应用于图像或帧时相对于先前图像或帧减少运动的影响。然而，图像统计不能被用来将图像传感器的运动与图像传感器的视野中的对象的运动容易地区分开。此外，在图像稳定中使用图像统计、特别是在图像传感器的视野中存在移动对象时可能导致视频中的附加抖动或晃动。附加地，DIS性能可能在低光或正改变的照明条件下受损。为了实现EIS，UAV的处理器可分析来自该UAV的传感器的传感器数据以确定该UAV的虚假运动。例如，UAV的处理器可检测该UAV的定向(例如，俯仰和滚转)、该UAV的运动(例如，在三维中加上关于俯仰、滚转和偏航轴的运动)、加速度(例如，振动和抖动)、和/或可从该UAV的一个或多个传感器(例如，陀螺仪和加速计)可用的其他信息。使用UAV的估计定向和估计运动，该UAV的处理器可以处理图像或视频以对图像校正该由定向和运动引起的失真。在一些实施例中，该处理可被实时地执行或在对图像或视频的后处理中执行。例如，UAV的处理器可使用传感器数据来确定要在两个连贯图像或帧之间使用例如陀螺仪和加速计来应用于图像传感器的输出的旋转和平移。在EIS系统中，UAV的处理器可基于该UAV的坐标系和关于该UAV上的图像传感器的安装的信息、以及关于图像传感器的输出的定向的信息来处理图像或视频。例如，UAV可包括各种各样的机身框架，并且此类机身框架的制造商可例如在飞行控制器或该UAV的另一处理器中利用不同的坐标系。机身框架坐标系的一个示例是北-东-地(NED)，其中沿x轴的正值指示北，沿y轴的正值指示东，并且沿x轴的正值指示地(即，朝向重力)。机身框架坐标系的另一示例是北-西-天(NWU)，其中沿x轴的正值指示北，沿y轴的正值指示西，沿x轴的正值指示天(即，远离重力)。不同UAV制造商和供应商可使用不同的坐标系。作为另一示例，图像传感器(诸如相机)可以使用变化的定向(诸如横向定向或纵向定向)来安装在UAV上。此外，该图像传感器可按各种各样的定向(诸如横向输出或纵向输出)来输出图像信息。各种实施例提供由UAV的处理器实现的用于处理由该UAV的图像传感器捕获的图像的方法。各个实施例进一步提高了对由运动中的UAV捕获的图像进行图本文档来自技高网...

【技术保护点】
1.一种处理由无人自主飞行器(UAV)的图像传感器捕获的图像的方法，包括：确定所述UAV的机体坐标矩阵；确定所述UAV的所述图像传感器的估计旋转；确定所述UAV的估计旋转；以及基于所述机体坐标矩阵、所述图像传感器的估计旋转和所述UAV的估计旋转来变换由所述图像传感器捕获的图像。

【技术特征摘要】
【国外来华专利技术】1.一种处理由无人自主飞行器(UAV)的图像传感器捕获的图像的方法，包括：确定所述UAV的机体坐标矩阵；确定所述UAV的所述图像传感器的估计旋转；确定所述UAV的估计旋转；以及基于所述机体坐标矩阵、所述图像传感器的估计旋转和所述UAV的估计旋转来变换由所述图像传感器捕获的图像。2.如权利要求1所述的方法，其特征在于，所述UAV的估计旋转基于所述UAV的所确定的机体坐标矩阵。3.如权利要求1所述的方法，其特征在于，所述UAV的估计旋转基于所述UAV的所述图像传感器的估计旋转。4.如权利要求1所述的方法，其特征在于，所述UAV的估计旋转基于使用所述机体坐标矩阵执行的转置。5.如权利要求1所述的方法，其特征在于，进一步包括：确定变换矩阵，其中基于所述机体坐标矩阵、所述图像传感器的估计旋转、和所述UAV的估计旋转来变换由所述图像传感器捕获的所述图像进一步包括使用所确定的变换矩阵来变换由所述UAV的所述图像传感器捕获的所述图像。6.如权利要求5所述的方法，其特征在于，所述变换矩阵基于所述UAV的估计旋转。7.如权利要求1所述的方法，...

【专利技术属性】
技术研发人员：黄寅，J·任，X·朱，L·张，R·王，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US