无人自主交通工具中的自适应图像处理制造技术

实施例包括用于无人自主交通工具(UAV)中的自适应图像处理的设备和方法。在各种实施例中，图像传感器可以捕获图像。图像可以是在所述UAV的运动或者盘旋模式期间被获取的。所述UAV可以确定是否稳定所述图像的行引起对图像剪裁余量的违反。即，所述UAV可以估计或者开始调整图像失真，并且剪裁所述图像，以及可以在所述估计/调整期间或者之后评估是否图像剪裁余量被所述结果违反。所述UAV可以响应于确定稳定所述图像的所述行引起对所述图像剪裁余量的违反而降低对所述图像的所述行的稳定。

Adaptive Image Processing in Unmanned Autonomous Vehicle

The embodiments include an apparatus and a method for adaptive image processing in an unmanned autonomous vehicle (UAV). In various embodiments, the image sensor can capture an image. The image may be acquired during the motion or hover mode of the UAV. The UAV can determine whether stabilizing rows of the image causes a violation of the image clipping margin. That is, the UAV can estimate or begin to adjust image distortion, and tailor the image, and can evaluate whether the image tailoring margin is violated by the result during or after the estimation/adjustment period. The UAV can reduce the stability of the rows of the image in response to determining that the rows stabilizing the image cause a violation of the image clipping margin.

【技术实现步骤摘要】
【国外来华专利技术】无人自主交通工具中的自适应图像处理
技术介绍
无人自主交通工具(UAV)正在被开发以用于多种多样的应用。UAV通常被装备为具有一个或多个传感器(诸如，能够捕获图像、图像的序列或者视频的相机)。然而，UAV的运动可能使产生不可接受地失真或者摇摆的图像或者视频。图像稳定(IS)指检测和纠正由捕获图像或者视频期间的相机摇晃引入的虚假运动的过程。在最一般的意义上，虚假全局运动可以包括与预期的相机路径的任何偏离和由非预期的相机移动引入的抖动。多种多样的机械式图像稳定机制和技术是可用的。然而，对于并入多数UAV和与多数UAV一起使用来说，这样的机制通常太重且太昂贵。
技术实现思路
各种实施例包括用于处理由UAV的图像传感器捕获的图像的可以在所述UAV的处理器中被实现的方法。各种实施例可以包括所述UAV的可以捕获图像的图像传感器(诸如，行读取(例如，CMOS)相机)。图像可以是在所述UAV的运动或者盘旋模式期间被获取的。所述UAV的处理器可以确定稳定所述图像的行是否引起对图像剪裁余量的违反。即，所述UAV可以估计或者开始调整图像失真和对图像进行剪裁，以及可以在所述估计/调整期间或者之后评估图像剪裁余量是否被所述结果违反。所述UAV处理器可以响应于确定稳定所述图像的所述行引起对所述图像剪裁余量的违反而降低对所述图像的所述行的所述稳定。各种实施例包括用于至少部分地基于所述估计/调整是否违反所述图像剪裁余量的结果自适应地对图像处理调整进行回退的多个过程。一些实施例包括一种具有成像传感器(例如，相机)和处理器的UAV，所述处理器被配置为具有用于执行上面概述的方法的操作的处理器可执行指令。一些实施例包括一种具有用于执行上面概述的方法的功能的单元的UAV。一些实施例包括一种具有存储在其上的处理器可执行指令的处理器可读存储介质，所述处理器可执行指令被配置为使UAV的处理器执行上面概述的方法的操作。附图说明被并入本文并且构成本说明书的一部分的附图说明了示例实施例，并且与上面给出的一般描述内容和下面给出的详细描述内容一起用于解释各种实施例的特征。图1是根据各种实施例的在通信系统内操作的UAV的系统方框图。图2是说明根据各种实施例的UAV的部件的部件方框图。图3A是说明根据各种实施例的UAV的图像捕获和处理系统的部件的部件方框图。图3B说明了根据各种实施例的一个失真的图像。图3C说明了根据各种实施例的一个经纠正的图像。图4A和4B说明了根据各种实施例的由位于移动的平台上的图像传感器捕获的图像的图像失真。图5说明了根据各种实施例的覆盖在图像处理方案中的边界区域上的经变换的图像。图6是说明根据各种实施例的对由UAV捕获的图像的行进行的变换的部件方框图。图7是说明根据各种实施例的用于自适应的图像处理的方法的流程图。图8是说明根据各种实施例的用于对由UAV的图像传感器捕获的图像进行变换的方法的流程图。图9是说明根据各种实施例的用于对由UAV的图像传感器捕获的图像进行变换的方法的流程图。图10是说明根据各种实施例的用于对由UAV的图像传感器捕获的图像进行变换的方法的流程图。图11是说明根据各种实施例的用于对由UAV的图像传感器捕获的图像进行的变换期间的错误纠正的方法的流程图。图12是说明根据各种实施例的用于对由UAV的图像传感器捕获的图像进行的变换期间的错误纠正的实施例方法的流程图。具体实施方式将参考附图详细描述各种实施例。在任何可能的地方，相同的标号将贯穿附图被用于指相同或者相似的部分。对具体的示例和实施例作出的引用是出于说明的目的的，并且不旨在限制权利要求的范围。各种实施例包括可以在UAV的处理器上被实现的方法，所述方法用于处理由UAV的图像传感器捕获的图像以随着地平线自适应地剪裁图像和针对飞行器纵摇和横摇纠正图像而不需要物理平衡环。各种实施例提升对使用经受纵摇、偏航和横摇的UAV中的卷帘快门型图像传感器捕获的这样的图像进行的图像处理的效率和准确度。各种实施例进一步提升对由处在运动中的UAV捕获的图像进行的图像处理的效率和准确度。如本文中使用的，术语“UAV”指各种类型的无人自主交通工具中的一种类型的无人自主交通工具。UAV可以包括被配置为在没有诸如来自人类操作员或者远程计算设备的远程操作指令的情况下(即，自主地)对UAV进行操纵和/或导航的机载计算设备。替换地，机载计算设备可以被配置为在具有一些远程操作指令或者对被存储在机载计算设备的存储器中的指令的更新的情况下对UAV进行操纵和/或导航。在一些实现中，UAV可以是使用多个推进单元的推进飞行的飞行器，每个推进单元包括为UAV提供推进和/或提升力的一个或多个旋翼。UAV推进单元可以是由一种或多种类型的电源(诸如，电池、燃料电池、电动发电机、太阳能电池或者其它的电源)供电的，这些电源还可以为机载计算设备、导航部件和/或其它的机载部件供电。UAV正在日益被装备为具有用于捕获图像和视频的图像传感器设备。被装备为将地面成像的UAV遭受飞行器的纵摇和横摇导致产生未与地平线对齐的图像的问题。进一步地，UAV的虚假运动可以使产生图像和视频中的抖动或者其它的失真。尽管多种多样的机械式图像稳定机制是可用的(例如，机械式平衡环和光学图像稳定(OIS))，但对于并入多数UAV和与多数UAV一起使用来说，这样的机制通常太重且太昂贵。数字图像稳定(DIS)和电子图像稳定(EIS)技术可以减少或者消除对机械式图像稳定机制(诸如，平衡环)的需求。使用DIS技术的处理器可以基于图像数据(诸如，从图像到图像、或者从帧到帧的改变)对UAV的虚假运动进行估计。例如，处理器可以根据图像数据确定一项或多项图像统计数据。处理器可以例如对连续的帧进行分析以计算变换，变换在被应用于图像或者帧时，减少就前一个图像或者帧来说的运动的效果。然而，图像统计数据不能被用于容易地区分图像传感器的运动与位于图像传感器的视野中的对象的运动。此外，具体地说在移动的对象出现在图像传感器的视野中时，在图像稳定中使用图像统计数据可以导致产生额外的抖动或者摇晃。额外地，在低光或者改变的光照的条件下，可能削弱DIS性能。为了实现EIS，UAV的处理器可以对来自UAV的传感器的传感器数据进行分析以确定UAV的虚假运动。例如，UAV的处理器可以检测UAV的朝向(例如，纵摇和横摇)、UAV的运动(例如，在三个维度上的运动加关于纵摇、横摇和偏航轴的运动)、加速度(例如，振动和抖动)和/或可以从UAV的一个或多个传感器(例如，陀螺仪和加速度计)得到的其它的信息。通过使用所估计的UAV的朝向和运动，UAV的处理器可以对图像或者视频进行处理以纠正具有由该朝向和运动产生的失真的图像。在一些实施例中，可以实时地或者在对图像或者视频的后处理中执行这样的处理。例如，UAV的处理器可以使用传感器数据来确定将在使用例如陀螺仪和加速度计的两个连续的图像或者帧之间被应用于图像传感器的输出的旋转和变换。在EIS系统中，UAV的处理器可以基于UAV的坐标系和关于图像传感器在UAV上的安装的信息以及关于图像传感器的输出的朝向的信息对图像或者视频进行处理。例如，UAV可以包括多种多样的机身架，并且这样的机身架的制造商可以例如在UAV的飞行控制器或者另一个处理器中使用不同的坐标系。机身架坐标系的一个示本文档来自技高网...

【技术保护点】
1.一种稳定无人自主交通工具(UAV)中的图像的方法，包括：通过所述UAV的行读取图像传感器捕获图像；确定稳定所述图像的行是否引起对图像剪裁余量的违反；以及响应于确定稳定所述图像的所述行引起对所述图像剪裁余量的违反，降低对所述图像的所述行的稳定。

【技术特征摘要】
【国外来华专利技术】1.一种稳定无人自主交通工具(UAV)中的图像的方法，包括：通过所述UAV的行读取图像传感器捕获图像；确定稳定所述图像的行是否引起对图像剪裁余量的违反；以及响应于确定稳定所述图像的所述行引起对所述图像剪裁余量的违反，降低对所述图像的所述行的稳定。2.根据权利要求1所述的方法，还包括：计算定义所述UAV的所述图像传感器的旋转的旋转矩阵；对所述图像的行内插所述旋转矩阵以获取行旋转矩阵；至少部分地基于所述行旋转矩阵和相机矩阵稳定所述图像的所述行；以及响应于确定稳定所述图像的所述行不引起对所述图像剪裁余量的违反，输出所述图像的所稳定的行。3.根据权利要求2所述的方法，其中，所述图像的所述行是被所述行读取图像传感器读取的第一个行，所述方法还包括：对于所述图像的每个行执行根据权利要求1和2所述的操作，直到所述图像的每个行被稳定为止。4.根据权利要求1所述的方法，还包括：计算定义所述UAV的所述图像传感器的所述旋转的旋转矩阵；以及至少部分地基于所述旋转矩阵和相机矩阵稳定所述图像；其中，确定稳定所述图像的所述行是否引起对所述图像剪裁余量的违反包括：确定是否所稳定的图像的任何行引起对所述图像剪裁余量的违反；以及响应于确定稳定所述图像的所述行不引起对所述图像剪裁余量的违反，执行以下操作：对所述图像的每个行内插所述旋转矩阵，以获取用于每个分别的行的行旋转矩阵；至少部分地基于所述用于每个分别的行的行旋转矩阵和相机矩阵，稳定所述图像的每个行；以及输出所述图像的每个经稳定的行。5.根据权利要求1所述的方法，还包括：计算定义所述UAV的所述图像传感器的所述旋转的旋转矩阵；对所述图像的中心行内插所述旋转矩阵以获取中心行旋转矩阵；至少部分地基于所述中心行旋转矩阵和相机矩阵，稳定所述图像的所述中心行；以及响应于确定稳定所述图像的所述行不引起对所述图像剪裁余量的违反，执行以下操作：输出所述图像的所稳定的中心行；以及对所述图像的每个剩余的行应用回退因子。6.根据权利要求1所述的方法，其中，降低对所述图像的所述行的稳定包括：计算定义所述UAV的所述图像传感器的所述旋转的旋转矩阵；将最大旋转设置得等于所述旋转矩阵，以及将最小旋转设置得等于单位矩阵；对所述最大旋转与所述最小旋转之间的半途内插所述旋转矩阵；确定...

【专利技术属性】
技术研发人员：黄寅，L·张，X·朱，王若伟，任江涛，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US