用于数字视频增稳的系统和方法技术方案

本发明专利技术提供了一种用于图像增稳和卷帘快门校正的系统、方法和装置。可以提供一种用于图像处理的方法。所述方法可以包括：从被配置为捕获一个或更多个图像帧的成像传感器获得一个或更多个图像数据集；从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器获得一个或更多个位置数据集；将一个或更多个滤波器应用于所述一个或更多个位置数据集以生成一个或更多个经滤波的数据集；将所述一个或更多个位置数据集与所述一个或更多个经滤波的数据集进行比较，以生成一个或更多个空间校正数据集；以及基于空间校正数据校正一个或更多个图像数据集。

System and Method for Digital Video Stabilization

The invention provides a system, method and device for image stabilization and shutter correction. A method for image processing can be provided. The method may include obtaining one or more image data sets from an imaging sensor configured to capture one or more image frames, obtaining one or more position data sets from one or more position sensors configured to measure the position status of the imaging sensor, and filtering one or more positions. The device is applied to the one or more location data sets to generate one or more filtered data sets; compares the one or more location data sets with the one or more filtered data sets to generate one or more spatial correction data sets; and corrects one or more spatial correction data sets based on spatial correction data. One or more image data sets.

【技术实现步骤摘要】
【国外来华专利技术】用于数字视频增稳的系统和方法
技术介绍
如今大多数数字相机能够支持视频捕获。然而，当在相机和成像物体之间存在快速相对移动时，可能劣化视频的图像质量。例如，相机在成像期间的快速或高频的移动(诸如，晃动或振动)可以引起视频抖动。此外，使用卷帘快门机构(常见于多种数字相机)可能加剧上述效果。目前大多数数字相机使用基于互补金属氧化物半导体(CMOS)的图像传感器。CMOS图像传感器通常由卷帘快门(RS)机构激活，由此在不同的时间窗期间顺序地暴露CMOS图像传感器的每一行。由于像素是在不同的时间点获取的，所以相机或成像对象的运动可能导致捕获图像的几何失真。当相机连接到诸如无人飞行器(UAV)的可移动物体时，可能使几何失真加剧。可移动物体的运动可能导致产生的图像倾斜或歪斜一定角度。另外，由振动引起的相机相对于可移动物体的角度朝向的变化可以产生影响图像质量的视场偏移。
技术实现思路
需要通过增稳视频并修正卷帘快门效应来提高视频质量。本专利技术解决了这个需要，还提供了相关优点。这里描述的主题装置和方法提供了紧凑、低成本、可靠和集成的图像增稳系统，其可以应用于不同的成像装置并应用在不同的环境条件下，且可以在捕获图像时基本上实时地增稳图像。在本专利技术的一个方面中，提供了一种用于增稳负载的增稳单元。所述增稳单元可以包括：致动器，由支撑件承载，其中所述致动器被配置为控制负载围绕单个旋转轴线的旋转；以及一个或更多个处理器，由支撑件承载，并单独地或共同地被配置为基于关于所述负载的位置信息生成被传送给电机的信号，以实现对所述负载的旋转的控制，其中所述支撑件连接到所述负载和连接器，其中所述连接器进而连接到可移动物体，且所述支撑件是包围所述致动器和所述一个或更多个处理器的外壳。在一些实施例中，增稳单元中使用的连接器被配置为由可移动物体承载。在一些实施例中，连接器被配置为直接连接到由可移动物体承载的减震元件。在一些实施例中，可移动物体可以是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机、可穿戴设备或数字相机。在一些实施例中，增稳单元中使用的支撑件是可拆卸地连接到可移动物体的外壳。在一些实施例中，支撑件是与连接器分离的部件，同时可旋转地或刚性地连接到连接器。在一些实施例中，支撑件直接将连接器和/或负载相接触。在一些实施例中，支撑件刚性地或可旋转地连接到负载。在一些实施例中，增稳单元要增稳的负载包括成像传感器，该成像传感器被配置为在负载运动的同时捕获一个或更多个图像。在一些实施例中，负载仅能够围绕单个旋转轴线(例如，横滚轴线)相对于该连接器移动。在一些实施例中，负载包括：成像传感器，被配置为捕获图像；一个或更多个位置传感器，被配置为测量负载的位置信息；以及一个或更多个处理器，被配置为基于负载的位置信息来处理图像，其中所述位置信息包括围绕一个或更多个轴线的旋转和加速度。在一些实施例中，在增稳单元中使用的位置信息来源于诸如加速度计、陀螺仪、罗盘和/或GPS的一个或更多个位置传感器。在一些实施例中，位置传感器由支撑件承载，其中它们包括刚性连接到成像传感器的单轴加速度计和单轴陀螺仪。备选地，位置传感器由支撑件承载，其中它们包括刚性安装到成像传感器的三轴加速度计和三轴陀螺仪。在这种情况下，位置传感器的轴线与成像传感器的轴线正交。在一些实施例中，增稳单元中使用的处理器被用来增稳负载围绕横滚轴线的旋转。因此，处理器被配置为接收关于负载的位置信息，基于所述位置信息确定成像传感器围绕单个旋转轴线的旋转失真，并生成使负载围绕该单个旋转轴旋转的信号以补偿旋转失真。根据本专利技术的另一方面，提供了一种用于增稳负载的方法。所述方法可以包括：基于关于负载的位置信息，由支撑件所承载的一个或更多个处理器生成信号以实现对所述负载围绕单个旋转轴线的旋转的控制；以及由支撑件所承载的致动器控制所述负载的旋转，其中电机被配置为响应于所述信号而控制所述负载围绕所述单个旋转轴线的旋转，其中所述支撑件连接到所述负载和连接器，所述连接器进而连接到可移动物体。根据本专利技术的另一方面，提供了一种使图像数据与位置数据相关的方法。所述方法可以包括：获得从被配置为捕获一个或更多个图像的成像传感器导出的一个或更多个图像数据集，其中基于导出各个图像数据集的时间，将各个图像数据集与图像时间戳相关联；获得从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器导出的一个或更多个位置数据集，其中，基于导出所述各个位置数据集的时间，将各个位置数据集与位置时间戳相关联；以及基于所述关联的图像时间戳和所述关联的位置时间戳，由一个或更多个处理器使图像数据集与相应的位置数据集相关，其中由增稳单元控制所述成像传感器围绕单个轴线的旋转运动。在一些实施例中，在相关方法中使用的图像时间戳是由成像传感器生成的，使得时间戳指示成像传感器捕获关联的图像数据集的时间。备选地，可以由一个或更多个传感器生成图像时间戳，使得时间戳指示一个或更多个处理器接收到所述关联的图像数据集的时间。在一些实施例中，由一个或更多个位置传感器生成位置时间戳，使得位置时间戳指示测量关联的位置数据的时间。在一些实施例中，位置传感器包括陀螺仪和加速度计，以提供成像传感器围绕一个或更多个轴的旋转和加速度数据。备选地，位置时间戳可以由一个或更多个处理器生成，使得时间戳指示一个或更多个处理器接收关联的位置数据集的时间。在一些实施例中，可以基于图像时间戳和对应的位置时间戳，由一个或更多个处理器(陀螺仪和加速度计)将图像数据和位置数据相关。在一些实施例中，在图像时间戳和位置时间戳之间可以存在恒定的时间偏移量。在一些实施例中，相关方法还包括：通过对一个或更多个位置数据集应用滤波器(例如，卡尔曼滤波器或互补滤波器)来消除陀螺仪漂移误差。位置数据可以是陀螺仪数据和加速度计数据的组合、罗盘数据和加速度计数据的组合或陀螺仪数据、罗盘数据和加速度计数据的组合。在一些实施例中，相关方法还包括：在捕获图像数据集的同时将低通滤波器应用于对成像传感器的位置状态加以指示的一个或更多个位置数据集。在一些实施例中，可以通过确定成像传感器围绕一个或更多个旋转轴线的空间校正数据集，并基于成像传感器的运动以及由成像传感器捕获的图像数据集的变化之间的变换关系、使用该空间校正数据集校正所述图像数据集，基于相关的位置数据集来校正所述图像数据集。在一些实施例中，通过将一个或更多个滤波器应用于与该图像数据集相关联的位置数据集以产生一组经滤波的数据并将该位置数据集与经滤波的数据集进行比较以生成空间校正数据集，来确定所述空间校正数据集。在一些实施例中，要用相关方法进行相关的图像数据对应于由成像传感器捕获的图像帧内的像素组，该成像传感器包括卷帘快门，且其中与该图像数据集相关的位置数据集指示在捕获该图像数据集的同时成像传感器的位置状态。在一些实施例中，位置数据仅表示成像传感器的旋转运动。在一些实施例中，相关方法中使用的成像传感器、一个或更多个处理器以及一个或更多个位置传感器设置在由可移动物体支撑的负载上。在另一单独但相关的方面，本专利技术提供了一种用于使图像数据与位置数据相关的设备。所述设备可以包括一个或更多个处理器，单独或共同地被配置为：获得从被配置为捕获一个或更多个图像的成像传感器导出的一个或更多本文档来自技高网...

【技术保护点】
1.一种用于增稳负载的增稳单元，所述增稳单元包括：致动器，由支撑件承载，其中所述致动器被配置为控制负载围绕单个旋转轴线的旋转；一个或更多个处理器，由所述支撑件承载，并单独地或共同地被配置为基于关于所述负载的位置信息生成被传送给致动器的信号，以实现对所述负载的旋转的控制，其中所述支撑件被配置为连接到所述负载和连接器，所述连接器进而被配置为连接到可移动物体；以及其中所述支撑件是包围所述致动器和所述一个或更多个处理器的壳体。

【技术特征摘要】
【国外来华专利技术】1.一种用于增稳负载的增稳单元，所述增稳单元包括：致动器，由支撑件承载，其中所述致动器被配置为控制负载围绕单个旋转轴线的旋转；一个或更多个处理器，由所述支撑件承载，并单独地或共同地被配置为基于关于所述负载的位置信息生成被传送给致动器的信号，以实现对所述负载的旋转的控制，其中所述支撑件被配置为连接到所述负载和连接器，所述连接器进而被配置为连接到可移动物体；以及其中所述支撑件是包围所述致动器和所述一个或更多个处理器的壳体。2.根据权利要求1所述的增稳单元，其中所述连接器被配置为由可移动物体承载。3.根据权利要求2所述的增稳单元，其中所述连接器被配置为直接连接到由可移动物体承载的减震元件。4.根据权利要求2所述的增稳单元，其中所述可移动物体是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机、可穿戴设备或数字相机。5.根据权利要求1所述的增稳单元，其中所述支撑件可拆卸地连接到所述连接器。6.根据权利要求1所述的增稳单元，其中所述支撑件是独立于连接器的单独件。7.根据权利要求1所述的增稳单元，其中所述支撑件直接接触所述连接器。8.根据权利要求1所述的增稳单元，其中所述支撑件直接接触所述负载。9.根据权利要求8所述的增稳单元，其中所述负载包括成像传感器，所述成像传感器被配置为在负载运动的同时捕获一个或更多个图像。10.根据权利要求1所述的增稳单元，其中所述负载仅能够围绕单个旋转轴线相对于所述连接器而移动。11.根据权利要求1所述的增稳单元，其中借助于一个或更多个位置传感器导出所述位置信息。12.根据权利要求11所述的增稳单元，其中所述位置传感器包括加速度计、陀螺仪、罗盘和/或GPS。13.根据权利要求12所述的增稳单元，其中所述位置传感器包括单轴加速度计和单轴陀螺仪。14.根据权利要求13所述的增稳单元，其中所述单轴加速度计和单轴陀螺仪刚性连接到所述成像传感器，且所述位置传感器的轴线平行于成像装置的轴线。15.根据权利要求10所述的增稳单元，其中所述位置传感器由所述负载承载。16.根据权利要求15所述的增稳单元，其中所述位置传感器包括三轴加速度计和三轴陀螺仪。17.根据权利要求16所述的增稳单元，其中所述三轴加速度计和三轴陀螺仪刚性安装到所述成像传感器，且所述位置传感器的轴线与所述成像传感器的轴线正交。18.根据权利要求1所述的增稳单元，其中所述负载包括：成像传感器，被配置为捕获图像；一个或更多个位置传感器，被配置为测量负载的位置信息；以及一个或更多个处理器，被配置为基于负载的位置信息来处理图像，其中所述位置信息包括围绕一个或更多个轴线的旋转和加速度。19.根据权利要求1所述的增稳单元，其中所述一个或更多个处理器还被配置为：接收关于所述负载的位置信息；基于所述位置信息，确定所述成像传感器围绕所述单个旋转轴线的旋转变形；以及生成所述信号以围绕所述单个旋转轴线旋转所述负载，从而补偿所述旋转变形。20.一种增稳负载的方法，包括：基于关于负载的位置信息，借助于支撑件所承载的一个或更多个处理器生成信号以实现对所述负载围绕单个旋转轴线的旋转的控制；以及借助于支撑件所承载的致动器控制所述负载的旋转，其中所述致动器被配置为响应于所述信号来控制所述负载围绕所述单个旋转轴线的旋转，其中所述支撑件连接到所述负载和连接器，所述连接器进而连接到可移动物体；以及其中所述支撑件是包围所述致动器和所述一个或更多个处理器的壳体。21.根据权利要求20所述的方法，其中所述连接器被配置为由可移动物体承载。22.根据权利要求21所述的方法，其中所述连接器被配置为直接连接到由可移动物体承载的减震元件。23.根据权利要求21所述的方法，其中所述可移动物体是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机、可穿戴设备或数字相机。24.根据权利要求20所述的方法，其中所述支撑件可拆卸地连接到所述连接器。25.根据权利要求20所述的方法，其中所述支撑件是独立于连接器的单独件。26.根据权利要求20所述的方法，其中所述支撑件直接接触所述连接器。27.根据权利要求20所述的方法，其中所述支撑件直接接触所述负载。28.根据权利要求27所述的方法，其中所述负载包括成像传感器，所述成像传感器被配置为在负载运动的同时捕获一个或更多个图像。29.根据权利要求20所述的方法，其中所述负载仅能够围绕单个旋转轴线相对于所述连接器而移动。30.根据权利要求20所述的方法，其中借助于一个或更多个位置传感器导出所述位置信息。31.根据权利要求30所述的方法，其中所述位置传感器包括加速度计、陀螺仪、罗盘和/或GPS。32.根据权利要求31所述的方法，其中所述位置传感器包括单轴加速度计和单轴陀螺仪。33.根据权利要求32所述的方法，其中所述单轴加速度计和单轴陀螺仪刚性连接到所述成像传感器，且所述位置传感器的轴线平行于成像装置的轴线。34.根据权利要求30所述的方法，其中所述位置传感器由所述负载承载。35.根据权利要求34所述的方法，其中所述位置传感器包括三轴加速度计和三轴陀螺仪。36.根据权利要求35所述的方法，其中所述三轴加速度计和三轴陀螺仪刚性安装到所述成像传感器，且所述位置传感器的轴线与所述成像传感器的轴线正交。37.根据权利要求20所述的方法，其中所述负载包括：成像传感器，被配置为捕获图像；一个或更多个位置传感器，被配置为测量负载的位置信息；以及一个或更多个处理器，被配置为基于负载的位置信息来处理图像，其中所述位置信息包括围绕一个或更多个轴线的旋转和加速度。38.根据权利要求20所述的方法，其中所述一个或更多个处理器还被配置为：接收关于所述负载的位置信息；基于所述位置信息，确定所述成像传感器围绕所述单个旋转轴线的旋转变形；以及生成所述信号以围绕所述单个旋转轴线旋转所述负载，从而补偿所述旋转变形。39.一种使图像数据与位置数据相关的方法，所述方法包括：获得由被配置为捕获一个或更多个图像的成像传感器生成的一个或更多个图像数据集，其中，基于生成各个图像数据集的时间，将各个图像数据集与图像时间戳相关联；获得由被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器生成的一个或更多个位置数据集，其中，基于生成各个位置数据集的时间，将各个位置数据集与位置时间戳相关联；基于关联的图像时间戳和关联的位置时间戳，借助于一个或更多个处理器使图像数据集与相应的位置数据集相关；以及其中，由增稳单元控制所述成像传感器围绕单个轴线的旋转运动。40.根据权利要求39所述的方法，其中所述图像时间戳指示由所述成像传感器捕获关联的图像数据集的时间，其中所述图像时间戳由所述成像传感器生成。41.根据权利要求39所述的方法，其中所述位置时间戳指示由一个或更多个位置传感器测量关联的位置数据集的时间，其中所述位置时间戳由所述一个或更多个位置传感器生成。42.根据权利要求41所述的方法，其中所述一个或更多个位置传感器包括陀螺仪和加速度计。43.根据权利要求41所述的方法，其中所述位置时间戳指示所述陀螺仪测量所述关联的位置数据集的时间。44.根据权利要求41所述的方法，其中所述位置时间戳指示所述加速度计测量所述关联的位置数据集的时间。45.根据权利要求41所述的方法，还包括：借助于所述一个或更多个处理器，基于所述图像时间戳和相应的位置时间戳，将所述图像数据集与陀螺仪数据集和加速度计数据集相关。46.根据权利要求39所述的方法，其中所述图像时间戳指示所述一个或更多个处理器接收关联的图像数据集的时间。47.根据权利要求46所述的方法，还包括：借助于所述一个或更多个处理器生成图像时间戳。48.根据权利要求39所述的方法，其中所述位置时间戳指示所述一个或更多个处理器接收关联的位置数据集的时间。49.根据权利要求48所述的方法，还包括：借助于所述一个或更多个处理器生成位置时间戳。50.根据权利要求39所述的方法，其中所述图像时间戳指示由一个或更多个处理器接收关联的图像数据集的时间，其中所述位置时间戳指示由一个或更多个处理器接收关联的位置数据集的时间，并且其中在针对图像数据集的图像时间戳和针对相关的位置数据集的位置时间戳之间的时间偏移量是恒定的。51.根据权利要求39所述的方法，还包括：通过向所述一个或更多个位置数据集应用滤波器来消除陀螺仪漂移误差，其中所述位置数据包括陀螺仪数据和加速度计数据。52.根据权利要求39所述的方法，还包括：通过向所述一个或更多个位置数据集应用滤波器来消除陀螺仪漂移误差，其中所述位置数据包括罗盘数据和加速度计数据。53.根据权利要求39所述的方法，还包括：通过向所述一个或更多个位置数据集应用滤波器来消除陀螺仪漂移误差，其中所述位置数据包括陀螺仪数据、罗盘数据和加速度计数据。54.根据权利要求39所述的方法，还包括：向所述一个或更多个位置数据集应用低通滤波器，其中图像数据集与由成像传感器捕获的图像帧相对应，且其中与所述图像数据集相关的位置数据集指示所述成像传感器在捕获所述图像数据集时的位置状态。55.根据权利要求54所述的方法，还包括：基于相关的位置数据集来校正图像数据集。56.根据权利要求55所述的方法，还包括：确定所述成像传感器围绕一个或更多个旋转轴的空间校正数据集；以及基于成像传感器的运动和对由成像传感器捕获的图像数据集的改变之间的变换关系，使用所述空间校正数据集来校正所述图像数据集，其中通过以下来确定所述空间校正数据集：向与所述图像数据集相关的位置数据集应用一个或更多个滤波器，以生成滤波后的数据集；以及将所述位置数据集与所述滤波后的数据集进行比较，以生成所述空间校正数据集。57.根据权利要求39所述的方法，其中图像数据集对应于由成像传感器捕获的图像帧内的像素组，所述成像传感器包括卷帘快门，且其中与所述图像数据集相关的位置数据集指示所述成像传感器在捕获所述图像数据集时的位置状态。58.根据权利要求57所述的方法，还包括：基于成像传感器在捕获所述图像帧内的所述像素组时的旋转运动，校正所述图像数据集。59.根据权利要求39所述的方法，其中所述成像传感器、所述一个或更多个处理器以及所述一个或更多个位置传感器设置在由可移动物体支撑的负载上。60.一种用于使图像数据与位置数据相关的设备，所述设备包括一个或更多个处理器，其中所述一个或更多个处理器单独或共同地被配置为：获得从被配置为捕获一个或更多个图像的成像传感器导出的一个或更多个图像数据集，其中基于导出各个图像数据集的时间，将各个图像数据集与图像时间戳相关联；获得从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器导出的一个或更多个位置数据集，其中，基于导出各个位置数据集的时间，将各个位置数据集与位置时间戳相关联；以及基于关联的图像时间戳和关联的位置时间戳，借助于一个或更多个处理器使图像数据集与相应的位置数据集相关。61.根据权利要求60所述的设备，其中所述图像时间戳指示由所述成像传感器捕获关联的图像数据集的时间，其中所述图像时间戳由所述成像传感器生成。62.根据权利要求60所述的设备，其中所述位置时间戳...

【专利技术属性】
技术研发人员：李相根，周力，
申请(专利权)人：深圳市大疆灵眸科技有限公司，
类型：发明
国别省市：广东,44