电子图像稳定频率估计器制造技术

公开了用于确定启用或禁用针对视频帧的电子图像稳定(EIS)的系统和方法。相机系统的图像传感器捕获包括多个视频帧的视频流。图像处理器确定计算资源的可用性，这样的计算资源可以处理对每个视频帧的EIS的应用。同时，图像处理器从陀螺仪接收相机系统的运动数据。基于计算资源可用性，运动频率阈值被确定。基于陀螺仪运动数据，每个视频帧的运动频率被估计。将所估计的运动频率与所确定的运动频率阈值相比较。如果所估计的运动频率大于所确定的运动频率阈值，EIS的应用被禁用。如果所估计的运动频率小于或等于所确定的运动频率阈值，EIS的应用被启用。

Electronic Image Stabilized Frequency Estimator

Systems and methods for determining whether to enable or disable electronic image stabilization (EIS) for video frames are disclosed. The image sensor of the camera system captures video streams including multiple video frames. The image processor determines the availability of computing resources, which can handle EIS applications for each video frame. At the same time, the image processor receives the motion data of the camera system from the gyroscope. Based on the availability of computing resources, the motion frequency threshold is determined. Based on gyroscope motion data, the motion frequency of each video frame is estimated. The estimated motion frequency is compared with the determined motion frequency threshold. If the estimated motion frequency is greater than the determined motion frequency threshold, the application of EIS is disabled. If the estimated motion frequency is less than or equal to the determined motion frequency threshold, the application of EIS is enabled.

【技术实现步骤摘要】
【国外来华专利技术】电子图像稳定频率估计器
本公开涉及相机系统上的电子图像稳定，并且更具体地，涉及估计相机系统的运动频率。
技术介绍
数字相机越来越多地被用来在各种场景中捕获视频，例如在户外或在体育环境中。大多数户外活动或体育环境涉及地形的快速变化或突然的运动变化，导致视频帧内的抖动。图像稳定技术可以用于减少与相机的运动相关联的帧内抖动。然而，用于稳定图像所需的处理器资源可能取决于与相机的运动相关联的变化量。如果运动的变化更频繁，则可能需要大量的处理器资源用于稳定图像。附加地，如果频率过高，则图像稳定技术的应用可能使最终结果变差。由于用户越来越多地捕获更多且更长的视频，并且具有有限的处理器资源，因此图像稳定变得越来越难。附图说明所公开的实施例具有其他优势和特征，当结合附图，根据本专利技术的以下详细描述和所附权利要求书，这些优势和特征将更明显，其中：图1图示用于根据一个实施例的运动频率估计的示例相机系统。图2图示根据一个实施例的陀螺仪样本数据的示例。图3图示根据一个实施例的用于估计运动频率的方法的示例实施方式。图4图示根据一个实施例的视频帧的电子图像稳定的示例方法。图5图示根据一个实施例的用于确定将电子图像稳定应用到视频帧的方法的流程图。图6图示根据一个实施例的与用于运动频率估计的系统一起使用的示例机器。具体实施方式附图和以下描述仅以说明的方式涉及优选实施例。注意，从以下讨论，本文所公开的结构和方法的备选实施例将容易地被认为是可以在不脱离所主张的原则的情况下被采用的可行备选。现在将详细参照一些实施例，这些实施例的示例在附图中图示。注意，在可行的情况下，附图中可能使用类似或相似的附图标记，这样的附图标记可以指示类似的或相似的功能。仅出于说明的目的，附图描绘所公开的系统(或方法)的实施例。本领域的技术人员将从以下描述中容易认识到，可以在不脱离本文所描述的原则的情况下采用本文所说明的结构和方法的备选实施例。配置概述以示例实施例的方式公开了用于确定运动频率阈值的系统和方法，运动频率阈值进一步决定实时地启用或禁用针对视频帧的电子图像稳定。相机系统的图像传感器捕获包括多个帧的视频流。在一些实施例中，相机可以被安装在相机机架上，而相机机架被附接到执行体育活动的用户。大多数体育活动涉及地形的快速变化或运动中的突然变化，使相机系统需要以高帧速率来捕获视频流，同时针对每一帧执行电子图像稳定(EIS)。如果计算延时超过与运动频率相关联的时间段，突然的运动变化可能使EIS的效果变差。连同捕获视频流一起，该系统确定可用的计算资源并且基于可用的资源来确定运动频率阈值。同时，系统接收来自陀螺仪的数据，这样的数据包括与从一个视频帧到下一视频帧的运动变化相关的数据。基于陀螺仪数据，该系统估计当前的运动频率模式。将所估计的运动频率与所确定的运动频率阈值相比较。如果所估计的运动频率大于该阈值，不对当前视频帧执行EIS。EIS确定可以在每个视频帧上完成，或者可以在视频流的多个视频帧上完成，因此避免了需要缓冲帧以及对帧进行后处理以用于运动补偿。示例系统配置现在转向图1，所图示的是根据一个实施例的用于运动频率估计的示例相机系统。相机系统100可以包括相机主体、一个或多个相机透镜、相机主体上的各种指示器(诸如LED、显示器等)、各种输入机构(诸如按钮、开关和触摸屏机构)以及相机主体内部的电子设备(例如，成像电子设备、电力电子设备、元数据传感器等)，这样的电子设备用于经由一个或多个透镜捕获图像和/或执行其他功能。在一个实施例中，相机100能够捕获球面内容或大体上球面的内容。球面内容可以包括具有球面或大体球面的视场的静态图像或视频。备选地，相机100可以捕获在水平方向上具有小于360度并且在垂直方向上具有小于180度(例如，在与完全球面内容相关联的视场的10％内)的大体球面的图像或视频。在其他的实施例中，相机100可以捕获具有非球面广角视场的图像或视频。如下文更详细描述的，相机100可以包括传感器，用以捕获与视频数据相关联的元数据，诸如定时数据、运动数据、速度数据、加速度数据、高度数据、GPS数据等。附加地，相机100可以包括处理器或稳定器，用以通过执行电子图像稳定来提供运动补偿。现在参照图1的细节，相机100包括相机核110，相机核110包括透镜112、图像传感器114以及图像处理器116。相机100附加地包括控制相机100的操作和功能的系统控制器120(例如，微控制器或微处理器)以及被配置为存储可执行计算机指令的系统存储器130，这样的可执行计算机指令在由系统控制器120和/或图像处理器116执行时，实现本文所描述的相机功能。在一些实施例中，相机100可以包括多个相机核110，用以捕获不同方向上的视场，所捕获的视场然后可以被缝合在一起形成结合图像。例如，在球形相机系统的实施例中，相机100可以包括两个相机核110，每一个相机核110具有半球面或超半球面透镜，每一个透镜捕获半球面或超半球面视场，这样的视场在后处理中被缝合在一起以形成球面图像。透镜112例如可以是将进入透镜的光聚焦到图像传感器114的广角透镜、半球面透镜或超半球面透镜，图像传感器114捕获图像和/或视频帧。图像传感器114可以捕获具有例如720p、1080p、4k或更高的分辨率的高清图像。在一个实施例中，球面视频被捕获为具有360度水平视场和180度垂直视场的5760像素乘2880像素。针对视频，图像传感器114例如可以以每秒30帧、每秒60帧或更高的帧速率来捕获视频。图像处理器116执行所捕获的图像或视频的一个或多个图像处理功能。例如，图像处理器116可以执行电子图像稳定(EIS)、Bayer变换、去马赛克、降噪、图像锐化、图像稳定、滚动快门伪影减少、色彩空间转换、压缩或其他相机内处理功能。经处理的图像和视频可以被暂时地或持久地存储到系统存储器130和/或非易失性存储器，这样的非易失性存储器可以是内部存储器或外部存储卡的形式。输入/输出(I/O)接口160传输并且接收来自各种外部设备的数据。例如，I/O接口160可以支持通过I/O端口接收或传输视频或音频信息。I/O端口或接口的示例包括USB端口、HDMI端口、以太网端口、音频端口等。此外，I/O接口160的实施例可以包括无线端口，无线端口可以适于无线连接。无线端口的示例包括蓝牙、无线USB、近场通信(NFC)等。I/O接口160还可以包括将相机100与其他相机或与其他外部设备(诸如远程控制、第二相机、智能手机、客户端设备或视频服务器)同步的接口。控制/显示子系统170包括与相机100的操作相关联的各种控制和显示部件，包括例如LED灯、显示器、按钮、麦克风、扬声器等。音频子系统150包括例如一个或多个麦克风以及一个或多个音频处理器，用以捕获和处理与视频捕获相关的音频数据。在一个实施例中，音频子系统150包括具有被布置为获得定向音频信号的两个或更多的麦克风阵列。传感器140与视频捕获同时或单独被捕获各种视频元数据。例如，传感器140可以基于全球定位系统(GPS)传感器和/或高度计来捕获带时间戳的位置信息。其他传感器140可以被用来检测并且捕获相机100的取向，包括例如取向传感器、加速度计或磁力计。从各种传感器捕获的传感器数据可以被处理，以生成本文档来自技高网...

【技术保护点】
1.一种用于控制视频帧的电子图像稳定的方法，所述方法包括：捕获包括多个帧的视频流；确定用于对一个或多个帧执行电子图像稳定的计算资源的可用性；从陀螺仪接收数据，所述陀螺仪与成像设备连接，其中来自所述陀螺仪的所述数据包括所述成像设备的所感测的运动；基于所述计算资源的所述可用性来确定基线运动频率阈值；从接收自所述陀螺仪的所述数据，估计所述成像设备在所述视频流的捕获期间的运动频率；将所述成像设备的所估计的所述运动频率和所确定的所述运动频率阈值相比较；响应于所估计的所述运动频率满足基于所述基线运动频率阈值的第一准则，对所述视频的所述一个或多个帧执行电子图像稳定；以及响应于所估计的所述运动频率满足基于所述基线运动频率阈值的第二准则，禁用对所述视频的所述一个或多个帧执行电子图像稳定。

【技术特征摘要】
【国外来华专利技术】2016.04.27 US 15/140,3911.一种用于控制视频帧的电子图像稳定的方法，所述方法包括：捕获包括多个帧的视频流；确定用于对一个或多个帧执行电子图像稳定的计算资源的可用性；从陀螺仪接收数据，所述陀螺仪与成像设备连接，其中来自所述陀螺仪的所述数据包括所述成像设备的所感测的运动；基于所述计算资源的所述可用性来确定基线运动频率阈值；从接收自所述陀螺仪的所述数据，估计所述成像设备在所述视频流的捕获期间的运动频率；将所述成像设备的所估计的所述运动频率和所确定的所述运动频率阈值相比较；响应于所估计的所述运动频率满足基于所述基线运动频率阈值的第一准则，对所述视频的所述一个或多个帧执行电子图像稳定；以及响应于所估计的所述运动频率满足基于所述基线运动频率阈值的第二准则，禁用对所述视频的所述一个或多个帧执行电子图像稳定。2.根据权利要求1所述的方法，其中所述陀螺仪数据还包括正位移或负位移中的至少一个，其中正位移指示在第一方向上的移动，并且负位移指示在与所述第一方向相反的第二方向上的移动。3.根据权利要求2所述的方法，还包括：从所述一个或多个帧的捕获期间来自所述陀螺仪的所述数据，确定所感测的所述运动中的多个极性变化，其中所述极性变化指示以下至少一个变化：从所述第一方向到所述第二方向的运动变化，或者从所述第二方向到所述第一方向的运动变化。4.根据权利要求1所述的方法，还包括：激活切换元件，以启用或禁用对一个或多个视频帧执行电子图像稳定。5.根据权利要求1所述的方法，其中估计所述运动频率还包括：接收与捕获所述一个或多个视频帧同时被捕获的陀螺仪数据；针对每个视频帧，确定所述陀螺仪数据中的多个极性变化，所述多个极性变化指示以下至少一个变化：从第一方向上的超过第一噪声阈值的运动到第二方向上的超过第二噪声阈值的运动的变化，或者从所述第二方向的超过所述第二噪声阈值的运动到所述第一方向上的超过所述第一噪声阈值的运动的变化；确定在视频帧的窗内的极性变化的总数目；确定所述视频帧的所述窗的捕获的总时间；以及基于所述极性变化的数目和所述视频帧的所述窗的所述总时间来估计运动频率。6.根据权利要求1所述的方法，其中所述运动频率在多个视频帧的滑动窗上被估计。7.根据权利要求1所述的方法，还包括：确定低于所述基线运动频率阈值的下限运动频率阈值和高于所述基线运动频率阈值的上限运动频率阈值；以及如果所估计的所述运动频率低于所述下限运动频率阈值，则确定所估计的所述运动频率满足所述第一准则，并且如果所估计的所述运动频率高于所述上限运动频率阈值，则确定所估计的所述运动频率满足所述第二准则。8.根据权利要求7所述的方法，还包括：如果所估计的所述运动频率高于所述下限运动频率阈值并且低于所述上限运动频率阈值、并且上一运动频率满足所述第一准则，则确定所估计的所述运动频率满足所述第一准则；以及如果所估计的所述运动频率高于所述下限运动频率阈值并且低于所述上限运动频率阈值、并且所述上一运动频率满足所述第二准则，则确定所估计的所述运动频率满足所述第二准则。9.根据权利要求1所述的方法，还包括：基于所述基线运动频率阈值，确定逐渐减小的运动频率阈值；如果所估计的所述运动频率低于所述逐渐减小的运动频率阈值，则确定所估计的所述运动频率满足所述第一准则，如果所估计的所述运动频率高于所述基线运动频率阈值...

【专利技术属性】
技术研发人员：L·塞加佩利，
申请(专利权)人：高途乐公司，
类型：发明
国别省市：美国,US