不良光照条件下的增强视频捕获制造技术

一种使用电子装置捕获视频帧以提供增强的视频的装置和方法。使用环境光捕获第一子帧，并且使用环境光和在电子装置的控制下的光源捕获第二子帧。基于第一子帧和第二子帧的组合来生成主帧。

Enhanced video capture under undesirable light conditions

A device and method for capturing video frames using an electronic device to provide enhanced video. The first subframe is captured using the ambient light and the second sub frames are captured using ambient light and the light source under the control of the electronic device. The main frame is generated based on the combination of the first subframe and the second subframe.

【技术实现步骤摘要】
【国外来华专利技术】不良光照条件下的增强视频捕获相关申请数据本申请要求于2015年6月2日提交的美国非临时申请No.14/727,907的优先权，其全部内容通过引用并入本文。
本公开的技术总体上涉及电子装置，并且更具体地涉及用于在低光照条件下增强视频捕获的技术。
技术介绍
诸如照相机、智能电话、平板电脑、笔记本电脑等的电子装置包括用于捕获视频片段的照相机功能。在有利的光照条件下，通常不需要额外的照明来获得高质量的视频。然而，当在低光照条件下(例如，在室内或在多云/阴天时)捕获视频时，环境光可能不是最佳的，并且这可能导致低于最佳的视频质量。为了补偿不理想的光照条件，大多数电子装置包括辅助光源(例如，LED光源)以在视频捕获期间提供额外的光。虽然这样的光源可以提高捕获的视频的质量，但它可能有缺点。例如，当使用辅助光源时，相对于在没有辅助光源的情况下的视频捕获中捕获到的前景特征，可以增强视频中所捕获到的前景特征。然而，使用辅助光源捕获到的背景特征可能不会被增强，并且在大多数情况下背景特征比没有辅助光源时捕获到的背景特征更暗。而且，使用光源可能导致视频中的主体重影，这是不希望的。
技术实现思路
根据本公开，提供了一种用于增强低光照条件下所捕获的视频的电子装置和方法。为了提供增强的视频，使用环境光捕获两个连续的子帧中的一个，并且使用环境光与由光源(例如，电子装置的LED灯)生成的光相结合来捕获两个连续的帧中的另一个。然后基于对两个连续的子帧的分析来生成单个帧(被称为主帧)。针对每个连续的主帧重复该过程以实时产生连续的视频。根据本公开的一个方面，一种使用电子装置捕获视频帧的方法包括：使用环境光捕获第一子帧；在电子装置的控制下使用环境光和光源捕获第二子帧；以及基于第一子帧和第二子帧的结合来生成主帧。根据本公开的一个方面，一种电子装置包括：照相机；光源；以及可操作用于生成视频的控制电路，该控制电路被配置为使用环境光来捕获第一子帧，使用环境光和所述电子装置的光源来捕获第二子帧，并且基于第一子帧和第二子帧的结合生成主帧。为了实现前述及相关目的，所述装置和方法包括在说明书下文中充分描述并在权利要求中具体指出的特征，下面的描述和附图详细地阐述了某些说明性的实施方式，然而，这些只是表示了其中可以适当采用本专利技术原理的各种方式中的一些方式。尽管在各自的附图/实施方式中描述并示出了不同的特征，但应当理解，所给出的附图或实施方式的特征可以在本专利技术的一个或更多个其它附图或实施方式中使用。附图说明图1A示出了使用低级环境光捕获的对象的示例性视频帧。图1B示出了使用低级环境光和来自辅助光源的光的图1A的对象的示例性视频帧。图1C示出了已经根据本公开增强的图1A和图1B的对象的示例性视频帧。图2示出了根据本公开的来自第一子帧和第二子帧的像素的样本。图3是示出生成根据本公开捕获的增强的视频的示例性方法的流程图。图4是根据本公开的包括视频增强功能的电子装置的原理框图。具体实施方式现在将参照附图来描述实施方式，其中相同的参考标号通篇被用于指代相同的元件。应当理解，附图不一定按比例绘制。此外，相对于一个实施方式描述和/或示出的特征可以以相同的方式或相似的方式用于一个或更多个其它实施方式，和/或与其它实施方式的特征相结合使用或者代替其它实施方式的特征。将在实现为移动电话的电子装置的上下文中描述实施方式。然而，应当理解，根据本公开的原理不限于移动电话，并且可以应用于其它电子装置，包括但不限于膝上型计算机、平板电脑、照相机、智能手表或者采用视频捕获功能的任何便携式电子装置。本公开描述了一种用于在低光照条件下增强经由电子装置的照相机捕获的视频的装置和方法。就此而言，视频包括多个主帧，其中每个主帧是从已经连续捕获的一系列子帧(例如，两个)中生成的。使用可用的环境光来捕获子帧中的一个(例如，第一子帧)。例如，在不使用辅助光源(例如，不使用电子装置的辅助光源)的情况下捕获第一子帧。在捕获第一子帧之后，使用可用的环境光以及辅助光源来捕获第二子帧。辅助光源可以是用于为视频捕获提供照明的任何光源。在一个实施方式中，辅助光源被集成在电子装置内。在另一实施方式中，辅助光源与电子装置分离。然而，在两个实施方式中，辅助光源都处于电子装置的控制下，以便为相应的帧提供适当的时机。优选地，辅助光源被实现为与电子装置一体的LED光源。辅助光源可以由电子装置控制以便与第二帧的捕获同步。相反，当使用辅助光源获得子帧时，前景部分倾向于生动和明亮，而背景部分基本上丢失。就此而言，辅助光源以基于视频捕获的采样率的频率脉冲开启和关闭。例如，如果以120fps(每秒帧数)捕获视频，其中使用环境光捕获一帧，并且使用环境光和辅助光源生成的光捕获另一帧，则辅助光源将需要每隔一帧被脉冲开启和关闭(即，对于本示例，每秒60次)。辅助光源可以在第二帧的整个捕获时段期间被启用，或者仅在捕获时段的一部分期间被启用。优选地，辅助光源仅在捕获时段的一部分期间被启用。以最小化人眼对脉冲光的察觉的预定帧速率捕获视频可以是有利的。这样的频率可以是60fps或更大，这将提供每秒30次的光脉冲。一捕获到第一子帧和第二子帧，就比较各个子帧的像素数据以确定哪一个子帧具有最大亮度。例如，当在使用环境光的低光照条件下(即，不使用辅助光源)获得子帧图像时，可以捕获显示前景和背景部分二者的图像，但是前景和背景部分可能暗淡和/或可能仅产生对象的黑暗轮廓。这在图1A中被示出，其表示在低光照条件下获得的第一子帧10a。如图所示，前景部分12a和背景部分14a都是可见的，但是它们二者都可能倾向于缺乏色彩鲜艳度(未示出)和/或整体图像亮度(由对象的衬衫和脸上的黑暗部分表示)。相比之下，当使用辅助光源获得子帧时，前景部分倾向于生动且明亮，而背景部分基本上丢失。图1B示出了这样的情境(在极端情况下)，其中，第二子帧10b的前景部分12b明亮且清晰，并且背景部分14b丢失(即，表现为黑色图像)。为了确定哪个像素具有最高亮度，可以将来自第一子帧10a的每个像素与第二子帧10b中的对应像素进行比较。例如，该比较可以集中于各个像素的亮度，并且可以标记具有较高亮度的像素。图2示出了在前景部分与背景部分之间的过渡处，来自第一子帧10a的六个示例性像素和来自第二子帧10b的六个示例性像素，其中在每个像素内的数字表示该像素的亮度。可以看出，第二子帧10b的前景像素12b具有比第一子帧10a的前景12a中的对应像素更高的亮度值。因此，第二子帧10b的前景像素12b被标记用于主帧10中。类似地，第一子帧10a的背景像素14a具有比第二子帧10b的背景14b中的对应像素更高的亮度值。因此，第一子帧10a的背景像素14a被标记用于主帧10中。一旦从每个子帧中识别出具有最高亮度的像素，就如图1C所示，由每个子帧中标记的像素(即，具有较高亮度的像素)构成主帧10。因此，主帧10可以由第一子帧10a的一些像素和第二子帧10b的一些像素形成。例如，主帧10的前景像素12可以包括第二子帧10b的前景像素12b(其使用辅助光获得)，并且主帧10的背景像素14可以包括第一子帧10a的背景像素14a(其在不使用辅助光的情况下获得)。以这种方式，每个视频帧被增强。现在参照图3，示出了描绘根据本公开的增强视本文档来自技高网...

【技术保护点】
一种使用电子装置捕获视频帧的方法，该方法包括以下步骤：使用环境光捕获第一子帧；使用环境光和在所述电子装置的控制下的光源捕获第二子帧；以及基于所述第一子帧和所述第二子帧的组合来生成主帧。

【技术特征摘要】
【国外来华专利技术】2015.06.02 US 14/727,9071.一种使用电子装置捕获视频帧的方法，该方法包括以下步骤：使用环境光捕获第一子帧；使用环境光和在所述电子装置的控制下的光源捕获第二子帧；以及基于所述第一子帧和所述第二子帧的组合来生成主帧。2.根据权利要求1所述的方法，其中，生成步骤包括以下步骤：使用来自所述第一子帧和所述第二子帧二者的数据来生成所述主帧。3.根据权利要求1至2中任一项所述的方法，其中，生成步骤包括以下步骤：将所述第一子帧的每个像素与所述第二子帧的对应像素进行组合。4.根据权利要求3所述的方法，其中，组合步骤包括以下步骤：使所述组合基于所述像素的亮度值或色度值中的至少一个的加权值。5.根据权利要求1至4中任一项所述的方法，其中，生成步骤包括以下步骤：将所述第一子帧的每个像素与所述第二子帧的对应像素进行比较，并且针对每个比较识别具有最高亮度级的像素。6.根据权利要求5所述的方法，其中，生成步骤包括以下步骤：选择具有所述最高亮度级的像素来形成所述主帧。7.根据权利要求1至6中任一项所述的方法，其中，该方法还包括以下步骤：在所述生成步骤之前将所述第二子帧与所述第一子帧同步。8.根据权利要求7所述的方法，其中，同步步骤包括以下步骤：检测在所述第二子帧中捕获的对象相对于在所述第一子帧中捕获的所述对象的运动，并且修改所述第二子帧以补偿所检测到的运动。9.根据权利要求1至8中任一项所述的方法，其中，捕获所述第二子帧包括脉冲开启所述电子装置的光源。10.根据权利要求1至9中的任一项所述的方法，该方法还包括针对每个后续主帧重复权利要求1至10中任一项所述的步骤。11.一种电子装置，该电...

【专利技术属性】
技术研发人员：J·尼尔森，
申请(专利权)人：索尼移动通讯有限公司，
类型：发明
国别省市：日本,JP