多相机视频稳定制造技术

用于多相机视频稳定的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。在一些实施方式中，视频捕获设备具有第一相机和第二相机。视频捕获设备提供允许在视频记录期间在数字变焦范围内的用户指定的放大率改变的数字变焦能力。该视频捕获设备被配置为使用在数字变焦范围的不同部分上的来自不同相机的视频数据。该视频捕获设备可以通过应用包括以下的变换集合来处理使用该第二相机捕获的图像数据：(i)到该第二相机的第二规范参考空间的第一变换、(ii)到该第一相机的规范参考空间的第二变换、以及(iii)在该第一相机的该第一规范参考空间中将电子图像稳定应用于图像数据的第三变换。数据的第三变换。数据的第三变换。

Multi camera video stabilization

【技术实现步骤摘要】
【国外来华专利技术】多相机视频稳定

技术介绍

[0001]一些设备(诸如智能手机)包括多个相机模块。这些相机可以用于记录静态图像或视频。在许多情况下，手抖和设备的其他移动可以降低捕获图像和视频的质量。因此，一些设备包括图像稳定特征，以改善所记录的图像数据的质量。

技术实现思路

[0002]在一些实施方式中，设备包括多视点相机系统，例如，具有多个相机模块的设备具有不同的视场。该设备为使用设备的一个或多个相机模块捕获的视频提供视频稳定。这可以包括在不同变焦级别(例如，扩大(enlargement)或放大(magnification))下提供不同级别的图像稳定，并且管理图像稳定行为，以针对不同变焦级别和不同相机模块是一致的。即使当相机模块具有固定视场时，该设备也可以提供变焦功能，例如，通过使用数字变焦技术实现或近似沿视场范围的连续或平滑变焦。该设备可以提供在一系列变焦设置上捕获一致稳定的视频的特征，包括在视频记录期间在不同相机模块的视频捕获之间转换时。在一些实施方式中，设备检测在视频记录期间何时在相机之间转换以供图像捕获。该设备执行转换并且处理捕获的数据，以产生在转换时间段内无缝的输出，例如，维持或平滑地调整诸如视场、图像稳定、曝光、对焦、噪声等参数的输出视频。这可以允许系统生成使用来自不同部分处的不同相机的视频的视频，其中相机之间的转换不会对观看者造成侵扰，例如，没有单眼视差、可见停顿、明显变焦暂停或其他毛刺。
[0003]该系统的主要目标是增强呈现给用户的视频场景的平滑度。换句话说，系统尝试实现场景时间连续性(例如，减少随时间的不想要的相机抖动) 以及场景空间连续性(例如，减少从不同相机捕获的视频之间的差异)二者。这涉及两种重要技术：(1)电子图像稳定(EIS)，其在单个相机上随时间提供场景连续性，从而有效地为视频馈送中所示的场景提供时间平滑；(2)增强的多相机数字变焦(例如，使用多个相机的输出的渐进、增量或基本连续变焦)，其在不同相机之间提供场景连续性，从而有效地提供空间平滑方法，以避免相机之间的转换引起的错位或中断。
[0004]通过使用下文进一步讨论的各种技术和变换(包括使用“规范 (canonical)”相机空间来表示图像数据)，可以有效率地组合EIS和多相机数字变焦。规范空间可以表示具有将不会随时间而改变的固定固有特性的概念相机的视图。例如，规范空间可以是不受诸如光学图像稳定(OIS)或音圈电机(VCM)位置和滚动快门效应等因素影响的那一者。
[0005]作为示例，设备可以包括提供场景的不同视场的第一相机和第二相机。该设备可以实现允许用户平滑地改变输出视频所表示的变焦或放大率的变焦功能，即使相机模块中的一个或多个具有固定视场。在一些实施方式中，具有固定焦距镜头的两个或更多个相机模块可以用于通过以下在一定范围内模拟连续变焦：(1)基于来自第一相机的图像对变焦范围的第一部分使用数字变焦(例如，裁切和/或扩大)；(2)基于来自第二相机的图像对变焦范围的第二部分使用数字变焦。为了增强视频的整体质量，可以针对所应用的数字变焦的当前级别动态地调整图像稳定处理。例如，沿着模拟的连续变焦范围的每一次变焦改变
都可以具有图像稳定参数的相应改变。
[0006]设备的图像处理可以管理来自不同相机的图像捕获之间的转换以提供基本无缝转换，同时维持EIS应用和其他图像捕获方面(诸如对焦距离、曝光等)的一致性。变焦功能可以包括使用第一相机的输出的数字变焦，例如，当设备越来越多地在第一相机捕获的图像上进行裁剪时。然后，一旦达到变焦的阈值级别并且放大(zoomed
‑
in)的区域在第二相机的视场内，设备切换至记录使用第二相机所捕获的视频。
[0007]为了使所记录的视频在不同相机的输出之间提供平滑转换，设备可以使用一系列变换将第二相机的输出与第一相机的输出相关。这些变换可以使用单应性矩阵或其他形式来实现。在一些实施方式中，变换涉及通过以下来将来自第二相机的图像映射到规范相机空间：移除来自第二相机的相机特定和时间相关贡献，诸如滚动快门效果、OIS镜头移动等。第二变换可以将第二相机的规范图像空间中的图像数据投影到第一相机的规范图像空间。这可以将第二相机的视场与第一相机的视场对齐并且考虑设备中的相机之间的空间差异(例如，偏移)。然后，可以将电子图像稳定(EIS) 处理应用于第一相机的规范图像空间中的图像数据。这一系列变换提供一种处理技术，该处理技术比例如尝试将EIS处理的第二相机图像数据与 EIS处理的第一相机图像数据相关和对齐更有效率。EIS处理可以在单个相机空间或参考帧中执行，尽管使用具有不同视场的不同相机捕获图像，以及图像捕获期间的不同固有特性等等。然后，可以提供第一相机的规范图像空间中的EIS处理的输出，以存储为视频文件(本地和/或远程)和/或流送用于显示(本地和/或远程)。
[0008]这些技术可以应用针对当前变焦级别定制的图像稳定级别，以更有效地控制手抖和其他意外相机移动。此外，在视频捕获期间在相机之间平滑地转换的能力可以增加视频捕获的分辨率，而不存在的转换。例如，随着数字变焦越来越多地应用于具有较宽视场的相机的输出，分辨率往往会降低。随着数字变焦增加，生成的输出图像表示图像传感器的更小部分，并且因此使用图像传感器的更少像素来生成输出图像。第二相机可以具有视场更窄的镜头，从而允许使用整个图像传感器捕获更窄视场。当视频放大到输出帧落入第二相机的视场时，相机可以将视频捕获转换为使用由第二相机捕获的图像数据。因此，在继续捕获和记录视频文件并且EIS被连续地且一致地应用时，相机可以在使用不同相机进行视频捕获之间以基本无缝方式切换。该切换可以对用户透明，因此相机之间的切换在所捕获的视频段落中或可选地在用户的用户界面中不明显。
[0009]一般而言，执行视频捕获和相关图像处理的过程可以在计算上是昂贵的，尤其是针对高分辨率视频捕获。本文讨论的技术提供计算上有效率的技术，该技术用于通过以下来管理图像稳定处理和相机模块之间的转换：除其他技术外，在将相同类型的EIS处理应用于单个、公共的参考空间中的图像数据之前将两个相机的图像数据映射到该参考空间。参考空间可以是已经移除时间相关效应的空间，这进一步减少了对齐来自不同相机的图像和应用EIS处理所需的计算。
[0010]在一些实施方式中，本文讨论的技术在电力预算有限且计算资源有限的电池供电设备(诸如电话、平板电脑和其他移动设备)上实现。所讨论的处理可以由电池供电的设备有效率地执行，电池供电的设备与正在进行的视频捕获同时来基本上实时地执行稳定化处理，例如，随着视频捕获持续进行而保存或流送图像稳定处理的视频输出。此外，如下所述，这些技术可以使用相机模块来调整视频的捕获，例如，调整相机模块设置以进行对焦、曝光
等，以及切换在不同时间使用哪个相机模块。这些技术也有效率地执行，以便这些技术在捕获、处理和记录视频时实时执行，同时继续捕获附加视频。
[0011]在一个大体方面，一种方法包括：由具有第一相机和第二相机的视频捕获设备提供允许在视频记录期间在数字变焦范围内的用户指定的放大本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由具有第一相机和第二相机的视频捕获设备提供数字变焦能力，所述数字变焦能力允许在视频记录期间在数字变焦范围内的用户指定的放大率改变，其中，所述视频捕获设备被配置为：(i)使用由所述第一相机在所述数字变焦范围的第一部分上捕获的视频数据；以及(ii)使用由所述第二相机在所述数字变焦范围的第二部分上捕获的视频数据；以及在使用所述视频捕获设备的所述第二相机捕获视频以提供所述数字变焦范围的第二部分中的变焦级别时，通过应用变换集合来处理使用所述第二相机捕获的图像数据，所述变换集合包括：(i)到所述第二相机的第二规范参考空间的第一变换；(ii)从所述第二相机的所述第二规范参考空间到所述第一相机的第一规范参考空间的第二变换；以及(iii)用于在所述第一相机的所述第一规范参考空间中将电子图像稳定应用于图像数据的第三变换。2.根据权利要求1所述的方法，所述方法还包括：在使用所述视频捕获设备的所述第一相机捕获视频以提供所述数字变焦范围的所述第一部分中的变焦级别时，通过应用变换集合来处理使用所述第二相机捕获的图像数据，所述变换集合包括：(i)到所述第一相机的所述第一规范参考空间的所述第一变换；以及(ii)用于在所述第一相机的所述第一规范参考空间中将电子图像稳定应用于所述图像数据的所述第三变换。3.根据权利要求1或2所述的方法，其中，所述第一相机和所述第二相机具有不同的视场，并且其中，(i)所述第二相机的视场被包括在所述第一相机的视场内，或者(ii)所述第一相机的视场被包括在所述第二相机的视场内。4.根据权利要求1至3中任一项所述的方法，其中，所述第一相机和所述第二相机各自包括固定焦距镜头组件。5.根据权利要求1至4中任一项所述的方法，其中，所述第二相机的所述第二规范参考空间和所述第一相机的所述第一规范参考空间是由相机固有属性的预定的固定集合所定义的概念相机空间，使得将图像数据投影到规范参考空间移除了在视频帧的捕获期间的时间相关影响。6.根据权利要求5所述的方法，其中，所述第一相机包括光学图像稳定OIS系统，并且所述第一相机的所述第一规范参考空间是图像数据被表示具有一致的预定OIS位置的规范参考空间；或者其中，所述第二相机包括光学图像稳定OIS系统，并且所述第二相机的所述第二规范参考空间是图像数据被表示具有一致的预定OIS位置的规范参考空间。7.根据权利要求6所述的方法，其中，所述第一相机提供渐进地捕获图像帧的图像扫描线的图像数据，并且所述第一相机的所述第一规范参考空间是图像数据已经被校正以移除由于对所述图像扫描线的渐进捕获所导致的失真的规范参考空间；或者其中，所述第二相机提供渐进地捕获图像帧的图像扫描线的图像数据，并且所述第二相机的所述第二规范参考空间是图像数据已经被校正以移除由于对所述图像扫描线的渐进捕获所导致的失真的规范参考空间。8.根据权利要求1至7中任一项所述的方法，其中，所述第二变换将所述第二相机的视场与所述第一相机的视场对齐并针对所述第一相机和所述第二相机之间的空间偏移进行
调整。9.根据权利要求1至8中任一项所述的方法，其中，所述第一变换、所述第二变换和所述第三变换各自具有对应的单应性矩阵，并且处理所述图像数据包括应用所述单应性矩阵。10.根据权利要求1至9中任一项所述...

【专利技术属性】
技术研发人员：王铀铀，石福昊，梁家恺，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：