稳定视频制造技术

通常，本主题可以体现为用于通过计算系统并且使用视频的第一和第二帧来识别指示相机相对于所述帧的移动的变换的方法、系统、和程序产品。所述计算系统生成修改后的变换，从而使得所述变换更少地代表最近的移动。所述计算系统使用所述变换和所述修改后的变换来生成第二变换。所述计算系统识别将呈现在所述第二帧的稳定版本中的预期失真。所述计算系统确定降低稳定作用的量。所述计算系统将所述第二变换应用到所述第二帧以稳定所述第二帧，其中，已经基于确定的降低所述稳定作用的所述量降低了所述稳定作用。

【技术实现步骤摘要】
【国外来华专利技术】稳定视频
本文通常涉及稳定视频。
技术介绍
视频记录曾经是专用视频记录装置领域，但是更为常见是找到能够记录视频的日常装置(诸如，蜂窝电话和平板计算机)。大多数手持式记录装置的问题在于这些装置遭受视频抖动，用户在握持记录装置时的无意识移动会影响视频的质量。抖动记录装置可能会导致同样抖动的视频，除非，例如，通过视频稳定机构来补偿抖动。光学视频稳定可以通过机械移动记录装置的部件(诸如，镜头或图像传感器)来降低视频中存在的抖动。然而，光学视频稳定装置可能会增加记录装置的材料成本和制造成本。而且，光学视频稳定装置可能会增加记录装置的大小，并且通常希望将记录装置设计得较小。
技术实现思路
本文描述了用于稳定视频的技术、方法、系统、和其它机构。作为对下面描述的实施例的附加描述，本公开描述了以下实施例。实施例1是一种计算机实现的方法。该方法包括：由计算系统接收由记录装置(诸如相机)捕获的视频的第一帧和第二帧。该方法包括：由计算系统并且使用视频的第一帧和第二帧来识别数学变换，该数学变换指示从第一帧被捕获时到第二帧被捕获时相对于由视频捕获的场景(即，在视频中表现的场景)的相机的移动。该方法包括：由计算系统通过修改指示相机相对于场景的移动的数学变换来生成修改后的数学变换，从而使得数学变换更少地代表最近开始的移动。该方法包括：由计算系统使用数学变换和修改后的数学变换来生成能够适用于第二帧的第二数学变换以稳定第二帧。该方法包括：由计算系统基于以下各项之间的差异来识别将呈现在将第二数学变换应用到第二帧而产生的第二帧的稳定版本中的预期失真：(i)将第二数学变换应用到第二帧而产生的水平方向上的失真量，以及(ii)将第二数学变换应用到第二帧而产生的垂直方向上的失真量。该方法包括：由计算系统基于预期失真超过在第二帧之前的所述视频的多个帧中的失真计算得到的可接受失真变化的程度来确定降低将第二数学变换应用到第二帧而产生的稳定作用的量。该方法包括：由计算系统通过将第二数学变换应用到第二帧来生成第二帧的稳定版本，其中，将第二数学变换应用到第二帧的稳定作用已经基于降低所述稳定作用的所确定的量而降低。实施例2是根据实施例1所述的方法，其中，第二帧是紧接着该视频的第一帧的该视频的帧。实施例3是根据实施例1所述的方法，其中，指示相机的移动的所述数学变换包括单应性变换矩阵。实施例4是根据实施例3所述的方法，其中，修改所述数学变换包括将低通滤波器应用到所述单应性变换矩阵。实施例5是根据实施例3所述的方法，其中，预期失真基于第二数学变换中的水平缩放值与第二数学变换中的垂直缩放值之间的差。实施例6是根据实施例1所述的方法，其中，修改数学变换包括：修改数学变换以便修改后的数学变换相比于该数学变换更能代表在已经在长时间段内发生的移动。实施例7是根据实施例1所述的方法，其中，确定降低将第二数学变换应用到第二帧而产生的稳定作用的量进一步基于相机从第一帧到第二帧的所确定的移动速度，所述移动速度超过基于相机在视频的在第二帧之前的多个帧之间的移动速度计算得到的相机的可接受移动速度变化。实施例8是根据实施例1所述的方法，其中，生成第二帧的稳定版本包括：缩放到通过将第二数学变换应用到第二帧而生成的第二帧的版本。实施例9是根据实施例1所述的方法，其中，该操作进一步包括：水平或垂直地移动第二帧的版本的放大区域以避免第二帧的放大区域呈现无效区域。实施例10涉及一种包括存储的指令的可记录介质的系统，该指令在由一个或多个处理器执行时使得执行根据实施例1至9中的任一实施例所述的方法的操作。在某些情况下，特定实施例可以实现以下优点中的一个或多个优点。本文描述的视频稳定技术可以，例如，通过补偿八个自由度的移动(例如，平移方面、旋转方面、缩放方面、和非刚性滚动快门失真)来补偿多于两个自由度的移动(例如，不只是水平移动和垂直移动)。本文描述的视频稳定技术可以在视频正在被装置捕获并且可以不需要来自未来帧的信息时工作。换言之，视频稳定技术可以能够仅使用来自过去帧的信息来稳定最近记录的帧，从而使得系统可以在视频流被捕获时存储稳定的视频流(例如，不存储多个不稳定的视频流，诸如，不将多于1、100、500、1000、或5000个不稳定的视频帧存储在当前正在被记录或已经被记录了的视频中)。因此，在已经记录了整个视频之前，系统可能不需要等待稳定视频。所描述的视频稳定技术可能具有较低的复杂度，因此可以在具有适度处理能力的装置(例如，一些智能手机)上运行。而且，本文描述的视频稳定技术可以在第一步骤中帧到帧运动估计失败的情况下操作。在下面的附图和说明书中陈述了一种或多种实施方式的细节。其它特征、目的、和优点将通过说明书、附图和权利要求书而变得显而易见。附图说明图1示出了正通过视频稳定过程被稳定的视频流的图。图2A至2B示出了用于稳定视频的过程的流程图。图3是可以用于实施本文描述的系统和方法的计算装置(作为客户端或者作为服务器或者多个服务器)的框图。在各个附图中，类似的附图标记指示类似的元素。具体实施方式本文一般地描述了稳定视频。可以通过识别在最近接收到的视频帧与之前接收到的视频帧之间的变换(其中，该变换指示相机相对于场景的帧到帧移动)，基于来自过去帧的信息修改该变换，基于变换和修改后的变换生成第二变换，并且将第二变换应用到当前接收到的帧以生成当前接收到的帧的稳定版本，来执行视频稳定。通常参照图1来描述该过程，然后参照图2来进行更详细的描述。图1示出了正通过视频稳定过程被稳定的视频流的图。该图包括视频的三个帧110a至110c。这些帧可以是连续的，从而使得帧110b可以是在捕获帧110a之后被立即捕获的帧，并且帧110c可以是在捕获110b之后被立即捕获的帧。本文有时可以将视频的两个帧当作视频的第一帧和视频的第二帧，但是“第一”标记并不一定意味着第一帧是整个视频的初始帧。示出了放置在线112a至112b之间或附近的帧110a至110c，线112a至112b指示由帧表示的场景相对于彼此的位置。在该图中提供了线，以示出在相机捕获帧110a至110c时正在移动。例如，相机在捕获帧110b时比在捕获帧110a时更向下指向，并且在捕获帧110c时比在捕获帧110a至110b时更向上指向。计算系统识别数学变换(框120)，该数学变换指示相机从第一帧110b到第二帧110c的移动。可以使用帧110b至110c来执行该识别(如图中的箭头所示)，其中，帧110c可以是最近捕获的帧。可以从附接至计算系统的相机传感器或相机模块接收这两个帧110b至110c，或者可以从捕获视频帧110b至110c的远程装置接收这两个帧110b至110c。数学变换的识别可以包括生成数学变换。数学变换可以是单应性变换矩阵，如参照2A至2B中的框210的附加细节中所描述的。计算系统然后通过修改初始变换(框120)来创建修改后的变换(框125)，从而使得，与初始变换相比，修改后的变换(框125)更少地代表最近开始的移动。换言之，生成修改后的变换包括：基于来自在第一帧110b和第二帧110c之前的一个或多个视频帧的信息来修改初始变换。修改后的变换可以是初始变换的低通滤波版本。这样做会产生修改后的数学变换(框125)，与最近开始的移动相反，修改后的数学变换比初本文档来自技高网...

【技术保护点】
一种计算机实现的方法，包括：由计算系统接收由相机捕获的视频的第一帧和第二帧；由所述计算系统并且使用所述视频的所述第一帧和所述第二帧来识别数学变换，所述数学变换指示从所述第一帧被捕获时到所述第二帧被捕获时相对于由所述视频捕获的场景的所述相机的移动；由所述计算系统通过修改所述数学变换来生成修改后的数学变换，从而使得所述数学变换更少地代表最近开始的移动；由所述计算系统使用所述数学变换和所述修改后的数学变换来生成能够适用于所述第二帧的第二数学变换以稳定所述第二帧；由所述计算系统基于以下各项之间的差异来识别将呈现在将所述第二数学变换应用到所述第二帧而产生的所述第二帧的稳定版本中的预期失真：(i)将所述第二数学变换应用到所述第二帧而产生的水平方向上的失真量，以及(ii)将所述第二数学变换应用到所述第二帧而产生的垂直方向上的失真量；由所述计算系统基于所述预期失真超过从在所述第二帧之前的所述视频的多个帧中的失真计算得到的可接受失真变化的程度来确定降低将所述第二数学变换应用到所述第二帧而产生的稳定作用的量；以及由所述计算系统通过将所述第二数学变换应用到所述第二帧来生成所述第二帧的所述稳定版本，其中，将所述第二数学变换应用到所述第二帧的稳定作用已经基于降低所述稳定作用的所确定的量而降低。...

【技术特征摘要】
【国外来华专利技术】2015.10.14 US 14/883,5151.一种计算机实现的方法，包括：由计算系统接收由相机捕获的视频的第一帧和第二帧；由所述计算系统并且使用所述视频的所述第一帧和所述第二帧来识别数学变换，所述数学变换指示从所述第一帧被捕获时到所述第二帧被捕获时相对于由所述视频捕获的场景的所述相机的移动；由所述计算系统通过修改所述数学变换来生成修改后的数学变换，从而使得所述数学变换更少地代表最近开始的移动；由所述计算系统使用所述数学变换和所述修改后的数学变换来生成能够适用于所述第二帧的第二数学变换以稳定所述第二帧；由所述计算系统基于以下各项之间的差异来识别将呈现在将所述第二数学变换应用到所述第二帧而产生的所述第二帧的稳定版本中的预期失真：(i)将所述第二数学变换应用到所述第二帧而产生的水平方向上的失真量，以及(ii)将所述第二数学变换应用到所述第二帧而产生的垂直方向上的失真量；由所述计算系统基于所述预期失真超过从在所述第二帧之前的所述视频的多个帧中的失真计算得到的可接受失真变化的程度来确定降低将所述第二数学变换应用到所述第二帧而产生的稳定作用的量；以及由所述计算系统通过将所述第二数学变换应用到所述第二帧来生成所述第二帧的所述稳定版本，其中，将所述第二数学变换应用到所述第二帧的稳定作用已经基于降低所述稳定作用的所确定的量而降低。2.根据权利要求1所述的计算机实现的方法，其中，所述第二帧是紧接着所述视频的所述第一帧的所述视频的帧。3.根据权利要求1所述的计算机实现的方法，其中，指示所述相机的移动的所述数学变换包括单应性变换矩阵。4.根据权利要求3所述的计算机实现的方法，其中，修改所述数学变换包括将低通滤波器应用到所述单应性变换矩阵。5.根据权利要求3所述的计算机实现的方法，其中，所述预期失真基于所述第二数学变换中的水平缩放值与所述第二数学变换中的垂直缩放值之间的差异。6.根据权利要求1所述的计算机实现的方法，其中，修改所述数学变换包括：将所述数学变换修改为使得所述修改后的数学变换相比于所述数学变换更能代表在长时间段内已经发生的移动。7.根据权利要求1所述的计算机实现的方法，其中，确定降低将所述第二数学变换应用到所述第二帧而产生的所述稳定作用的所述量进一步基于所述相机的从所述第一帧到所述第二帧的所确定的移动速度，所述移动速度超过基于所述相机在所述视频的在所述第二帧之前的多个帧之间的移动速度计算得到的所述相机的可接受移动速度变化。8.根据权利要求1所述的计算机实现的方法，其中，生成所述第二帧的所述稳定版本包括：缩放到通过将所述第二数学变换应用到所述第二帧而生成的所述第二帧的版本。9.根据权利要求8所述的计算机实现的方法，进一步包括：水平或垂直地移位所述第二帧的所述版本的放大区域以避免所述第二帧的所述放大区域呈现无效区域。10.包括指令的一个或多个非暂时性计算机可读装置，所述指令在由一个或多个处理器...

【专利技术属性】
技术研发人员：洪微，罗德里戈·卡尔斯罗尼，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US