视频循环生成制造技术

本文中所描述的各种技术涉及从输入视频(200)生成输出视频循环(202)，该输入视频包括在时间范围内的像素处的值。通过执行优化确定输入视频的时间范围内的、用于像素的相应的输入时间间隔。可以执行优化以在第一分辨率等级而指派输入时间间隔，而目标函数的项使用更精细的第二分辨率等级。用于特定像素的输入时间间隔包括来自输入视频的时间范围内的特定像素处的单个连续循环的每像素循环时段(px)。输入时间间隔可以基于每像素循环时段和输出视频循环时段来进行时间缩放。基于用于输入视频中的像素的输入时间间隔内的像素处的值，来创建输出视频循环(202)。

【技术实现步骤摘要】
【国外来华专利技术】视频循环生成
技术介绍
视觉图像通常可以被分类为静态图像(例如，照片、绘画)或动态图像(例如，视频、动画)。静态图像捕获单个时刻。比如，静态照片通常通过在其空间和时间边界之外隐含的内容(例如，在帧的外部并且在拍摄照片之前和之后的时刻)来推断其能力。典型地，观看者的想象力可以填充静态图像中留下的内容(例如，空间上和/或时间上)。相比之下，视频失去了一些那种能力；然而，通过变得动态，视频可以通过时间提供展开时间叙述。视频的空间分辨率通常接近数字照片的空间分辨率。视频内容因此变得更加流行，并且随着存储和带宽的不断扩大，视频可能取代照片作为默认捕获介质。而且，可以从视频中计算视频循环，其中视频循环可以描绘在视频中捕获的场景中的周期性运动(例如，树木摇曳、水波荡漾、马尾辫在风中舞动)。可以从输入视频创建各种类型的视频循环。比如，可以从输入视频创建循环视频(例如，动态图片)，其中视频区域被选择性地冻结、播放和循环以实现引人注目的效果。循环视频可以将静态场景与重复动作组合在一起；因此，在这样的循环视频中，可以捕获到一些动作和叙述。因而，动态元素可以在帧序列中循环。
技术实现思路
本文中所描述的是涉及生成输出视频循环的各种技术。可以接收输入视频，其中输入视频包括在时间范围内的像素处的值。可以确定输入视频的时间范围内的、用于输入视频中的像素的相应的输入时间间隔。特定像素的输入时间间隔可以包括来自输入视频的时间范围内的特定像素处的单个连续循环的每像素循环时段。而且，可以基于用于输入视频中的像素的相应的输入时间间隔内的像素处的值来创建输出视频循环。本文中所阐述的技术使得与传统方法相比较输出视频循环的质量能够得到增强，相对于传统方法加速输出视频循环的计算，和/或与传统途径相比较减少用于创建输出视频循环的计算系统的资源(例如，处理器周期、存储器)。根据各种实施例，可以基于每像素循环时段和输出视频循环时段来对用于像素的相应的输入时间间隔进行时间缩放。具有输出视频循环时段的输出视频循环可以基于如针对输入视频中的像素缩放的相应的输入时间间隔内的像素处的值来创建。按照各种实施例，目标函数的优化可以被执行以确定输入视频的时间范围内的、用于输入视频中的像素的相应的输入时间间隔。优化可以被执行以在输入数据的第一分辨率等级向像素指派相应的输入时间间隔。进一步地，目标函数的项可以使用输入视频的第二分辨率等级，其中第一分辨率等级比第二分辨率等级粗糙。根据各种实施例，输出视频循环可以至少部分地通过使用输入视频上的多个读取流来组装输出视频循环而被创建。当创建输出视频循环的帧时，输入视频上的多个读取流可以被用于将输入视频的一部分读入存储器，而输入视频的其余部分不需要存储器驻留用于创建这样的输出视频循环的帧。根据各种实施例，泊松混合可以用于生成输出视频循环。空间混合遮罩可以被计算，其中空间混合遮罩包括指示混合像素的容易度的遮罩值。而且，通过优化目标函数，可以为像素确定输入视频的时间范围内的相应的输入时间间隔。目标函数可以包括空间一致性项和时间一致性项。空间一致性项和时间一致性项可以通过空间混合遮罩来调制。进一步地，输出视频循环可以通过基于用于输入视频中的像素的相应的输入时间间隔内的像素处的值来组装初始视频循环并且应用泊松混合以基于初始视频循环来生成输出视频循环而被创建。以上概述呈现了简化的概述，以便提供对本文中所讨论的系统和/或方法的一些方面的基本理解。该
技术实现思路
不是对本文中所讨论的系统和/或方法的广泛概述。它并非旨在标识关键/必要要素或描绘此类系统和/或方法的范围。其唯一目的是以简化形式提出一些概念，作为稍后呈现的更详细描述的序言。附图说明图1图示了从输入视频生成输出视频循环的示例性系统的功能框图。图2图示了示例性输入视频、V(x，ti)和对应的示例性输出视频循环L(x，t)，其中x表示输入视频和输出视频循环的二维(2D)空间域，ti表示输入视频的一维(1D)时域，并且t表示输出视频循环的1D时域。图3更详细地图示了图1的计算系统的功能框图。图4图示了来自图2的示例性输出视频循环以及示例性时间缩放的输出视频循环。图5图示了示例性图形，其示出了作为循环时段p的函数的同步循环的时间成本曲线、时间成本曲线的线性拟合曲线和残差曲线。图6图示了示例性输入视频的代表性帧和与该代表性帧相对应的可循环遮罩。图7图示了当评估用于两个相邻粗尺度像素x和z的目标函数的空间一致性项E*spatial时使用的不同分辨率的示例性表示。图8图示了用于生成输出视频循环L的输出帧的输入视频V的输入帧的示例。图9图示了基于输入视频来创建输出视频循环的另一示例性系统的功能框图。图10图示了基于输入视频来创建输出视频循环的另一示例性系统的功能框图。图11是图示了用于生成输出视频循环的示例性方法的流程图。图12是图示了用于确定输入视频的时间范围内的、用于输入视频中的像素的相应的输入时间间隔(例如，循环参数)的示例性方法的流程图。图13图示了示例性计算设备。图14图示了示例性计算系统。具体实施方式现在参照附图对关于从输入视频生成输出视频循环的各种技术进行描述，其中相同的附图标记始终用于指代相同的元素。在以下描述中，为了解释的目的，阐述了许多具体细节以提供对一个或多个方面的透彻理解。然而，可能显而易见的是，可以在没有这些具体细节的情况下实践一个或多个这样的方面。在其他实例中，以框图形式示出了众所周知的结构和设备以便于有助于描述一个或多个方面。进一步地，应当理解，被描述为由某些系统部件执行的功能性可以通过多个部件来执行。类似地，比如，部件可以被配置为执行被描述为由多个部件执行的功能性。而且，术语“或”旨在意指包含性的“或”而非排他性的“或”。也就是说，除非另有规定或从上下文中清楚，短语“X采用A或B”旨在意指自然包含性置换中的任一自然包含性置换。也就是说，短语“X采用A或B”由以下实例中的任一实例满足：X采用A；X采用B；或X采用A和B。另外，除非另有说明或从上下文清楚地被指示为单数形式，本申请和所附权利要求中使用的冠词“一”和“一个”通常应当被解释为意指“一个或多个”。各种技术试图从输入视频创建视频循环。内容可以由输入视频组装，使得所得到的视频循环的三维(3D)时空邻域与输入视频的三维(3D)时空邻域一致。前述内容可以作为以颜色一致性为目标的组合优化。如本文中所阐述的，提供了与传统方法相比较使得输出视频循环的质量能能够被增强、相对于传统方法使得输出视频循环的计算能够被加速、和/或与传统方法相比较使得用于创建输出视频循环的计算系统的资源(例如，处理器周期、存储器)能够被减少的技术。而且，输出视频循环可以在可以由网页、媒体播放器等(例如，不需要使用专业播放器)中的部件播放的标准容器中输出。下文是结合生成输出视频循环使用的各种示例性技术；这些示例性技术在本文中被更详细地描述。应当理解，当从输入视频循环创建输出视频循环时，不需要采用所有以下技术。根据示例，二维(2D)优化域可以被粗化，同时维持更精细尺度细节的准确性。作为另一示例，可以使用预测后续泊松混合的影响的空间混合遮罩来修改时空一致性项。按照另一示例，可循环像素可以被分类以使用2D二进制遮罩来减少优化域。通过进一步的示例，可以标识可循环像素的主导本文档来自技高网...

【技术保护点】
一种生成输出视频循环的方法，包括：接收输入视频，所述输入视频包括在时间范围内的像素处的值；确定所述输入视频的所述时间范围内的、用于所述输入视频中的所述像素的相应输入时间间隔，用于特定像素的输入时间间隔包括来自所述输入视频的所述时间范围内的所述特定像素处的单个连续循环的每像素循环时段；基于每像素循环时段和输出视频循环时段，对用于所述像素的所述相应输入时间间隔进行时间缩放；以及基于如针对所述输入视频中的所述像素缩放的所述相应输入时间间隔内的所述像素处的所述值，来创建输出视频循环，所述输出视频循环具有所述输出视频循环时段。

【技术特征摘要】
【国外来华专利技术】2015.10.23 US 14/922,0801.一种生成输出视频循环的方法，包括：接收输入视频，所述输入视频包括在时间范围内的像素处的值；确定所述输入视频的所述时间范围内的、用于所述输入视频中的所述像素的相应输入时间间隔，用于特定像素的输入时间间隔包括来自所述输入视频的所述时间范围内的所述特定像素处的单个连续循环的每像素循环时段；基于每像素循环时段和输出视频循环时段，对用于所述像素的所述相应输入时间间隔进行时间缩放；以及基于如针对所述输入视频中的所述像素缩放的所述相应输入时间间隔内的所述像素处的所述值，来创建输出视频循环，所述输出视频循环具有所述输出视频循环时段。2.根据权利要求1所述的方法，确定所述输入视频的所述时间范围内的、用于所述输入视频中的所述像素的所述相应输入时间间隔还包括：计算空间混合遮罩，所述空间混合遮罩包括指示混合所述像素的容易度的遮罩值；以及确定所述输入视频的所述时间范围内的、用于对目标函数进行优化的所述像素的所述相应输入时间间隔，所述目标函数包括空间一致性项和时间一致性项，并且所述空间一致性项和所述时间一致性项由所述空间混合遮罩调制。3.根据权利要求2所述的方法，创建所述输出视频循环还包括：基于如针对所述输入视频中的所述像素缩放的所述相应输入时间间隔内的所述像素处的所述值，来组装初始视频循环；以及应用泊松混合以基于所述初始视频循环来生成所述输出视频循环。4.根据权利要求1所述的方法，还包括：将所述输入视频中的所述像素分类为不变的、不可循环的或可循环的；将被分类为不变的或不可循环的所述像素的子集设置为在所述输出视频循环中是静态的；以及执行优化，以确定所述输入视频的所述时间范围内的、用于被分类可循环的所述像素的其余部分的所述相应输入时间间隔。5.根据权利要求1所述的方法，还包括：从所述输入视频中选择循环时段和开始帧的候选对，其中来自所述输入视频的、少于所有可能的所述循环时段和所述开始帧的对被选择作为所述候选对；以及从所述循环时段和所述开始帧的所述候选对确定所述输入视频的所述时间范围内的、用于所述输入视频中的所述像素的所述相应输入时间间隔。6.根据权利要求5所述的方法，所述循环时段和所述开始帧的候选对包括具有统一循环时段的静态帧，所述静态帧基于除所述静态帧以外的所述候选对中的两个或更多个候选对而被选择。7.根据权利要求1所述的方法，创建所述输出视频循环还包括：使用所述输入视频上的多个读取流来组装所述输出视频循环。8.根据权利要求1所述的方法，还包括：执行目标函数的优化，以确定所述输入视频的所述时间范围内的、用于所述输入视频中的所述像素的所述相应输入时间间隔，所述优化被执行以在所述输入视频的第一分辨率等级而向所述像素指派所述相应输入时间间隔，所述目标函数的项使用所述输入视频的第二分辨率等级，并且所述第一分辨率等级比所述第二分辨率等级粗糙。9.一种计算系统，包括：至少一个处理器；以及存储器，所述存储器包括计算机可执行指令，所述计算机可执行指令当由所述至少一个处理器执行时，使得所述至...

【专利技术属性】
技术研发人员：H·H·霍佩，廖菁，M·T·芬奇三世，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US