用于处理输入视频的系统和方法技术方案

提供了一种用于处理输入视频的系统和方法。所述方法包括：将输入视频从第一帧率转换为第二帧率，其中，第二帧率是比第一帧率快的帧率；生成处于第二帧率的输入视频的处理的帧；以及使用时间滑动窗口聚合来对处理的帧聚合，以产生处于第三帧率的处理的输出视频。以产生处于第三帧率的处理的输出视频。以产生处于第三帧率的处理的输出视频。

【技术实现步骤摘要】
用于处理输入视频的系统和方法


[0001]本公开总体涉及视频处理。具体地讲，本公开涉及一种用于基于视频帧之间的时间特性来处理视频的系统和方法。

技术介绍

[0002]视频是以特定帧率播放的一系列帧。视频可使用已知的视频处理技术(诸如，视频编辑、视频着色、视频修复、视频增强、视频超分辨率处理和视频风格迁移处理)被逐帧地处理。
[0003]使用已知处理技术处理的视频经常导致由于连续帧之间的变化而在时间上不相关的视频，从而导致在视频回放期间的闪烁。因此，可需要后处理以使得视频帧在时间上一致。后处理可需要大量的计算机处理资源来考虑每个视频帧中提供的所有信息。
[0004]因此，提供能够生成具有增强的时间一致性的视频帧的视频处理技术可能是有利的，从而减轻了提供用于校正视频帧之间的时间变化的附加处理(即，后处理)的需要。

技术实现思路

[0005]根据一个实施例，提供了一种用于在保持跨视频帧的时间一致性的同时处理输入视频的方法。所述方法包括：将输入视频从第一帧率转换到第二帧率，其中，第二帧率是比第一帧率快的帧率；生成处于第二帧率的输入视频的处理的帧；以及使用时间滑动窗口聚合来对处理的帧聚合，以产生处于第三帧率的处理的输出视频。
[0006]根据一个实施例，提供了一种用于在保持跨视频帧的时间一致性的同时处理输入视频的系统。所述系统包括非暂时性计算机可读存储器和处理器，其中，处理器在执行存储在非暂时性计算机可读存储器中的指令时被配置为：将输入视频从第一帧率转换为第二帧率，其中，第二帧率是比第一帧率快的帧率；生成第二帧率的输入视频的处理的帧；以及使用时间滑动窗口聚合来对处理的帧聚合，以产生处于第三帧率的处理的输出视频。
附图说明
[0007]从下面结合附图进行的详细描述，本公开的特定实施例的以上和其他方面、特征和优点将更清楚，其中：
[0008]图1示出根据实施例的用于时间上的上转换和聚合的流程图；
[0009]图2示出根据实施例的在时间上的上转换和聚合期间的帧；
[0010]图3示出根据实施例的用于执行视频修复的输入视频帧和掩模；
[0011]图4A示出根据实施例的用于执行视频修复的帧插值步骤；
[0012]图4B示出根据实施例的用于执行视频修复的逐帧修复步骤；
[0013]图4C示出根据实施例的时间聚合步骤；以及
[0014]图5示出根据一个实施例的网络环境下的电子装置的框图。
具体实施方式
[0015]在下文中，参照附图详细描述本公开的实施例。应注意，即使相同的元件在不同的附图中示出，它们也将由相同的参考标号标示。在下面的描述中，仅提供诸如详细配置和组件的具体细节来帮助对本公开的实施例的全面理解。因此，对于本领域技术人员而言应清楚的是，在不脱离本公开的范围的情况下，可进行在此描述的实施例的各种改变和修改。此外，为了清楚和简明，省略了公知功能和结构的描述。下面描述的术语是考虑在本公开中的功能而定义的术语，并且可根据用户、用户的意图或习惯而不同。因此，术语的定义应基于贯穿本说明书的内容来确定。
[0016]本公开可具有各种修改和各种实施例，其中，下面参照附图详细描述各种实施例中的实施例。然而，应理解，本公开不限于实施例，而是包括本公开的范围内的所有修改、等同物和替代物。
[0017]虽然包括诸如第一、第二等的序数的术语可用于描述各种元件，但是结构元件不受术语限制。术语仅用于将一个元件与另一元件区分开来。例如，在不脱离本公开的范围的情况下，第一结构元件可被称为第二结构元件。类似地，第二结构元件也可被称为第一结构元件。如在此使用的，术语“和/或”包括一个或多个相关项的任何组合和所有组合。
[0018]在此使用的术语仅用于描述本公开的各种实施例，而不意在限制本公开。除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。在本公开中，应理解，术语“包括”或“具有”指示特征、数字、步骤、操作、结构元件、部件或它们的组合的存在，并不排除一个或多个其他特征、数字、步骤、操作、结构元件、部件或它们的组合的存在或添加的可能性。
[0019]除非不同地定义，否则在此使用的所有术语具有与本公开所属领域的技术人员所理解的含义相同的含义。除非在本公开中清楚地定义，否则术语(诸如在通用词典中定义的那些术语)将被解释为具有与相关领域中的上下文含义相同的含义，并且将不被解释为具有理想的或过于形式化的含义。
[0020]根据一个实施例的电子装置可以是各种类型的电子装置中的一种。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据公开的一个实施例，电子装置不限于上述那些。
[0021]本公开中使用的术语不意在限制本公开，而是意在包括对应的实施例的各种改变、等同物或替代物。关于附图的描述，类似的参考标号可用于表示类似的或相关的元件。除非相关上下文另外清楚地指示，否则与项对应的名词的单数形式可包括事物中的一个或多个。如在此所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”和“A、B或C中的至少一个”的这样的短语中的每个可包括在这些短语中的对应的短语中一起列举的项的所有可能的组合。如在此所使用的，诸如“第1”、“第2”、“第一”和“第二”的术语可用于将对应的组件与另一组件区分开来，但不意在在其他方面(例如，重要性或顺序)限制组件。如果元件(例如，第一元件)在具有或不具有术语“可操作地”或“通信地”的情况下被称为“与”另一元件(例如，第二元件)“结合”、“结合到”另一元件(例如，第二元件)、“与”另一元件(例如，第二元件)连接”或“连接到”另一元件(例如，第二元件)，则意图指示该元件可直接地(例如，有线)、无线地或经由第三元件与另一元件结合。
[0022]如在此使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并且可与其他术语(例如，“逻辑”、“逻辑块”、“部件”和“电路”)可互换地使用。模块可以是适于执行一个或多个功能的单个集成组件或其最小单元或部分。例如，根据一个实施例，模块可以以专用集成电路(ASIC)的形式来实现。
[0023]在许多算法是基于学习的算法的深度学习的时代，可能难以收集训练算法所需的数据以产生令人满意的输出视频。此外，当视频处理算法考虑来自邻近帧的信息时，时间信息经常被忽略，并且视频处理仍然逐帧地进行。此外，如果连续帧包括显著的变化，则处理的视频可在时间上不一致或不相关。
[0024]多帧处理可表示处理帧(即，视频帧)序列中的多个帧的算法。这些帧可具有这些帧之间的时间连贯性。然而，帧率和帧中的对象的速度可确定在连续帧之间能够观察到多少变化。
[0025]因此，如果帧序列是不完整的具有缺失的像素，则多帧处理系统和方法可用于使用准确的(即，实际的(realistic))值(即，像素值)替换缺失的区域(即，与缺失的像素对应的帧的区域)。...

【技术保护点】

【技术特征摘要】
1.一种用于在保持视频帧之间的时间上的一致性的同时处理输入视频的方法，所述方法包括：将输入视频从第一帧率转换为第二帧率，其中，第二帧率是比第一帧率高的帧率；生成处于第二帧率的输入视频的处理的帧；以及使用时间滑动窗口聚合来对处理的帧聚合，以产生处于第三帧率的处理的输出视频。2.根据权利要求1所述的方法，其中，将输入视频从第一帧率转换为第二帧率的步骤包括：通过计算在第一时间步长的第一视频帧和在第二时间步长的第二视频帧的加权和来确定中间帧。3.根据权利要求2所述的方法，其中，计算在第一时间步长的第一视频帧和在第二时间步长的第二视频帧的加权和的步骤包括：计算从第一视频帧到与中间帧对应的第三时间步长的前向变形网格，并基于前向变形网格获得在前向方向上的变形帧；计算从第二视频帧到与中间帧对应的第三时间步长的后向变形网格，并基于后向变形网格获得在后向方向上的变形帧；通过对在前向方向上的变形帧和在后向方向上的变形帧执行加权和，来确定在第三时间步长的中间帧。4.根据权利要求1所述的方法，其中，将输入视频从第一帧率转换为第二帧率的步骤包括：将输入视频和遮挡掩模两者从第一帧率转换为第二帧率，其中，遮挡掩模指示输入视频的将处理的区域。5.根据权利要求4所述的方法，其中，生成处于第二帧率的输入视频的处理的帧的步骤包括：使用与处于第二帧率的输入视频的每个帧对应的处于第二帧率的遮挡掩模，独立地处理处于第二帧率的输入视频的每个帧，其中，生成处理的帧的步骤包括：增强处理、锐化处理、去噪处理、超分辨率处理和修复处理中的至少一个。6.根据权利要求1所述的方法，其中，使用时间滑动窗口聚合来对处理的帧聚合的步骤包括：选择具有预定步长的时间滑动窗口；以及在时间滑动窗口内将处理的帧中的至少一些帧进行对齐和平均。7.根据权利要求6所述的方法，其中，在时间滑动窗口内对齐和平均的处理的帧包括：一个参考帧和至少两个上下文帧。8.根据权利要求7所述的方法，其中，所述至少两个上下文帧包括：位于参考帧之前的至少一个上下文帧和位于参考帧之后的至少一个上下文帧。9.根据权利要求1所述的方法，其中，使用时间滑动窗口聚合来对处理的帧聚合的步骤包括：在时间滑动窗口内将第一组处理的帧进行对齐和平均；以及在时间滑动窗口内将第二组处理的帧进行对齐和平均，其中，第一组处理的帧和第二组处理的帧包括至少一个共享的上下文帧。
10.根据权利要求1至9中的任意一项所述的方法，其中，第一帧率等于第三帧率。11.一种用于在保持视频帧之间的时间上的一致性的同时处理输入视频的系统，所述系统包括：非暂时性计算机可读存储器和...

【专利技术属性】
技术研发人员：穆斯塔法，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：