时间视频增强方法技术

本发明专利技术公开了一种时间视频增强方法，包括：接收多个原始视频帧；降低所述多个原始视频帧的空间分辨率，以产生多个降低分辨率的视频帧；提取所述多个降低分辨率的视频帧的至少一个时间特征；基于所述至少一个时间特征对所述多个原始视频帧进行空间建模，以输出多个时间稳定的视频帧；以及合并所述多个时间稳定的视频帧。视频帧。视频帧。

【技术实现步骤摘要】
时间视频增强方法


[0001]本公开涉及视频增强
，更具体地，涉及一种时间视频增强方法。

技术介绍

[0002]当前的深度学习被用于视频增强技术，例如基于相应图像处理任务的降噪、超分辨率、风格转换、彩色变换和高动态范围(HDR)增强等等。将基于图像的算法独立地应用于每个视频帧的一个显著缺点是可能会出现闪烁，这是由于基于图像的算法的时间不稳定性(temporal instability)造成的。通过将这些方法直接应用于视频来解决这种时间不稳定性可能需要大量的存储和计算资源。

技术实现思路

[0003]一个示例性的时间视频增强方法包括：接收多个原始视频帧；降低所述多个原始视频帧的空间分辨率，以产生多个降低分辨率的视频帧；提取所述多个降低分辨率的视频帧的至少一个时间特征；基于所述至少一个时间特征对所述多个原始视频帧进行空间建模，以输出多个时间稳定的视频帧；以及合并所述多个时间稳定的视频帧。
[0004]另一示例性的时间视频增强方法包括：接收多个原始视频帧；降低所述多个原始视频帧的空间分辨率，以产生多个降低分辨率的视频帧；增强所述多个降低分辨率的视频帧以产生多个增强的视频帧；提取所述多个降低分辨率的视频帧的至少一个时间特征；基于所述至少一个时间特征和所述多个增强的视频帧对所述多个原始视频帧进行空间建模，以输出多个时间稳定的视频帧；以及合并所述多个时间稳定的视频帧。
[0005]另一示例性的时间视频增强方法包括：接收多个原始视频帧；降低所述多个原始视频帧的空间分辨率，以产生多个降低分辨率的视频帧；提取所述多个降低分辨率的视频帧的至少一个时间特征；对所述至少一个时间特征进行上采样；以及联合上采样后的至少一个时间特征和所述多个原始视频帧。
附图说明
[0006]图1是根据本公开的一个实施例的时间视频增强的示例流程；
[0007]图2是根据本公开的一个实施例的时间视频增强的第一示例方法；
[0008]图3是根据本公开的一个实施例的时间视频增强的第二示例方法；以及
[0009]图4是根据本公开的一个实施例的时间视频增强的第三示例方法。
具体实施方式
[0010]下面列出的实施例仅用于说明装置和方法的应用，而不是为了限制范围。对该装置和方法的等效修改应落入权利要求的保护范围内。
[0011]本文中使用了某些术语来指代特定的系统部件。如本领域技术人员所理解的，不同的公司可以用不同的名称来指代组件和/或方法。本文不应该区分名称不同但功能相同
的组件和/或方法。
[0012]在下面的讨论以及权利要求中，术语“包含”和“包括”是以开放的方式使用的，因此可以被解释为“包括但不限于
……”
。此外，术语“连接”意指间接或直接连接。因此，如果第一装置连接到第二装置，则连接可以通过直接连接，也可以通过其他装置和连接的间接连接。
[0013]闪烁可被观看者感知为视频内视频帧的色调或亮度的突然变化。视频由按时间顺序显示的多个视频帧组成。单个视频帧是图像帧。
[0014]当前的图像增强技术将单独的视频帧视为孤立的图像帧。对一个单独帧执行的图像增强可能不同于对相邻帧执行的增强，这可能导致差异图像处理，这种差异图像处理可能被视为视频中的闪烁。
[0015]在一个示例中，原始视频帧可以是记录的未增强视频帧，即原始视频帧。本示例中的原始视频帧将是全分辨率的视频帧。
[0016]未增强的原始视频帧的空间分辨率可以降低，例如从高清晰度(HD)降低到标准清晰度(SD)，这减少了显示像素的数量。空间分辨率的这种降低具有减少给定图像帧的存储像素数量以及减少发送或处理图像帧所需的带宽的效果。
[0017]来自相关场景的帧中图像的特征可能相互依赖，例如，帧可能在同一场景中共享相似的曝光水平和色调。在一个示例中，曝光水平和色调的帧间集合(frame
‑
to
‑
frame set)将定义这些帧的时间特征集合，从而可以构建时间模型。可以在降低分辨率的视频帧上执行时间特征的提取，以减少用于执行提取的内存带宽和计算资源。
[0018]在一个示例中，视频帧的空间模型可以包括基于图像的算法，例如对构成视频的图像帧进行降噪、超分辨率、风格转换、高动态范围和颜色增强。在本公开中，视频帧和图像帧可被视为等效的，因为视频由多个视频帧或等效的图像帧组成。
[0019]本专利技术提出组合来自一组降低分辨率的视频帧的一组时间特征，并将那些帧中的那些时间特征与原始视频帧匹配。然后，利用这些帧的时间特征作为增强过程中的指引(guide)，匹配的帧将被增强。这可以为基于图像的算法提供一种解决结果视频中的时间一致性的可能解决方案。
[0020]可以利用降低分辨率的视频序列确定时间特征和空间特征，以输出时间稳定的帧。基于图像的算法可以被训练成直接输出时间上一致的帧，而不是依赖于后处理方法来减少处理后视频的闪烁。在本公开中，术语时间信息和时间特征可以被认为是等效的，术语空间信息和空间特征可以被认为是等效的。
[0021]在一个示例中，可以以较低的空间分辨率对视频序列执行时间特征的提取，以节省内存和计算带宽。
[0022]图3示出了该方法的一个示例。时间模块可以处理视频以提取时间特征。为了减少内存和计算带宽，可以降低视频的空间分辨率以提取时间特征。空间模型可以对视频中的全分辨率帧执行基于图像的算法，例如降噪、超分辨率、高动态范围、颜色增强等。空间模型可以利用所提取的时间特征作为指引，从而在输出帧合并时产生可能具有减少的闪烁的视频。
[0023]图1描绘了第一示例流程100。在该示例中，输入全分辨率的原始视频序列110。确定降低空间分辨率的视频序列的时间模型112，并且该模型的至少一个输出是来自降低空
间分辨率的视频序列的视频帧的一组时间特征114。在视频图像n 120的一组时间特征和全分辨率视频图像帧n118之间执行配对116。构建配对帧的空间模型122和全分辨率帧的各自特征，并输出处理后的视频帧n 124。合并处理后的视频帧126，以产生时间稳定的全分辨率视频序列128。
[0024]所提出的解决方案中的一个任务可以是从输入视频中提取时间特征。时间特征的捕捉可以使相关场景的帧间具有视觉连续性，这些场景在视觉上相互依赖。例如，同一场景中帧的曝光水平和色调应保持一致。如果没有来自相邻帧的足够信息，处理算法产生的结果输出帧可能不稳定，这可能导致视频闪烁。因此，在给定原始视频序列的情况下，可以对模型进行训练，以提供将用作空间模型的时间指引的特征。
[0025]可用于提取时间信息的可能模型包括三维(3D)卷积神经网络(CNN)。与执行空间卷积运算的二维(2D)CNN不同，该网络结构可以在额外维度上执行卷积运算，以从序列中提取时间和空间特征。在一个示例中，可以利用时间和空间特征在第三维中组合视频帧。如果网络具有足够的感受野，它可以完全覆盖视频并输出考虑整个视频序列的信息的特征。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时间视频增强方法，其特征在于，包括：接收多个原始视频帧；降低所述多个原始视频帧的空间分辨率，以产生多个降低分辨率的视频帧；提取所述多个降低分辨率的视频帧的至少一个时间特征；基于所述至少一个时间特征对所述多个原始视频帧进行空间建模，以输出多个时间稳定的视频帧；以及合并所述多个时间稳定的视频帧。2.根据权利要求1所述的时间视频增强方法，其特征在于，还包括：对所述多个降低分辨率的视频帧进行时间建模。3.根据权利要求1所述的时间视频增强方法，其特征在于，还包括：将所述多个原始视频帧与所述至少一个时间特征配对。4.根据权利要求1所述的时间视频增强方法，其特征在于，还包括：训练所述空间建模以输出时间稳定的视频帧。5.根据权利要求1所述的时间视频增强方法，其特征在于，通过神经网络执行所述至少一个时间特征的提取。6.根据权利要求5所述的时间视频增强方法，其特征在于，所述神经网络是三维卷积神经网络和递归神经网络中的至少一个。7.根据权利要求1所述的时间视频增强方法，其特征在于，通过神经网络执行所述空间建模。8.根据权利要求1所述的时间视频增强方法，其特征在于，所述至少一个时间特征的提取利用来自至少一个相邻的降低分辨率的视频帧的一组信息。9.根据权利要求8所述的时间视频增强方法，其特征在于，所述一组信息包括曝光水平和色调中的至少一个。10.根据权利要求1所述的时间视频增强方法，其特征在于，所述至少一个时间特征的提取基于中间特征。11.根据权利要求1所述的时间视频增强方法，其特征在于，所述至少一个时间特征的提取与至少一个更高层特征相联合。12.一种时间视频增强...

【专利技术属性】
技术研发人员：徐奕宁，段宇波，沈山岚，
申请(专利权)人：黑芝麻智能科技重庆有限公司，
类型：发明
国别省市：