视频处理方法及装置制造方法及图纸

本发明专利技术公开一种视频处理方法及装置。根据一实施例的视频处理方法包括以下步骤：接收包括多个时间部分(temporal portions)的视频；接收与用于对所述视频进行整体处理的第一神经网络对应的第一模型参数；接收与用于分别处理所述多个时间部分的多个第二神经网络相对应的多个第二模型参数与所述第一模型参数之间的残差(residues)；以及基于所述残差(residues)对所述视频执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种。伪影去除中的至少一种。伪影去除中的至少一种。

【技术实现步骤摘要】
【国外来华专利技术】视频处理方法及装置


[0001]以下实施例涉及一种视频处理方法及装置。

技术介绍

[0002]用于超分辨率(SR，Super
‑
Resolution)的卷积神经网络(CNN，Convolutional Neural Network)在图像恢复中表现出良好的性能和高保真度(fidelity)。在计算机视觉(computer vision)领域，人们对基于CNN的SR进行了许多研究。
[0003]通过SR，视频在低空间分辨率下被有效地编码并被传输，并且可以在接收端使用基于CNN的SR方法在高空间分辨率下将视频恢复为具有高恢复保真度。
[0004]此外，神经网络模型参数的内容自适应(content
‑
adaptive)学习和传输可以提高SR性能，以具有更高的恢复保真度。在这种情况下，神经网络参数的有效传输至关重要。

技术实现思路

[0005]要解决的技术问题
[0006]以下实施例可以提供一种视频处理技术。
[0007]解决问题的技术方法
[0008]根据一实施例的视频处理方法，包括以下步骤：接收包括多个时间部分(temporal portions)的视频；接收与用于对所述视频进行整体处理的第一神经网络对应的第一模型参数；接收与用于分别处理所述多个时间部分的多个第二神经网络相对应的多个第二模型参数与所述第一模型参数之间的残差(residues)；以及基于所述残差(residues)对所述视频执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种。
[0009]所述第一神经网络及所述多个第二神经网络中的至少一个可以包括包含至少一个卷积层的轻量残差密集块(Light
‑
weight residual dense block)。
[0010]所述第一神经网络及所述多个第二神经网络中的至少一个可以包括多个以级联(cascade)结构配置的轻量残差密集块。
[0011]所述轻量残差密集块可以包括：深度可分离卷积(depth
‑
wise separable convolution)层；或1
×1×
d卷积层。
[0012]所述深度可分离卷积层可以包括：逐深度卷积层；逐点卷积层；以及非线性激活函数。
[0013]所述执行步骤可以包括以下步骤：通过将所述残差添加(by adding)到所述第一模型参数来恢复所述多个第二模型参数；以及基于所述多个第二模型参数对所述多个时间部分分别执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种。
[0014]所述视频处理方法还可以包括以下步骤：接收被包括在所述多个时间部分中的帧上的空间区域分割信息及分割后的空间区域的类别(category)信息。
[0015]所述执行步骤可以包括以下步骤：基于所述空间区域分割信息及所述类别信息将所述帧分割成多个空间区域(spatial regions)；以及基于所述多个空间区域及所述类别信息对所述视频执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种。
[0016]根据一实施例的视频处理装置，包括：接收器，其接收包括多个时间部分(temporal portions)的视频，并接收与用于对所述视频进行整体处理的第一神经网络对应的第一模型参数，并接收与用于分别处理所述多个时间部分的多个第二神经网络相对应的多个第二模型参数与所述第一模型参数之间的残差(residues)；以及处理器，其基于所述残差(residues)对所述视频执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种。
[0017]所述第一神经网络及所述多个第二神经网络中的至少一个可以包括包含至少一个卷积层的轻量残差密集块(Light
‑
weight residual dense block)。
[0018]所述第一神经网络及所述多个第二神经网络中的至少一个可以包括多个以级联(cascade)结构配置的轻量残差密集块。
[0019]所述轻量残差密集块可以包括：深度可分离卷积(depth
‑
wise separable convolution)层；或1
×1×
d卷积层。
[0020]所述深度可分离卷积层可以包括：逐深度卷积层；逐点卷积层；以及非线性激活函数。
[0021]所述处理器可以将被包括在所述视频中的帧分割成多个区域，并通过将所述残差添加(by adding)到所述第一模型参数来恢复所述多个第二模型参数，并基于所述多个第二模型参数对所述多个时间部分分别执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种。
[0022]所述接收器还可以接收被包括在所述多个时间部分中的帧上的空间区域分割信息及分割后的空间区域的类别信息。
[0023]所述处理器可以基于所述空间区域分割信息及所述类别信息将所述帧分割成多个空间区域(spatial regions)，并基于所述多个空间区域及所述类别信息对所述视频执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种。
[0024]根据另一实施例的视频处理方法，其执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种，包括以下步骤：接收包括多个时间部分(temporal portions)的视频及与用于处理所述视频的神经网络相关的模型信息；获取与用于基于所述模型信息对所述视频进行整体处理的第一神经网络相对应的第一模型参数；接收与用于基于所述模型信息分别处理所述多个时间部分的多个第二神经网络相对应的多个第二模型参数；计算所述第一模型参数与所述多个第二模型参数之间的残差(residues)；以及传输所述视频及所述残差。
[0025]所述视频处理方法还可以包括以下步骤：通过分割被包括在所述多个时间部分中的帧来生成空间区域分割信息；以及基于分割后的空间区域的信号特征(signal characteristic)来生成所述分割后的空间区域的类别信息。
[0026]所述传输步骤还可以包括以下步骤：压缩并传输所述视频、所述残差、所述空间区
域分割信息及所述类别信息中的至少一个。
[0027]所述视频处理方法还可以包括以下步骤：学习所述多个第二神经网络以最小化所述残差。
[0028]根据另一实施例的视频处理装置，其用于执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种，包括：接收器，其接收包括多个时间部分(temporal portions)的视频及与用于处理所述视频的神经网络相关的模型信息；以及处理器，其获取与用于基于所述模型信息对所述视频进行整体处理的第一神经网络相对应的第一模型参数，并接收与用于基于所述模本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频处理方法，其特征在于，包括以下步骤：接收包括多个时间部分的视频；接收与用于对所述视频进行整体处理的第一神经网络对应的第一模型参数；接收与用于分别处理所述多个时间部分的多个第二神经网络相对应的多个第二模型参数与所述第一模型参数之间的残差；以及基于所述残差对所述视频执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种。2.根据权利要求1所述的视频处理方法，其特征在于，所述第一神经网络及所述多个第二神经网络中的至少一个包括包含至少一个卷积层的轻量残差密集块。3.根据权利要求1所述的视频处理方法，其特征在于，所述第一神经网络及所述多个第二神经网络中的至少一个包括多个以级联结构配置的轻量残差密集块。4.根据权利要求2所述的视频处理方法，其特征在于，所述轻量残差密集块，包括：深度可分离卷积层；或1
×1×
d卷积层。5.根据权利要求4所述的视频处理方法，其特征在于，所述深度可分离卷积层，包括：逐深度卷积层；逐点卷积层；以及非线性激活函数。6.根据权利要求1所述的视频处理方法，其特征在于，所述执行步骤，包括以下步骤：通过将所述残差添加到所述第一模型参数来恢复所述多个第二模型参数；以及基于所述多个第二模型参数对所述多个时间部分分别执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种。7.根据权利要求1所述的视频处理方法，其特征在于，还包括以下步骤：接收被包括在所述多个时间部分中的帧的空间区域分割信息及分割后的空间区域的类别信息。8.根据权利要求7所述的视频处理方法，其特征在于，所述执行步骤，包括以下步骤：基于所述空间区域分割信息及所述类别信息将所述帧分割成多个空间区域；以及基于所述多个空间区域及所述类别信息对所述视频执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种。9.一种视频处理装置，其特征在于，包括：
接收器，其接收包括多个时间部分的视频，并接收与用于对所述视频进行整体处理的第一神经网络对应的第一模型参数，并接收与用于分别处理所述多个时间部分的多个第二神经网络相对应的多个第二模型参数与所述第一模型参数之间的残差；以及处理器，其基于所述残差对所述视频执行超分辨率、逆色调映射、色调映射、帧插值、运动去模糊、去噪及压缩伪影去除中的至少一种。10.根据权利要求9所述的视频处理装置，其特征在于，所述第一神经网络及所述多个第二神经网络中的至少一个包括包含至少一个卷积层的轻量残差密集块。11.根据权利要求9所述的视频处理装置，其特征在于，所述第一神经网络及所述多个第二神经网络中的至少一个包括多个以级联结构配置的轻量残差密集块。12.根据权利要求10所述的视频处理装置，其特征在于，所述轻量残差密集块，包括：深度可分离卷积层；或1
×1×
d卷积层。13.根据权利要求12所述的视频处理装置，其特征在于，所述深度可分离卷积层，包括：逐深度卷积层；逐点卷积层；以及非线性激活函数。14.根据权利要求9所述的视频...

【专利技术属性】
技术研发人员：金纹哲，奇世焕，
申请(专利权)人：韩国科学技术院，
类型：发明
国别省市：