视频帧处理方法及装置、视频帧去噪方法及装置制造方法及图纸

本说明书实施例提供视频帧处理方法及装置、视频帧去噪方法及装置，其中，视频帧处理方法包括确定目标视频的初始视频帧集合；根据所述至少两个视频帧、扩散时间步，确定所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声；根据所述至少两个视频帧、所述扩散时间步、扩散参数、分解参数、所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，对所述至少两个视频帧进行加噪，获得目标视频帧集合。该方法对连续视频帧加噪的过程中，将噪声分解为共享的基础噪声以及独立的残差噪声，实现被加噪为拥有共享噪声成分的连续视频帧，使得在后续的去噪过程中恢复连续视频帧更加简单。恢复连续视频帧更加简单。恢复连续视频帧更加简单。

【技术实现步骤摘要】
视频帧处理方法及装置、视频帧去噪方法及装置


[0001]本说明书实施例涉及计算机
，特别涉及一种视频帧处理方法及装置、一种视频帧去噪方法及装置、一种计算设备、一种计算机可读存储介质。

技术介绍

[0002]现有技术中，由于拍摄条件的限制以及发送设备、传输设备、接收设备的影响，视频经常受到噪声干扰，使视频质量下降，从而影响视频的视觉效果，妨碍视频的进一步处理。因此，需要对视频去噪以提升视频的质量。

技术实现思路

[0003]有鉴于此，本说明书实施例提供了一种视频帧处理方法。本说明书一个或者多个实施例同时涉及一种视频帧处理装置，一种视频帧去噪方法，一种视频帧去噪装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种视频帧处理方法，包括：
[0005]确定目标视频的初始视频帧集合，其中，所述初始视频帧集合中包括至少两个视频帧；
[0006]根据所述至少两个视频帧、扩散时间步，确定所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，其中，所述至少两个视频帧在所述扩散时间步的第一目标噪声相同，第二目标噪声不同；
[0007]根据所述至少两个视频帧、所述扩散时间步、扩散参数、分解参数、所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，对所述至少两个视频帧进行加噪，获得目标视频帧集合，其中，所述目标视频帧集合中包括至少两个加噪视频帧。
[0008]根据本说明书实施例的第二方面，提供了一种视频帧处理装置，包括：
[0009]视频帧确定模块，被配置为确定目标视频的初始视频帧集合，其中，所述初始视频帧集合中包括至少两个视频帧；
[0010]噪声确定模块，被配置为根据所述至少两个视频帧、扩散时间步，确定所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，其中，所述至少两个视频帧在所述扩散时间步的第一目标噪声相同，第二目标噪声不同；
[0011]加噪模块，被配置为根据所述至少两个视频帧、所述扩散时间步、扩散参数、分解参数、所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，对所述至少两个视频帧进行加噪，获得目标视频帧集合，其中，所述目标视频帧集合中包括至少两个加噪视频帧。
[0012]根据本说明书实施例的第三方面，提供了一种视频帧去噪方法，包括：
[0013]确定待处理视频帧集合，其中，所述待处理视频帧集合中包括至少两个加噪的待处理视频帧；
[0014]将所述至少两个加噪的待处理视频帧输入扩散模型的去噪网络，获得去噪后的至少两个待处理视频帧，
[0015]其中，所述扩散模型的去噪网络为上述视频帧处理方法中的扩散模型的去噪网络。
[0016]根据本说明书实施例的第四方面，提供了一种视频帧去噪装置，包括：
[0017]加噪视频帧确定模块，被配置为确定待处理视频帧集合，其中，所述待处理视频帧集合中包括至少两个加噪的待处理视频帧；
[0018]视频帧去噪模块，被配置为将所述至少两个加噪的待处理视频帧输入扩散模型的去噪网络，获得去噪后的至少两个待处理视频帧，
[0019]其中，所述扩散模型的去噪网络为上述视频帧处理方法中的扩散模型的去噪网络。
[0020]根据本说明书实施例的第五方面，提供了一种计算设备，包括：
[0021]存储器和处理器；
[0022]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述视频帧处理方法或者视频帧去噪方法的步骤。
[0023]根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述视频帧处理方法或者视频帧去噪方法的步骤。
[0024]根据本说明书实施例的第七方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述视频帧处理方法或者视频帧去噪方法的步骤。
[0025]本说明书一个实施例实现了一种视频帧处理方法，包括确定目标视频的初始视频帧集合，其中，所述初始视频帧集合中包括至少两个视频帧；根据所述至少两个视频帧、扩散时间步，确定所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，其中，所述至少两个视频帧在所述扩散时间步的第一目标噪声相同，第二目标噪声不同；根据所述至少两个视频帧、所述扩散时间步、扩散参数、分解参数、所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，对所述至少两个视频帧进行加噪，获得目标视频帧集合，其中，所述目标视频帧集合中包括至少两个加噪视频帧。
[0026]具体的，该视频帧处理方法在对初始视频帧集合中连续视频帧加噪的过程中，将噪声分解为连续视频帧共享的第一目标噪声、以及独立的第二目标噪声，实现该连续视频帧在扩散过程(即加噪过程)中，被加噪为拥有共享噪声成分的连续视频帧，使得在后续的去噪过程中恢复连续视频帧更加简单，并且更有可能生成质量更高的连续视频帧，从而根据质量更高的连续视频帧生成高质量的视频。
附图说明
[0027]图1是本说明书一个实施例提供的一种分解概率扩散模型训练的具体实现场景示意图；
[0028]图2是本说明书一个实施例提供的一种视频帧处理方法的流程图；
[0029]图3是本说明书一个实施例提供的一种视频帧处理方法中扩散模型的加噪过程示
意图；
[0030]图4是本说明书一个实施例提供的一种视频帧处理方法中扩散模型的去噪过程示意图；
[0031]图5是本说明书一个实施例提供的一种视频帧处理方法中扩散模型的加噪、去噪的具体处理过程；
[0032]图6是本说明书一个实施例提供的一种视频帧去噪方法的流程图；
[0033]图7是本说明书一个实施例提供的一种视频帧处理装置的结构示意图；
[0034]图8是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0035]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0036]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0037]应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频帧处理方法，包括：确定目标视频的初始视频帧集合，其中，所述初始视频帧集合中包括至少两个视频帧；根据所述至少两个视频帧、扩散时间步，确定所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，其中，所述至少两个视频帧在所述扩散时间步的第一目标噪声相同，第二目标噪声不同；根据所述至少两个视频帧、所述扩散时间步、扩散参数、分解参数、所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，对所述至少两个视频帧进行加噪，获得目标视频帧集合，其中，所述目标视频帧集合中包括至少两个加噪视频帧。2.根据权利要求1所述的视频处理方法，所述根据所述至少两个视频帧、所述扩散时间步、扩散参数、分解参数、所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，对所述至少两个视频帧进行加噪，获得目标视频帧集合，包括：确定所述至少两个视频帧的中间视频帧，以及所述中间视频帧对应的第一分解参数；根据所述至少两个视频帧、所述扩散时间步、扩散参数、所述第一分解参数、第二分解参数、所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，对所述至少两个视频帧进行加噪，获得目标视频帧集合，其中，所述第二分解参数为所述至少两个视频帧中、除所述中间视频帧之外的其他视频帧对应的分解参数。3.根据权利要求1所述的视频处理方法，所述根据所述至少两个视频帧、所述扩散时间步、扩散参数、分解参数、所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，对所述至少两个视频帧进行加噪，获得目标视频帧集合，包括：将所述至少两个视频帧输入扩散模型的加噪网络；在所述加噪网络中，根据所述至少两个视频帧、所述扩散时间步、扩散参数、分解参数、所述至少两个视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声，对所述至少两个视频帧进行加噪，获得目标视频帧集合。4.根据权利要求1
‑
3任意一项所述的视频处理方法，所述获得目标加噪视频帧集合之后，还包括：从所述至少两个加噪视频帧中确定目标加噪视频帧，并确定所述目标加噪视频帧在所述扩散时间步的第一目标噪声以及第二目标噪声；将所述目标加噪视频帧输入扩散模型的去噪网络，获得所述目标加噪视频帧在所述扩散时间步的第一预测噪声以及第二预测噪声；根据所述目标加噪视频帧在所述扩散时间步的第一目标噪声、第二目标噪声、第一预测噪声以及第二预测噪声，训练所述去噪网络。5.根据权利要求4所述的视频处理方法，所述将所述目标加噪视频帧输入扩散模型的去噪网络，获得所述目标加噪视频帧在所述扩散时间步的第一预测噪声以及第二预测噪声，包括：将所述目标加噪视频帧输入扩散模型的第一去噪网络，获得所述目标加噪视频帧在所述扩散时间步的第一预测噪声；以及将所述目标加噪视频帧输入扩散模型的第二去噪网络，获得所述目标加噪视频帧在所述扩散时间步的第二预测噪声。
6.根据权利要求4所述的视频处理方法，所述根据所述目标加噪视频帧在所述扩散时间步的第一目标噪声、第二目标噪声、第一预测噪声以及第二预测噪声，训练所述去噪网络，包括：根据所述目标加噪视频帧在所述扩散时间步的第一目标噪声、第二目标噪声、第一预测噪声以及第二预测噪声，计算目标损失函数，并根据所述目标损失函数训练所述去噪网络。7.根据权利要求6所述的视频处理方法，所述根据所述目标加噪视频帧在所述扩散时间步的第一目标噪声、第二目标噪...

【专利技术属性】
技术研发人员：罗正雄，陈大友，张迎亚，赵德丽，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：