视频去闪烁方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种视频去闪烁方法、装置、电子设备及存储介质，其中所述视频去闪烁方法包括：将原始视频的时空坐标输入至第一模型组，得到第一模型组输出的神经涂层；第一模型组包括第一多层感知器(Multilayer Perceptron，MLP)及第二MLP，第一MLP用于生成神经涂层的空间坐标，第二MLP用于生成神经涂层的空间坐标对应像素点的像素值；神经涂层包括原始视频所有的像素点；基于原始视频的时空坐标及神经涂层，生成原始视频对应的初始重建视频；基于原始视频及初始重建视频对初始重建视频进行修正，生成目标重建视频。通过上述方法，生成的目标重建视频可以有效地去除原始视频中的视频闪烁。闪烁。闪烁。

【技术实现步骤摘要】
视频去闪烁方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种视频去闪烁方法、装置、电子设备及存储介质。

技术介绍

[0002]高质量的视频通常在时间上是一致的，但许多视频由于各种原因会出现闪烁。例如，老电影的亮度可能会非常不稳定，因为一些老相机无法将每帧的曝光时间设置为相同；又例如，室内照明以一定的频率(例如60Hz)变化，曝光时间很短的高速相机可以捕捉到室内照明的快速变化，当应用于时间一致的视频时，有效的处理算法(例如增强、着色和样式转换)也可能会带来各种闪烁的伪像；来自视频生成方法的合成视频也可能包含闪烁的伪像。
[0003]由于时间一致的视频通常在视觉上更令人愉悦，因此在视频处理时如何去除视频中的闪烁是目前亟待解决的问题。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术实施例提供一种视频去闪烁方法、装置、电子设备及存储介质。
[0005]本专利技术提供一种视频去闪烁方法，包括：
[0006]将原始视频的时空坐标输入至第一模型组，得到所述第一模型组输出的神经涂层；所述第一模型组包括第一MLP及第二MLP，所述第一MLP用于生成所述神经涂层的空间坐标，所述第二MLP用于生成所述神经涂层的空间坐标对应像素点的像素值；所述神经涂层包括所述原始视频所有的像素点；
[0007]基于所述原始视频的时空坐标及所述神经涂层，生成所述原始视频对应的初始重建视频；所述初始重建视频与所述原始视频具有时域一致性；
[0008]基于所述原始视频及所述初始重建视频对所述初始重建视频进行修正，生成目标重建视频；所述目标重建视频为去闪烁视频。
[0009]可选地，所述将原始视频的时空坐标输入至第一模型组，得到所述第一模型组输出的神经涂层，包括：
[0010]将所述原始视频的时空坐标输入至所述第一MLP，得到所述第一MLP输出的所述神经涂层的空间坐标；所述第一MLP是基于视频样本的时空坐标进行训练得到的；
[0011]将所述神经涂层的空间坐标输入至所述第二MLP，得到所述第二MLP输出的所述神经涂层的空间坐标对应像素点的像素值；所述第二MLP是基于所述视频样本的时空坐标对应像素点的像素值进行训练得到的。
[0012]可选地，在所述得到所述第一模型组输出的神经涂层之后，所述方法还包括：
[0013]利用一致性损失函数对所述神经涂层的空间坐标对应像素点的像素值进行处理，生成所述神经涂层的空间坐标对应像素点的目标像素值；所述目标像素值与所述原始视频
的时空坐标对应像素点的像素值相等。
[0014]可选地，所述基于所述原始视频的时空坐标及所述神经涂层，生成所述原始视频对应的初始重建视频，包括：
[0015]将所述原始视频的时空坐标输入至所述神经涂层；
[0016]从所述神经涂层中采集所述原始视频的时空坐标对应像素点的像素值，生成所述初始重建视频。
[0017]可选地，所述基于所述原始视频及所述初始重建视频对所述初始重建视频进行修正，生成目标重建视频，包括：
[0018]将所述原始视频及所述初始重建视频输入至第一模型，得到所述第一模型输出的所述目标重建视频；所述第一模型用于去除所述初始重建视频中的伪影；
[0019]所述第一模型通过以下方式训练得到：
[0020]利用第一变换函数对至少一个图像帧样本进行处理，生成第一图像帧样本集；所述第一变换函数用于对所述图像帧样本的外观属性进行变换；
[0021]利用第二变换函数对至少一个所述图像帧样本进行处理，生成第二图像帧样本集；所述第二变换函数用于对所述图像帧样本的结构属性进行变换；
[0022]基于所述第一图像帧样本集及所述第二图像帧样本集对初始第一模型进行训练，生成所述第一模型。
[0023]可选地，在所述生成目标重建视频之后，所述方法还包括：
[0024]针对所述目标重建视频中每一帧图像，将所述目标重建视频中第t帧图像、所述目标重建视频中第t
‑
1帧图像及目标图像帧输入至第二模型，得到所述第二模型输出的对所述目标重建视频中第t帧图像的局部修正结果；所述第二模型用于对所述目标重建帧中每一帧图像进行局部修正；所述目标图像帧为所述第二模型对所述目标重建视频中第t
‑
1帧图像的局部修正结果；t为正整数；
[0025]基于所述第二模型输出的所述目标重建视频中每一帧图像的局部修正结果，生成局部修正后的目标重建视频。
[0026]本专利技术还提供一种视频去闪烁装置，包括：
[0027]第一输入模块，用于将原始视频的时空坐标输入至第一模型组，得到所述第一模型组输出的神经涂层；所述第一模型组包括第一MLP及第二MLP，所述第一MLP用于生成所述神经涂层的空间坐标，所述第二MLP用于生成所述神经涂层的空间坐标对应像素点的像素值；所述神经涂层包括所述原始视频所有的像素点；
[0028]第一生成模块，用于基于所述原始视频的时空坐标及所述神经涂层，生成所述原始视频对应的初始重建视频；所述初始重建视频与所述原始视频具有时域一致性；
[0029]第二生成模块，用于基于所述原始视频及所述初始重建视频对所述初始重建视频进行修正，生成目标重建视频；所述目标重建视频为去闪烁视频。
[0030]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视频去闪烁方法。
[0031]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视频去闪烁方法。
[0032]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视频去闪烁方法。
[0033]本专利技术提供的视频去闪烁方法、装置、电子设备及存储介质，通过将原始视频的时空坐标输入至第一模型组，以使第一模型组中的第一MLP生成神经涂层的空间坐标，第二MLP生成神经涂层的空间坐标对应像素点的像素值，从而构建出包括原始视频所有像素点的神经涂层；基于原始视频的时空坐标及神经涂层对原始视频进行重构，生成与原始视频具有时域一致性的初始重建视频，基于原始视频的结构信息以及初始重建视频中的时域一致性信息，生成的目标重建视频可以有效地去除原始视频中的视频闪烁。
附图说明
[0034]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本专利技术提供的视频去闪烁方法的流程示意图之一；
[0036]图2是本专利技术提供的视频去闪烁方法的流程示意图之二；
[0037]图3是本专利技术提供的视频去闪烁方法的逻辑示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频去闪烁方法，其特征在于，包括：将原始视频的时空坐标输入至第一模型组，得到所述第一模型组输出的神经涂层；所述第一模型组包括第一MLP及第二MLP，所述第一MLP用于生成所述神经涂层的空间坐标，所述第二MLP用于生成所述神经涂层的空间坐标对应像素点的像素值；所述神经涂层包括所述原始视频所有的像素点；基于所述原始视频的时空坐标及所述神经涂层，生成所述原始视频对应的初始重建视频；所述初始重建视频与所述原始视频具有时域一致性；基于所述原始视频及所述初始重建视频对所述初始重建视频进行修正，生成目标重建视频；所述目标重建视频为去闪烁视频。2.根据权利要求1所述的视频去闪烁方法，其特征在于，所述将原始视频的时空坐标输入至第一模型组，得到所述第一模型组输出的神经涂层，包括：将所述原始视频的时空坐标输入至所述第一MLP，得到所述第一MLP输出的所述神经涂层的空间坐标；所述第一MLP是基于视频样本的时空坐标进行训练得到的；将所述神经涂层的空间坐标输入至所述第二MLP，得到所述第二MLP输出的所述神经涂层的空间坐标对应像素点的像素值；所述第二MLP是基于所述视频样本的时空坐标对应像素点的像素值进行训练得到的。3.根据权利要求2所述的视频去闪烁方法，其特征在于，在所述得到所述第一模型组输出的神经涂层之后，所述方法还包括：利用一致性损失函数对所述神经涂层的空间坐标对应像素点的像素值进行处理，生成所述神经涂层的空间坐标对应像素点的目标像素值；所述目标像素值与所述原始视频的时空坐标对应像素点的像素值相等。4.根据权利要求1所述的视频去闪烁方法，其特征在于，所述基于所述原始视频的时空坐标及所述神经涂层，生成所述原始视频对应的初始重建视频，包括：将所述原始视频的时空坐标输入至所述神经涂层；从所述神经涂层中采集所述原始视频的时空坐标对应像素点的像素值，生成所述初始重建视频。5.根据权利要求1所述的视频去闪烁方法，其特征在于，所述基于所述原始视频及所述初始重建视频对所述初始重建视频进行修正，生成目标重建视频，包括：将所述原始视频及所述初始重建视频输入至第一模型，得到所述第一模型输出的所述目标重建视频；所述第一模型用于去除所述初始重建视频中的伪影；所述第一模型通过以下方式训练得到：利用第一变换函数对至少一个图像帧样本进行处理，生成第一图像帧样...

【专利技术属性】
技术研发人员：雷晨阳，任烜池，张兆翔，陈启峰，
申请(专利权)人：中国科学院香港创新研究院人工智能与机器人创新中心有限公司，
类型：发明
国别省市：