视频图像处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种视频图像处理方法、装置、电子设备及存储介质。方法包括：对待处理视频中的当前帧图像进行特征提取得到第一图像特征和第一融合参数，获取第一图像特征中每个像素的像素滤波核和滤波核权重；基于像素滤波核、滤波核权重以及第一融合参数对第一图像特征进行像素滤波及特征融合，得到当前帧图像的空间滤波结果；若待处理视频包括与当前帧图像相邻的上一帧图像，获取对上一帧图像进行特征提取得到的第二图像特征，以及进行去噪得到的去噪后的图像；基于第二图像特征、去噪后的图像以及当前帧图像的空间滤波结果获得去噪后的当前帧图像。通过采用上述方法，可以有效去除图像中的噪声干扰，提升视频图像帧之间的连续性和稳定性。间的连续性和稳定性。间的连续性和稳定性。

【技术实现步骤摘要】
视频图像处理方法、装置、电子设备及存储介质


[0001]本申请涉及图像处理
，更具体地，涉及一种视频图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，随着神经网络成为机器学习中一项热门的解决方案，卷积神经网络被广泛用于处理各种图像空间的问题。大量的基于卷积神经网络的降噪方法被提出。例如，现有的使用多层感知机来预测用于过滤蒙特卡洛渲染的联合双边和非局部均值去噪器的最佳参数。又例如，现有基于监督学习框架及深度卷积神经网络核预测模型KPCN，可以获得更灵活且复杂的滤波核，以基于滤波核进行去噪。再例如现有的使用非对称损失函数扩展了核预测网络，同时提出了一种多分辨率的去噪结构，以利用不同尺度的信息参与图像重建。再例如现有的一种核溅射结构来估计每个像素样本的贡献，在去除某些特定的噪声时，可以获得比核聚合方式更好的视觉效果。上述的方法基于空间滤波思想，可以有效消除单帧图像上的噪声。
[0003]但是专利技术人经研究发现，对于视频而言，若采用目前的去噪方式进行去噪时，由于对各帧图像进行检测时，相互之间各自独立，因此去噪后的各帧图像之间关联性较差，进而会造成视频播放过程中，视频图像帧之间的连续性和稳定性差。

技术实现思路

[0004]有鉴于此，本申请实施例提出了一种视频图像处理方法、装置、电子设备及存储介质，可以利用更准确的视频图像处理模型对目标用户对应的视频图像进行去噪，从而提高处理后的视频图像的连续性和稳定性。
[0005]第一方面，本申请实施例提供了一种视频图像处理方法，方法包括：对待处理视频中的当前帧图像进行特征提取，得到该当前帧图像的第一图像特征和该第一图像特征对应的第一融合参数，基于所述第一图像特征中包括的每个像素的像素特征，获得每个像素对应的像素滤波核和滤波核权重；对所述第一图像特征中每个像素的像素特征，利用该像素对应的像素滤波核和滤波核权重进行去噪，得到每个像素去噪后的像素特征，基于所述第一融合参数对每个像素去噪后的像素特征进行特征融合，得到当前帧图像的空间滤波结果；若待处理视频中包括与所述当前帧图像相邻的上一帧图像，获取对所述上一帧图像进行特征提取得到的第二图像特征，以及对所述上一帧图像进行去噪得到的去噪后的上一帧图像；将所述第二图像特征、去噪后的上一帧图像以及当前帧图像的空间滤波结果进行融合得到融合图像，对所述融合图像进行去噪得到去噪后的当前帧图像。
[0006]第二方面，本申请实施例提供了一种视频图像处理装置，所述装置包括：第一数据获取模块，用于对待处理视频中的当前帧图像进行特征提取，得到该当前帧图像的第一图像特征和该第一图像特征对应的第一融合参数，基于所述第一图像特征中包括的每个像素的像素特征，获得每个像素对应的像素滤波核和滤波核权重；第一滤波模块，用于对所述第
一图像特征中每个像素的像素特征，利用该像素对应的像素滤波核和滤波核权重进行去噪，得到每个像素去噪后的像素特征，基于所述第一融合参数对每个像素去噪后的像素特征进行特征融合，得到当前帧图像的空间滤波结果；第二数据获取模块，用于在待处理视频中包括与所述当前帧图像相邻的上一帧图像时，获取对所述上一帧图像进行特征提取得到的第二图像特征，以及对所述上一帧图像进行去噪得到的去噪后的上一帧图像；第二滤波模块，用于将所述第二图像特征、去噪后的上一帧图像以及当前帧图像的空间滤波结果进行融合得到融合图像，对所述融合图像进行去噪得到去噪后的当前帧图像。
[0007]在一种可实施方式中，第一数据获取模块还用于对待处理视频中的当前帧图像进行多尺度特征提取，得到每个特征提取尺度下的第一图像特征和第一融合参数；第一滤波模块包括第一去噪处理子模块和第一融合子模块。第一去噪处理子模块，用于对各特征提取尺度对应的第一图像特征中的每个像素特征，利用该像素特征对应的像素滤波核以及滤波核权重进行去噪，得到每个像素对应的去噪后的像素特征；第一融合子模块，用于基于每个特征提取尺度对应的第一融合参数对每个像素在不同特征提取尺度下去噪后的像素特征进行特征融合，得到当前帧图像的空间滤波结果。
[0008]在一种可实施方式中，第一融合子模块包括采样单元以及融合单元，采样单元用于对特征提取尺度按照由小到大的排序顺序中排序为第二的像素特征进行下采样处理，得到下采样处理结果，并将所述下采样处理结果进行上采样处理得到第一上采样特征，对排序为第一的像素特征进行上采样特征提取得到第二上采样特征；融合单元，用于基于排序为第二的像素特征、所述第一上采样特征、第二上采样特征以及排序为第二的像素特征对应的第一融合参数，对所述排序为第二的像素特征进行特征融合滤波，得到所述排序为第二的像素特征进行空间滤波后的像素特征；采样单元，还用于从所述排序顺序中删除排序为第一的像素特征，并再次对特征提取尺度按照由小到大的排序顺序中排序为第二的像素特征进行下采样处理得到下采样处理结果，并将下采样处理结果进行上采样处理得到第一上采样特征，对该排序为第一的像素特征进行上采样特征提取得到第二上采样特征，融合单元改用于在排序为第二的像素特征为排序顺序中的最后一个像素特征时，将得到的排序为第二的像素特征进行空间滤波后的像素特征作为当前帧图像的空间滤波结果。
[0009]在一种可实施方式中，融合单元，还用于将第一上采样特征与所述排序为第二的像素特征对应的融合参数的相乘，得到该排序为第二的像素特征的滤除噪声；将所述第二上采样特征与所述排序为第二的像素特征对应的融合参数的相乘，得到该排序为第二的像素特征的抵消噪声；从所述排序为第二的像素特征中减去所述滤除噪声并加上所述抵消噪声，得到所述排序为第二的像素特征进行空间滤波后的像素特征。
[0010]在一种可实施方式中，第一数据获取模块，还用于利用训练后的特征提取模型对待处理视频中的当前帧图像进行多尺度特征提取，得到每个特征提取尺度下该当前帧图像的第一图像特征和与所述第一图像特征对应的第一融合参数，其中，训练后的特征提取模型基于多组视频样本图像训练得到，每组视频样本图像包括属于同一视频的多张噪声样本图像和与每张噪声样本图像对应的去噪样本图像。
[0011]在一种可实施方式中，所述装置还包括：样本数据获取模块、空间滤波模块、时间滤波模块、损失计算模块以及模型训练模块。
[0012]样本特征提取模块，用于将多组视频样本图像分别输入到网络模型中，以利用网
络模型对每组视频样本图像中的噪声样本进行特征提取，得到每个噪声样本的噪声样本特征和对应的样本融合参数；基于所述噪声样本特征中每个像素包括的样本像素特征，获得每个的样本像素对应的样本像素滤波核和样本滤波核权重；空间滤波模块，用于对任一目标噪声样本图像中每个样本像素的样本像素特征，利用该样本像素对应的样本像素滤波核和样本滤波核权重进行去噪，得到每个样本像素对应的去噪后的样本像素特征，基于所述样本融合参数对每个样本像素去噪后的样本像素特征进行特征融合，得到目标噪声样本图像的空间滤波结果；时间滤波模块，用于在所述目标噪声样本图像所属视频样本图像的中包括与所述目标噪声样本图像相邻的上一帧噪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频图像处理方法，其特征在于，所述方法包括：对待处理视频中的当前帧图像进行特征提取，得到该当前帧图像的第一图像特征和该第一图像特征对应的第一融合参数，基于所述第一图像特征中包括的每个像素的像素特征，获得每个像素对应的像素滤波核和滤波核权重；对所述第一图像特征中每个像素的像素特征，利用该像素对应的像素滤波核和滤波核权重进行去噪，得到每个像素去噪后的像素特征，基于所述第一融合参数对每个像素去噪后的像素特征进行特征融合，得到当前帧图像的空间滤波结果；若待处理视频中包括与所述当前帧图像相邻的上一帧图像，获取对所述上一帧图像进行特征提取得到的第二图像特征，以及对所述上一帧图像进行去噪得到的去噪后的上一帧图像；将所述第二图像特征、去噪后的上一帧图像以及当前帧图像的空间滤波结果进行融合得到融合图像，对所述融合图像进行去噪得到去噪后的当前帧图像。2.根据权利要求1所述的方法，其特征在于，所述对待处理视频中的当前帧图像进行特征提取，得到该当前帧图像的第一图像特征和该第一图像特征对应的第一融合参数，包括：对待处理视频中的当前帧图像进行多尺度特征提取，得到每个特征提取尺度下的第一图像特征和第一融合参数；所述对所述第一图像特征中每个像素的像素特征，利用该像素对应的像素滤波核和滤波核权重进行去噪，得到每个像素去噪后的像素特征，基于所述第一融合参数对每个像素去噪后的像素特征进行特征融合，得到当前帧图像的空间滤波结果，包括：对各特征提取尺度对应的第一图像特征中的每个像素特征，利用该像素特征对应的像素滤波核以及滤波核权重进行去噪，得到每个像素对应的去噪后的像素特征；基于每个特征提取尺度对应的第一融合参数对每个像素在不同特征提取尺度下去噪后的像素特征进行特征融合，得到当前帧图像的空间滤波结果。3.根据权利要求2所述的方法，其特征在于，所述基于每个特征提取尺度对应的第一融合参数对每个像素在不同特征提取尺度下去噪后的像素特征进行特征融合，得到当前帧图像的空间滤波结果，包括：对特征提取尺度按照由小到大的排序顺序中排序为第二的像素特征进行下采样处理，得到下采样处理结果，并将所述下采样处理结果进行上采样处理得到第一上采样特征，对排序为第一的像素特征进行上采样特征提取得到第二上采样特征；基于排序为第二的像素特征、所述第一上采样特征、第二上采样特征以及排序为第二的像素特征对应的第一融合参数，对所述排序为第二的像素特征进行特征融合滤波，得到所述排序为第二的像素特征进行空间滤波后的像素特征；从所述排序顺序中删除排序为第一的像素特征，并再次对特征提取尺度按照由小到大的排序顺序中排序为第二的像素特征进行下采样处理得到下采样处理结果，并将下采样处理结果进行上采样处理得到第一上采样特征，对该排序为第一的像素特征进行上采样特征提取得到第二上采样特征，直至排序为第二的像素特征为排序顺序中的最后一个像素特征时，将得到的排序为第二的像素特征进行空间滤波后的像素特征作为当前帧图像的空间滤波结果。4.根据权利要求3所述的方法，其特征在于，所述基于排序为第二的像素特征、所述第
一上采样特征、第二上采样特征以及排序为第二的像素特征对应的第一融合参数，对所述排序为第二的像素特征进行特征融合滤波，得到所述排序为第二的像素特征进行空间滤波后的像素特征，包括：将第一上采样特征与所述排序为第二的像素特征对应的融合参数的相乘，得到该排序为第二的像素特征的滤除噪声；将所述第二上采样特征与所述排序为第二的像素特征对应的融合参数的相乘，得到该排序为第二的像素特征的抵消噪声；从所述排序为第二的像素特征中减去所述滤除噪声并加上所述抵消噪声，得到所述排序为第二的像素特征进行空间滤波后的像素特征。5.根据权利要求2所述的方法，其特征在于，所述对待处理视频中的当前帧图像进行多尺度特征提取，得到每个特征提取尺度下的第一图像特征和第一融合参数，包括：利用训练后的特征提取模型对待处理视频中的当前帧图像进行多尺度特征提取，得到每个特征提取尺度下该当前帧图像的第一图像特征和与所述第一图像特征对应的第一融合参数，其中，训练后的特征提取模型基于多组视频样本图像训练得到，每组视频样本图像包括属于同一视频的多张噪声样本图像和与每张噪声样本图像对应的去噪样本图像。6.根据权利要求5所述的方法，其特征在于，所述利用训练后的特征提取模型对待处理视频中的当前帧图像进行多尺度特征提取之前，所述方法还包括：将多组视频样本图像分别输入到网络模型中，以利用网络模型对每组视频样本图像中的噪声样本进行特征提取，得到每个噪声样本的噪声样本特征和对应的样本融合参数；基于所述噪声样本特征中每个像素包括的样本像素特征，获得每个的样本像素对应的样本像素滤波核和样本滤波核权重；对任一目标噪声样本图像中每个样本像素的样本像素特征，利用该样本像素对应的样本像素滤波核和样本滤波核权重进行去噪，得到每个样本像素对应的去噪后的样本像素特征，基于所述样本融合参数对每个样本像素去噪后的样本像素特征进行特征融合，得到目标噪声样本图像的空间滤波结果；若所述目标噪声样本图像所属...

【专利技术属性】
技术研发人员：彭元，王璐，徐延宁，王贝贝，
申请(专利权)人：山东大学，
类型：发明
国别省市：