图像处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开了一种图像处理方法、装置、计算机设备及存储介质，涉及图像处理领域。该方法包括：获取原始图像序列；对原始图像序列进行图像预处理，得到原始图像序列对应的特征图序列和置信图序列，特征图序列是对各帧原始图像帧进行特征提取得到的，置信图序列中包含各帧原始图像帧对应的置信图，置信图用于表征原始图像帧中各个像素点在特征融合过程中的置信度；基于置信图序列对特征图序列进行特征融合，得到原始图像序列中目标原始图像帧对应的目标融合特征图；基于目标融合特征图重建目标原始图像帧，得到目标重建图像帧。对特征融合过程的特征进行像素级别的可信度监督，引导融合可信度高的图像特征，从而提高了重建图像的图像质量。

【技术实现步骤摘要】
图像处理方法、装置、计算机设备及存储介质
本申请实施例涉及图像处理领域，特别涉及一种图像处理方法、装置、计算机设备及存储介质。
技术介绍
随着深度学习技术的发展，深度学习的应用领域也越来越多，比如，图像处理领域中，在图像处理领域中，图像质量的高低会直接影响到后续视觉处理任务好坏，而图像成像过程中，常常因为大气中的浑浊介质或其他外界因素导致采集到质量较差的图像，如何将低质量图像恢复成高质量图像越来越受到人们所关注。相关技术中，采用深度学习提高图像质量的过程中，一般通过预测图像和真实图像之间的差异损失对图像处理模型进行监督学习，从而使得经过图像处理模型修复后的预测图像可以更接近于真实图像。显然，相关技术中仅通过比较预测图像和真实图像之间的差异引导网络学习图像特征，即仅在图像级别提供了可信度监督，而忽略了图像中各个像素点在图像处理过程中的作用，从而导致图像处理质量较差。
技术实现思路
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质，可以提高图像处理的质量。所述技术方案如下方面。<br>一方面，提供了本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取原始图像序列，所述原始图像序列中包含至少三帧原始图像帧；/n对所述原始图像序列进行图像预处理，得到所述原始图像序列对应的特征图序列和置信图序列，所述特征图序列是对各帧原始图像帧进行特征提取得到的，所述置信图序列中包含各帧原始图像帧对应的置信图，所述置信图用于表征所述原始图像帧中各个像素点在特征融合过程中的置信度；/n基于所述置信图序列对所述特征图序列进行特征融合，得到所述原始图像序列中目标原始图像帧对应的目标融合特征图；/n基于所述目标融合特征图重建所述目标原始图像帧，得到目标重建图像帧。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取原始图像序列，所述原始图像序列中包含至少三帧原始图像帧；
对所述原始图像序列进行图像预处理，得到所述原始图像序列对应的特征图序列和置信图序列，所述特征图序列是对各帧原始图像帧进行特征提取得到的，所述置信图序列中包含各帧原始图像帧对应的置信图，所述置信图用于表征所述原始图像帧中各个像素点在特征融合过程中的置信度；
基于所述置信图序列对所述特征图序列进行特征融合，得到所述原始图像序列中目标原始图像帧对应的目标融合特征图；
基于所述目标融合特征图重建所述目标原始图像帧，得到目标重建图像帧。


2.根据权利要求1所述的方法，其特征在于，所述基于所述置信图序列对所述特征图序列进行特征融合，得到所述原始图像序列中目标原始图像帧对应的目标融合特征图，包括：
从所述置信图序列中确定出所述目标原始图像帧对应的目标置信图，并从所述特征图序列中确定出所述目标原始图像帧对应的目标特征图；
基于所述目标置信图和所述目标特征图，确定第一融合特征图；
基于所述目标置信图对所述特征图序列进行特征融合，得到第二融合特征图；
对所述第一融合特征图和所述第二融合特征图进行特征融合，得到所述目标融合特征图。


3.根据权利要求2所述的方法，其特征在于，所述基于所述目标置信图对所述特征图序列进行特征融合，得到第二融合特征图，包括：
对所述特征图序列进行冗余特征提取和特征融合，得到第三融合特征图，所述第三融合特征图中融合有各帧原始图像帧对应的冗余图像特征；
基于所述目标置信图确定出目标反向置信图，其中，同一像素点在所述目标置信图和所述目标反向置信图中的置信度之和为1；
基于所述目标反向置信图和所述第三融合特征图，确定所述第二融合特征图。


4.根据权利要求1至3任一所述的方法，其特征在于，所述原始图像序列通过图像预处理网络进行图像预处理，且所述图像预处理网络中包含M个串联的置信度块，M为正整数；
所述对所述原始图像序列进行图像预处理，得到所述原始图像序列对应的特征图序列和置信图序列，包括：
通过M个所述置信度块对所述原始图像序列进行串行处理，得到所述特征图序列和所述置信图序列。


5.根据权利要求4所述的方法，其特征在于，所述通过M个所述置信度块对所述原始图像序列进行串行处理，得到所述特征图序列和所述置信图序列，包括：
将第i-1特征图序列和第i-1置信图序列输入第i置信度块，得到所述第i置信度块输出的第i特征图序列和第i置信图序列，i为小于M的正整数；
将第M置信度块输出的第M置信图序列确定为所述置信图序列；
将所述第M置信度块输出的第M特征图序列确定为所述特征图序列。


6.根据权利要求5所述的方法，其特征在于，所述将第i-1特征图序列和第i-1置信图序列输入第i置信度块，得到所述第i置信度块输出的第i特征图序列和第i置信图序列，包括：
对所述第i-1特征图序列和所述第i-1置信图序列进行拼接处理和特征增强，得到所述第i特征图序列和所述第i置信图序列。


7.根据权利要求1至3任一所述的方法，其特征在于，所述获取原始图像序列，包括：
从原始视频中提取出至少一组原始图像序列，不同原始图像序列中的目标原始图像帧对应所述原始视频中的不同时间戳；
所述基于所述目标融合特征图重建所述目标原始图像帧，得到目标重建图像帧之后，所述方法还包括：
基于各个所述原始图像序列对应的所述目标重建图像帧，以及各个所述目标重建图像帧对应目标原始图像帧的时间戳，生成目标视频。


8.一种图像处理方法，其特征在于，所述方法包括：
获取样本图像序列和参考图像序列，所述样本图像序列中包含至少三帧样本图像帧，所述参考图像序列是所述样本图像帧对应参考图像帧所构成的序列；
通过图像预处理网络对所述样本图像序列进行图像预处理，得到所述样本图像序列对应的样本特征图序列和样本置信图序列，所述样本特征图序列是对各帧样本图像帧进行特征提取得到的，所述样本置信图序列中包含各帧样本图像帧对应的样本置信图，所述样本置信图用于表征所述样本图像帧中各个像素点在特征融合过程中的置信度；
基于所述样本置信图序列对所述样本特征图序列进行特征融合，得到所述样本图像序列中目标样本图像帧对应的目标样本融合特征图；
基于所述目标样本融合特征图重建所述目标样本图像帧，得到样本重建图像帧；
基于目标参考图像帧和所述样本重建图像帧，训练所述图像预处理网络，所述目标参考图像帧是所述目标样本图像帧在所述参考图像序列中对应的参考图像帧。


9.根据权利要求8所述的方法，其特征在于，所述基于所述样本置信图序列对所述样本特征图序列进行特征融合，得到所述样本图像序列中目标样本图像帧对应的目标样本融合特征图，包括：
从所述样本特征图序列中确定出所述目标样本图像帧对应的目标样本特征图，并从所述样本置信图序列中确定出所述目标样本图像帧对应的目标...

【专利技术属性】
技术研发人员：张昕昳，朱俊伟，储文青，邰颖，汪铖杰，李季檩，黄飞跃，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44