图像降噪方法、芯片和电子设备技术

本申请提供一种图像降噪方法、芯片和电子设备。本申请的方法，应用于对图像帧序列中多个图像帧进行多帧降噪，通过依次将图像帧序列中的图像帧作为当前帧，将当前帧和相邻帧输入降噪模型，通过降噪模型提取输入的图像帧的不同感受野的特征图；根据当前帧的边缘特征，将不同感受野的特征图按像素点加权融合得到融合特征，基于融合特征进行降噪，得到当前帧降噪后的目标帧，可按像素点动态地调整选择不同感受野特征的权重系数，自适应地对边缘区域和平坦区域进行特征强化和降噪，以恢复更多的纹理视觉信息，使得降噪后的图像帧保留更多的细节信息，提升了降噪模型的表达和学习能力，从而提升图像降噪的质量和效果。而提升图像降噪的质量和效果。而提升图像降噪的质量和效果。

【技术实现步骤摘要】
图像降噪方法、芯片和电子设备


[0001]本申请涉及计算机技术，尤其涉及一种图像降噪方法、芯片和电子设备。

技术介绍

[0002]图像是重要的信息传播媒介，由于环境、传输通道等因素的影响，图像在采集、压缩、传输过程中不可避免地受到噪声的污染，导致图像信息失真和丢失，影响图像传递信息的准确性，可能会对后续的图像处理任务，例如视频处理、图像分析等，产生不利影响。因此，图像降噪在现代图像处理系统中起着重要作用。
[0003]图像降噪就是去除噪声图像中的噪声，从而恢复真实的图像。然而，由于噪声、边缘和纹理是高频成分，在图像降噪过程中很难将它们区分开来，降噪后的图像不可避免地会丢失一些细节特征。如何解决图像降噪的细节保留问题，提升图像降噪的质量和效果，是一个很重要且有挑战的技术问题。

技术实现思路

[0004]本申请提供一种图像降噪方法、芯片和电子设备，用以解决图像降噪的细节保留问题，提升图像降噪的质量和效果。
[0005]第一方面，本申请提供一种图像降噪方法，包括：
[0006]获取待降噪的图像帧序列，所述图像帧序列包括多个图像帧；
[0007]依次将所述图像帧序列中的图像帧作为当前帧，将当前帧和相邻帧输入降噪模型，通过所述降噪模型提取输入的图像帧的不同感受野的特征图；并根据当前帧的边缘特征，将所述不同感受野的特征图按像素点加权融合，得到融合特征，基于所述融合特征进行降噪，得到当前帧降噪后的目标帧；
[0008]所述多个图像帧降噪后的目标帧构成降噪后的目标图像序列。r/>[0009]第二方面，本申请提供一种图像降噪方法，包括：
[0010]获取图像信号处理器对多个图像帧进行处理的中间处理结果，所述中间处理结果包括处理后的图像帧；
[0011]依次将所述中间处理结果中的图像帧作为当前帧，将当前帧和相邻帧输入降噪模型，通过所述降噪模型提取输入的图像帧的不同感受野的特征图；并根据当前帧的边缘特征，将所述不同感受野的特征图按像素点加权融合，得到融合特征，基于所述融合特征进行降噪，得到当前帧降噪后的目标帧；
[0012]将所述目标帧传输至所述图像信号处理，以使所述图像信号处理基于降噪后的目标帧执行后续处理逻辑。
[0013]第三方面，本申请提供一种芯片，包括：处理模块与通信接口，所述通信接口和所述处理器耦合，所述通信接口用于传输图像数据，所述处理器用于运行程序或指令，实现前述任一方面所述的方法。
[0014]第四方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接
的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现前述任一方面所述的方法。
[0015]本申请提供的图像降噪方法、芯片和电子设备，应用于对图像帧序列所包含的多个图像帧进行多帧降噪，通过依次将图像帧序列中的图像帧作为当前帧，将当前帧和相邻帧输入降噪模型，通过降噪模型提取输入的图像帧的不同感受野的特征图；并根据当前帧的边缘特征，将不同感受野的特征图按像素点加权融合，得到融合特征，基于融合特征进行降噪，得到当前帧降噪后的目标帧；多个图像帧降噪后的目标帧构成降噪后的目标图像序列。通过基于图像帧的边缘特征，将不同感受野的特征图按像素点加权融合，可以按像素点动态地调整选择不同感受野特征的权重系数，提升融合特征的表达能力和质量，可自适应地对边缘区域和平坦区域进行特征强化和降噪，以恢复更多的纹理视觉信息，使得降噪后的图像帧保留更多的细节信息，提升了降噪模型的表达和学习能力，从而提升图像降噪的质量和效果。
附图说明
[0016]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0017]图1为本申请一示例性实施例提供的图像降噪方法流程图；
[0018]图2为本申请一示例性实施例提供的SRFS算子的一种示例架构图；
[0019]图3为本申请一示例性实施例提供的降噪模型的一种示例结构图；
[0020]图4为本申请一示例性实施例提供的图像降噪的系统装置的架构图；
[0021]图5为本申请一示例性实施例提供的图像降噪方法的流程图；
[0022]图6为本申请一示例性实施例提供的图像降噪装置的结构示意图；
[0023]图7为本申请实施例提供的一种电子设备的结构示意图。
[0024]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0025]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0026]首先对本申请所涉及的名词进行解释：
[0027]视觉问答任务：根据输入的图像和问题，从输入图像的视觉信息中确定问题的答案。
[0028]图像描述任务：生成输入图像的描述文本。
[0029]视觉蕴涵任务：预测输入图像和文本在语义上的相关性，即蕴涵、中性或矛盾。
[0030]指代表达与理解任务：根据输入文本定位输入图像中与输入文本对应的图像区域。
[0031]图像生成任务：基于输入的描述文本生成图像。
[0032]基于文本的情感分类任务：预测输入文本的情感分类信息。
[0033]文本摘要任务：生成输入文本的摘要信息。
[0034]多模态任务：是指输入输出数据涉及图像和文本等多种模态数据的下游任务，例如视觉问答任务、图像描述任务、视觉蕴涵任务、指代表达与理解任务、图像生成任务等。
[0035]多模态预训练模型：是指输入输出数据涉及图像和文本等多种模态数据的预训练模型，经过微调训练后可以应用于多模态任务处理。
[0036]预训练语言模型：对大规模语言模型(Large Language Model，简称LLM)进行预训练后得到的预训练模型。
[0037]大模型是指具有大规模模型参数的深度学习模型，通常包含上亿、上百亿、甚至上千亿的模型参数。大模型又可以称为基石模型/基础模型(Foundation Model)，通过大规模无标注的语料进行大模型的预训练，产出亿级以上参数的预训练模型，这种模型能适应广泛的下游任务，模型具有较好的泛化能力，例如大规模语言模型(Large Language Model,LLM)、多模态预训练模型(multi
‑
modal pre
‑
training model)等。
[0038]大模型在实际应用时，仅需少量样本对预训练模型进行微调即可应用于不同的任务中，大模型可以广泛应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像降噪方法，其特征在于，包括：获取待降噪的图像帧序列，所述图像帧序列包括多个图像帧；依次将所述图像帧序列中的图像帧作为当前帧，将当前帧和相邻帧输入降噪模型，通过所述降噪模型提取输入的图像帧的不同感受野的特征图；并根据当前帧的边缘特征，将所述不同感受野的特征图按像素点加权融合，得到融合特征，基于所述融合特征进行降噪，得到当前帧降噪后的目标帧；所述多个图像帧降噪后的目标帧构成降噪后的目标图像序列。2.根据权利要求1所述的方法，其特征在于，所述降噪模型包括去噪网络和重建网络，所述去噪网络用于将输入的图像帧与预设的噪声水平特征融合并降低分辨率后，进行去噪处理，得到下一帧的去噪特征；所述重建网络用于将输入的图像帧与输入图像帧的去噪特征融合后，进行重建处理，得到当前帧降噪后的目标帧。3.根据权利要求2所述的方法，其特征在于，所述通过所述降噪模型提取输入的图像帧的不同感受野的特征图；并根据当前帧的边缘特征，将所述不同感受野的特征图按像素点加权融合，得到融合特征，基于所述融合特征进行降噪，得到当前帧降噪后的目标帧，包括：通过所述去噪网络，将输入的当前帧和相邻帧与所述噪声水平特征融合，降低融合结果的分辨率，提取降低分辨率后的融合结果的不同感受野的第一特征图；根据当前帧的边缘特征，将不同感受野的第一特征图按像素点加权融合，得到第一融合特征；基于第一融合特征完成去噪处理，得到下一帧的去噪特征；通过所述重建网络，将输入的当前帧和相邻帧，以及当前帧和相邻帧的去噪特征融合，提取融合结果的不同感受野的第二特征图；根据当前帧的去噪特征的边缘特征，将不同感受野的第二特征图按像素点加权融合，得到第二融合特征；基于第二融合特征完成重建处理，得到当前帧降噪后的目标帧。4.根据权利要求3所述的方法，其特征在于，所述根据当前帧的边缘特征，将不同感受野的第一特征图按像素点加权融合，得到第一融合特征，包括：提取当前帧的边缘特征，当前帧的边缘特征与所述第一特征图具有对应的像素点；根据当前帧的边缘特征，确定所述第一特征图中各像素点对应的所述不同感受野的权重系数；根据所述第一特征图中各像素点对应的所述不同感受野的权重系数，将所述不同感受野的第一特征图按像素点加权求和，得到第一融合特征。5.根据权利要求4所述的方法，其特征在于，所述根据当前帧的边缘特征，确定所述第一特征图中各像素点对应的所述不同感受野的权重系数，包括：根据当前帧的边缘特征，对当前帧的边缘特征中各像素点的特征值进行归一化处理，得到各像素点对应的第一感受野的权重系数；根据各像素点对应的第一感受野的权重系数，确定各像素点对应的第二感受野的权重系数，所述第二感受野的权重系数与所述第一感受野的权重系数之和等于1；其中，所述第一特征图包括两个不同感受野的特征图，第一感受野为第一特征图的最小感受野，第二感受野为第一特征图的最大感受野。6.根据权利要求3所述的方法，其特征在于，所述根据当前帧的去噪特征的边缘特征，
将不同感受野的第二特征图按像素点加权融合，得到第二融合特征，包括：提取当前帧的去噪特征的边缘特征，当前帧的去噪特征的...

【专利技术属性】
技术研发人员：徐淑淞，刘培业，刘子豪，请求不公布姓名，陆彦珩，范益波，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：