一种图像降噪方法、装置及设备制造方法及图纸

一种图像降噪方法包括：获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。由于降噪图像是通过卷积神经网络自动对基础帧和对齐图像进行融合，因此可以更为准确的降低噪声，有效的保留真实场景内容，极大的提高降噪图像质量。

【技术实现步骤摘要】
一种图像降噪方法、装置及设备
本申请属于图像处理领域，尤其涉及一种图像降噪方法、装置及设备。
技术介绍
由于智能手机的普及、手机摄像头硬件质量的不断提升、以及手机摄影的便携性，越来越多的人使用手机拍摄、编辑和分享他们的图片、视频内容。因而，提高手机拍摄的画面的质量，也变得越来越重要。手机拍摄图片的画面质量受到多种音素影响，如噪声、分辨率、清晰度、色彩真实度等等，其中噪声是一个非常关键的影响音素。手机图片中的噪声来源有多种，比如光子散粒噪声、暗电流噪声、坏点、固定模式噪声、读出噪声等。噪声中的光子散粒噪声是噪声的主要来源，并且受物理规律制约，不论硬件技术发展到何种地步都会始终存在。因此，目前一般是通过设计算法，对拍摄内容与噪声进行区分，从而降低手机图像中的噪声强度。目前所使用的单帧图像降噪算法中，通过理论推导证明，增加光通量可以有效地提升图像信噪比(SNR)。增加光通量有多种方式，其中的一种是增加曝光时长。然而，在手持相机情况下，增加曝光时长会使得画面产生抖动模糊。因此，目前工业界的主流方法通过多帧融合的方式，变相增加曝光时长，达到提升图像信噪比的目的。但是，使用多帧融合的方式去噪时，不能准确的降低噪声，以及不能有效的保留真实场景内容。
技术实现思路
有鉴于此，本申请实施例提供了一种图像降噪方法、装置及设备，以解决现有技术中使用多帧融合的方式去噪时，不能准确的降低噪声，以及不能有效的保留真实场景内容的问题。本申请实施例的第一方面提供了一种图像降噪方法，所述图像降噪方法包括：<br>获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。结合第一方面，在第一方面的第一种可能实现方式中，确定所述多帧图像中包括的基础帧的步骤包括：获取所述多帧图像中的主体；计算多帧图像的主体的清晰度，选择清晰度最高的图像帧作为基础帧。结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述计算多帧图像的主体的清晰度，选择清晰度最高的图像帧作为基础帧的步骤包括：将多帧图像转换为亮度图；在多帧图像的主体中心的周围的预定区域进行边缘滤波，获取边缘滤波的响应平均值，选择响应平均值最高的图像作为基础帧。结合第一方面，在第一方面的第三种可能实现方式中，所述根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像的步骤包括：将基础帧和临近帧分别分割为多个图像块；基于块的运动估计，确定临近帧的每个图像块的运动向量；根据所述运动向量对所述临近帧中的图像块重新排布，得到对齐图像。结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述将基础帧和临近帧分别分割为多个图像块的步骤包括：将所述基础帧和临近帧进行多次高斯下采样，得到每帧图像在不同分辨率的图像；所述基于块的运动估计，确定临近帧的每个图像块的运动向量的步骤包括：对第一分辨率的基础帧和临近帧的图像块做运动估计，确定第一分辨率下的图像块所对应的第一运动向量；将所述第一运动向量传递至第二分辨率的图像块进行运动估计，对所述第一运动向量进行修正得到第二运动向量，其中，第一分辨率低于第二分辨率。结合第一方面，在第一方面的第五种可能实现方式中，所述通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像的步骤包括：将对齐图像和基础帧转换为单颜色的多通道图像，将对齐图像和基础帧的相同颜色的通道图像拼接；通过卷积神经网络对拼接后的图像进行融合，得到降噪图像。结合第一方面，在第一方面的第六种可能实现方式中，在所述通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像的步骤之前，所述方法还包括：使用相同曝光参数获取M张样本图片；确定M张样本图片中的基础帧和临近帧，将所确定的临近帧与基础帧对齐；选用白平衡、去除黑电平、镜头矫正、反马赛克、颜色空间变换、锐化、增强中的一种或者多种，对基础帧和对齐图像进行图像处理，得到样本图片对应的降噪图片。本申请实施例的第二方面提供了一种图像降噪装置，所述图像降噪装置包括：帧图像获取单元，用于获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；对齐单元，用于根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；融合单元，用于通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。本申请实施例的第三方面提供了一种图像降噪设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述方法的步骤。本申请实施例与现有技术相比存在的有益效果是：根据多帧图像确定基础帧和临近帧，根据基础帧计算所述临近帧的运动向量，由计算的运动向量对临近帧进行变换得到对齐图像，通过卷积神经网络将基础帧和对齐图像融合，得到降噪图像。由于降噪图像是通过卷积神经网络自动对基础帧和对齐图像进行融合，因此可以更为准确的降低噪声，有效的保留真实场景内容，极大的提高降噪图像质量。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种图像降噪方法的实现流程示意图；图1a是本申请实施例提供的一种图像降噪框架示意图；图2是本申请实施例提供的一种基础帧的确定方法的实现流程示意图；图3是本申请实施例提供的一种获取对齐图像的方法的实现流程示意图；图4是本申请实施例提供的一种获取训练样本方法的实现流程示意图；图5是本申请实施例提供的一种图像降噪装置的示意图；图6是本申请实施例提供的图像降噪设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。图1为本申请实施例提供的一种图像降噪方法的实现流程示意图，详述如下：在步骤S101中，获取多本文档来自技高网...

【技术保护点】
1.一种图像降噪方法，其特征在于，所述图像降噪方法包括：/n获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；/n根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；/n通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。/n

【技术特征摘要】
1.一种图像降噪方法，其特征在于，所述图像降噪方法包括：
获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；
根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；
通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。


2.根据权利要求1所述的图像降噪方法，其特征在于，确定所述多帧图像中包括的基础帧的步骤包括：
获取所述多帧图像中的主体；
计算多帧图像的主体的清晰度，选择清晰度最高的图像帧作为基础帧。


3.根据权利要求2所述的图像降噪方法，其特征在于，所述计算多帧图像的主体的清晰度，选择清晰度最高的图像帧作为基础帧的步骤包括：
将多帧图像转换为亮度图；
在多帧图像的主体中心的周围的预定区域进行边缘滤波，获取边缘滤波的响应平均值；
选择响应平均值最高的图像作为基础帧。


4.根据权利要求1所述的图像降噪方法，其特征在于，所述根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像的步骤包括：
将基础帧和临近帧分别分割为多个图像块；
基于块的运动估计，确定临近帧的每个图像块的运动向量；
根据所述运动向量对所述临近帧中的图像块重新排布，得到对齐图像。


5.根据权利要求4所述的图像降噪方法，其特征在于，所述将基础帧和临近帧分别分割为多个图像块的步骤包括：
将所述基础帧和临近帧进行多次高斯下采样，得到每帧图像在不同分辨率的图像；
所述基于块的运动估计，确定临近帧的每个图像块的运动向量的步骤包括：
对第一分辨率的基础帧和临近帧的图像块做运动估计，确定第一分辨率下的图像块所对应的第一运动向量；
将所述第一运动向量传递至第二分辨率的图...

【专利技术属性】
技术研发人员：李松南，马岚，俞大海，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东;44