基于多帧图像的图像处理方法和装置制造方法及图纸

本申请提出一种基于多帧图像的图像处理方法和装置，其中，方法包括：通过获取多帧原始图像，并根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像，以及通过各帧降噪后的原始图像合成目标图像。由此，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。

Image Processing Method and Device Based on Multi-frame Image

【技术实现步骤摘要】
基于多帧图像的图像处理方法和装置
本申请涉及成像
，尤其涉及一种基于多帧图像的图像处理方法和装置。
技术介绍
随着智能终端技术的发展，移动终端设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数移动终端设备都内置有摄像头，并且随着移动终端处理能力的增强以及摄像头技术的发展，内置摄像头的性能越来越强大，拍摄图像的质量也越来越高。如今，移动终端设备均操作简单又便于携带，在日常生活中越来越多的用户使用智能手机、平板电脑等移动终端设备拍照。智能移动终端在给人们的日常拍照带来便捷的同时，人们对拍摄的图像质量的要求也越来越高。目前，在需要多帧原始图像合成目标图像的场景中，例如，在夜景这一特殊场景中，通常采集多帧原始图像进行高动态合成，但是在采集多帧原始图像过程中会引入噪声，导致最终合成的图像不清晰。因此，在最大限度的保留图像细节的情况下，对图像进行降噪处理，是一个亟待解决的问题。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请提出一种基于多帧图像的图像方法和装置，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。本申请第一方面实施例提出了一种基于多帧图像的图像处理方法，包括：获取多帧原始图像；根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像；根据各帧降噪后的原始图像，合成得到目标图像。本申请实施例的基于多帧图像的图像处理方法，通过获取多帧原始图像，并根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像，以及通过各帧降噪后的原始图像合成目标图像。由此，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。本申请第二方面实施例提出了一种基于多帧图像的图像处理装置，包括：获取模块，用于获取多帧原始图像；降噪模块，用于根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像；合成模块，用于根据各帧降噪后的原始图像，合成得到目标图像。本申请实施例的基于多帧图像的图像处理装置，通过获取多帧原始图像，并根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像，以及通过各帧降噪后的原始图像合成目标图像。由此，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。本申请第三方面实施例提出了一种电子设备，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如上述实施例中所述的基于多帧图像的图像处理方法。本申请第四方面实施例提出了一种图像处理电路，所述处理器包括图像信号处理ISP处理器和图形处理器GPU，其中，所述ISP处理器与所述GPU连接；所述ISP处理器，用于控制所述图像传感器采集多帧原始图像，以及根据各帧降噪后的原始图像，合成得到目标图像；所述GPU，用于根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像。本申请第五方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的基于多帧图像的图像处理方法。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本申请实施例所提供的一种基于多帧图像的图像处理方法的流程示意图；图2为本申请实施例所提供的根据各帧降噪后的原始图像，合成得到目标图像的细化流程示意图；图3为本申请实施例所提供的步骤102的细化流程示意图；图4为本申请实施例所提供的步骤102的细化流程示意图；图5为本申请实施例提供的另一种基于多帧图像的图像处理方法的流程示意图；图6为本申请实施例提供的另一种基于多帧图像的图像处理方法的流程示意图；图7为本申请实施例提供的一种基于多帧图像的图像处理方法的示例图；图8为本申请实施例提供的一种基于多帧图像的图像处理装置的结构示意图；图9为本申请实施例提供的一种电子设备的结构示意图；图10为本申请实施例提供的一种电子设备的原理示意图；图11为本申请实施例提供的一种图像处理电路的原理示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。针对相关技术中，对于需要多帧原始图像合成目标图像的场景中，由于在得到目标图像时，拍摄的帧数较多，采帧时间长，可能会由于抖动导致拍摄的图像存在拖影，或者会在拍摄的过程中引入噪声，从而导致后续合成目标图像不清晰。为此，本申请提出了一种基于多帧图像的图像处理方法，通过获取多帧原始图像，并根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像，以及通过各帧降噪后的原始图像合成目标图像。由此，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。下面参考附图描述本申请实施例的基于多帧图像的图像处理方法和装置。图1为本申请实施例所提供的一种基于多帧图像的图像处理方法的流程示意图。本申请实施例的基于多帧图像的图像处理方法，应用于电子设备，该电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、成像设备的硬件设备。如图1所示，该基于多帧图像的图像处理方法包括以下步骤：步骤101，获取多帧原始图像。其中，原始图像，是指通过电子设备的图像传感器采集得到的未做任何处理的RAW图像。其中，RAW图像是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW图像记录了数码相机传感器采集到的原始信息，同时记录了由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。其中，本实施例中的多帧原始图像是在需要多帧图像合成目标图像的场景中，由图像传感器逐帧获取到的。在本实施例中，以需要多帧图像合成目标图像的场景为夜景场景为例进行描述。在本实施例中，可以通过获取当前拍摄场景的预览图像，以确定当前拍摄场景是否属于夜景场景。由于不同场景下环境亮度值不同，预览图像内容也不相同，可以根据当前拍摄场景预览图像的画面内容以及各区域的环境亮度值，确定当前拍摄场景属于夜景场景后，启动夜景拍摄模式，在不同曝光采集多帧原始图像。例如，预览图像的画面内容包括夜晚天空或者夜景灯源等，或者预览图像的各区域中环境亮度值符合夜景环境下图像的亮度分布特性，即本文档来自技高网...

【技术保护点】
1.一种基于多帧图像的图像处理方法，其特征在于，包括：获取多帧原始图像；根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像；根据各帧降噪后的原始图像，合成得到目标图像。

【技术特征摘要】
1.一种基于多帧图像的图像处理方法，其特征在于，包括：获取多帧原始图像；根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像；根据各帧降噪后的原始图像，合成得到目标图像。2.根据权利要求1所述的方法，其特征在于，所述根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，包括：根据各帧原始图像的曝光度，确定各帧原始图像对应的神经网络模型；根据各神经网络模型对对应原始图像进行噪声特性识别，以识别出各帧原始图像中的噪声特性，其中，所述神经网络模型，已学习得到在对应曝光度下，对应原始图像的感光度与噪声特性之间的映射关系；根据各帧原始图像中的噪声特性对对应的原始图像进行降噪处理，以得到各帧降噪后的原始图像。3.根据权利要求2所述的方法，其特征在于，所述神经网络模型，是在对应曝光度下，采用各感光度的样本图像对所述神经网络模型进行训练，直至所述神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，所述神经网络模型训练完成。4.根据权利要求2所述的方法，其特征在于，所述多帧原始图像包括至少一帧第一图像和第二图像，其中，所述第一图像的曝光度低于所述第二图像的曝光度；所述根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，包括：根据所述第一图像的曝光度，确定所述第一图像对应的第一神经网络模型；根据所述第一神经网络模型对所述第一图像进行噪声特性识别；根据所述第一图像的噪声特性识别结果，对所述第一图进行降噪处理；如果根据所述第一图像的噪声特性识别结果确定所述第一图像的噪声特性识别准确度低于预设阈值，则采用第二神经网络模型，对所述第二图像进行噪声特性识别，所述第二神经网络模型的噪声特性识别准确度高于所述第一神经网络模型；根据所述第二图像的噪声特性识别结果，对所述第二图像进行降噪处理。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：如果根据所述第一图像的噪声特性识别结果确定所述第一图像的噪声特性识别准确度高于预设阈值，则采用所述第一神经网络模型，对所述第二图像进行噪声特性识别。6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据各帧降噪后的原始图像，合成得到目标图像，包括：将所述多帧降噪后的原始图像输入预设合成模型，以得到相应降噪后的原始图像中各区域的合成权重；根据所述合成权重，分区域对所述多帧降噪后的原始图像进行合成，以得到所述目标图像。7.一种基于多帧图像的图像处理装置，其特征在于，包括：获取模块，用于获取多帧原始图像；降噪模块，用于根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像；合成模块，用于根据各帧降噪后的原始图像，合成得到目标图像。8.根据权利要求7所述的装置，其特征在于，所述降噪模块，具体用于：根据各帧原始图像的曝光度，确定各帧原始图像对应的神经网络模型；根据各神经网络模型对对应原始图像进行噪声特性识别，以识别出各帧原始图像中的噪声特性，其中，所述神经网络模型，已学习得到在对应曝...

【专利技术属性】
技术研发人员：康健，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东,44