图像处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质。该方法包括：获取多帧待处理图像，其中，所述多帧待处理图像中包括至少一帧亮帧图像及至少一帧暗帧图像；对至少一帧所述亮帧图像进行降噪处理，并将降噪处理后的亮帧图像与所述至少一帧暗帧图像进行融合，以得到低光高动态范围LLHDR图像；识别所述LLHDR图像中的前景区域，得到前景识别结果；基于所述前景识别结果对所述LLHDR图像进行虚化处理，得到目标图像。上述的图像处理方法、装置、电子设备及计算机可读存储介质，能够提高图像的虚化效果。能够提高图像的虚化效果。能够提高图像的虚化效果。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及影像
，具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]在影像
中，为了突出图像中的拍摄主体，通常会对图像中的背景区域进行虚化，以达到使拍摄主体清晰的效果。如何提高图像的虚化效果成了影像
内的重点关注问题。

技术实现思路

[0003]本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，能够提高图像的虚化效果。
[0004]本申请实施例公开了一种图像处理方法，包括：获取多帧待处理图像，其中，所述多帧待处理图像中包括至少一帧亮帧图像及至少一帧暗帧图像，所述亮帧图像为曝光值大于或等于曝光阈值的待处理图像，所述暗帧图像为曝光值小于所述曝光阈值的待处理图像；对至少一帧所述亮帧图像进行降噪处理，并将降噪处理后的亮帧图像与所述至少一帧暗帧图像进行融合，以得到低光高动态范围LLHDR图像；识别所述LLHDR图像中的前景区域，得到前景识别结果；基于所述前景识别结果对所述LLHDR图像进行虚化处理，得到目标图像。
[0005]本申请实施例公开了一种图像处理装置，包括：图像获取模块，用于获取多帧待处理图像，其中，所述多帧待处理图像中包括至少一帧亮帧图像及至少一帧暗帧图像，所述亮帧图像为曝光值大于或等于曝光阈值的待处理图像，所述暗帧图像为曝光值小于所述曝光阈值的待处理图像；高动态模块，用于对至少一帧所述亮帧图像进行降噪处理，并将降噪处理后的亮帧图像与所述至少一帧暗帧图像进行融合，得到低光高动态范围LLHDR图像；前景识别模块，用于识别所述LLHDR图像中的前景区域，得到前景识别结果；虚化模块，用于基于所述前景识别结果对所述LLHDR图像进行虚化处理，得到目标图像。
[0006]本申请实施例公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。
[0007]本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
[0008]本申请实施例公开的图像处理方法、装置、电子设备及计算机可读存储介质，获取多帧待处理图像，该多帧待处理图像中包括至少一帧亮帧图像及至少一帧暗帧图像，对至少一帧亮帧图像进行降噪处理，并将降噪处理后的亮帧图像与所述至少一帧暗帧图像进行融合，以得到低光高动态范围LLHDR图像，识别LLHDR图像中的前景区域，得到前景识别结果，并基于前景识别结果对LLHDR图像进行虚化处理，得到目标图像。在本申请实施例中，对待处理图像进行降噪及融合，得到LLHDR图像，基于该LLHDR图像进行前景识别及虚化处理，
可提高前景识别的准确性，且使得虚化得到目标图像的背景区域保持高动态范围，能够提高图像的虚化效果。
[0009]此外，本申请从软硬件结合的角度提供了一种图像的虚化技术，先利用曝光表通过硬件抽象层控制成像装置采集待处理图像，再从软件层进行融合及虚化等图像处理，从整体上提高了图像的表现力。
附图说明
[0010]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1为一个实施例中图像处理电路的框图；
[0012]图2为一个实施例中图像处理方法的流程图；
[0013]图3为一个实施例中合成LLHDR图像的流程图；
[0014]图4为一个实施例中合成LLHDR图像的示意图；
[0015]图5为一个实施例中对LLHDR图像中背景区域的各个第一像素点进行点扩散处理，以得到背景虚化图像的流程图；
[0016]图6为一个实施例中对第一像素点的扩散结果进行叠加的示意图；
[0017]图7为另一个实施例中对LLHDR图像中背景区域的各个第一像素点进行点扩散处理，以得到背景虚化图像的流程图；
[0018]图8为一个实施例中在背景虚化图像叠加LUT滤镜的流程图；
[0019]图9为一个实施例中在背景虚化图像的背景区域叠加噪声的流程图；
[0020]图10为一个实施例中正态分布的示意图；
[0021]图11为一个实施例中生成第一边缘掩膜的示意图；
[0022]图12为一个实施例中半像素值的示意图；
[0023]图13为一个实施例中根据LLHDR图像的背景复杂度优化人像掩膜的头发区域边缘的流程图；
[0024]图14为一个实施例中生成背景复杂度图像的示意图；
[0025]图15为一个实施例中对LLHDR图像进行人像重对焦的流程图；
[0026]图16A为一个实施例中人脸清晰区域的示意图；
[0027]图16B为一个实施例中权重掩膜的示意图；
[0028]图17为一个实施例中图像处理装置的框图；
[0029]图18为一个实施例中电子设备的结构框图。
具体实施方式
[0030]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0031]需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0032]可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一像素点称为第二像素点，且类似地，可将第二像素点称为第一像素点。第一像素点和第二像素点两者都是像素点，但其不是指代同一像素点。需要说明的是，本申请所使用的术语“多帧”、“多个”等指代的是“两帧及两帧以上”、“两个及两个以上”。
[0033]本申请实施例提供一种电子设备，该电子设备可包括但不限于手机、智能可穿戴设备、平板电脑、PC(Personal Computer，个人计算机)、车载终端、数码相机等，本申请实施例对此不作限定。该电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的框图。为便于说明，图1仅示出与本申请实施例相关的图像处理技术的各个方面。
[0034]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取多帧待处理图像，其中，所述多帧待处理图像中包括至少一帧亮帧图像及至少一帧暗帧图像，所述亮帧图像为曝光值大于或等于曝光阈值的待处理图像，所述暗帧图像为曝光值小于所述曝光阈值的待处理图像；对至少一帧所述亮帧图像进行降噪处理，并将降噪处理后的亮帧图像与所述至少一帧暗帧图像进行融合，以得到低光高动态范围LLHDR图像；识别所述LLHDR图像中的前景区域，得到前景识别结果；基于所述前景识别结果对所述LLHDR图像进行虚化处理，得到目标图像。2.根据权利要求1所述的方法，其特征在于，在所述获取多帧待处理图像之前，所述方法还包括：获取场景信息，并根据所述场景信息生成曝光表；其中，所述场景信息包括场景类型、场景亮度、感光度ISO值中的一种或多种；所述获取多帧待处理图像，包括：根据所述曝光表包含的多个曝光值，控制成像装置采集与所述多个曝光值分别对应的多帧待处理图像。3.根据权利要求1所述的方法，其特征在于，所述多帧待处理图像中包括至少两帧亮帧图像；所述对至少一帧所述亮帧图像进行降噪处理，包括：从所述至少两帧亮帧图像中选择基准帧图像；将所述至少两帧亮帧图像进行配准对齐，以得到所述基准帧图像与其它亮帧图像之间的第一对齐区域及第一非对齐区域；基于所述至少两帧亮帧图像，对所述基准帧图像中的所述第一对齐区域进行降噪处理，以及针对所述基准帧图像的第一非对齐区域进行单帧降噪处理，以得到降噪图像。4.根据权利要求3所述的方法，其特征在于，将降噪处理后的亮帧图像与所述至少一帧暗帧图像进行融合，以得到低光高动态范围LLHDR图像，包括：将所述降噪图像及所述至少一帧暗帧图像进行配准对齐，以得到所述降噪图像与所述至少一帧暗帧图像之间的第二对齐区域及第二非对齐区域；基于所述降噪图像及所述至少一帧暗帧图像，对所述降噪图像中的所述第二对齐区域进行色度调整处理，并对所述降噪图像的第二非对齐区域进行单帧的色彩增强处理，得到LLHDR图像。5.根据权利要求1～4任一所述的方法，其特征在于，所述基于所述前景识别结果对所述LLHDR图像进行虚化处理，得到目标图像，包括：基于所述前景识别结果对所述LLHDR图像的背景区域进行虚化处理，得到背景虚化图像；基于所述背景识别结果，将所述背景虚化图像与所述LLHDR图像进行融合处理，以得到目标图像。6.根据权利要求5所述的方法，其特征在于，所述基于所述前景识别结果对所述LLHDR图像的背景区域进行虚化处理，得到背景虚化图像，包括：根据所述前景识别结果获取所述LLHDR图像的虚化力度图，并获取所述LLHDR图像对应的扩散权重图，所述虚化力度图包括所述LLHDR图像的背景区域中各个第一像素点对应的
虚化半径，所述扩散权重图包括所述LLHDR图像的背景区域中各个第一像素点对应的扩散权重；根据所述虚化力度图及所述扩散权重图，对所述各个第一像素点进行点扩散处理，得到所述各个第一像素点对应的扩散结果；对所述各个第一像素点对应的扩散结果进行叠加，并根据叠加结果对所述LLHDR图像的背景区域进行虚化处理，得到背景虚化图像。7.根据权利要求6所述的方法，其特征在于，所述根据所述前景识别结果获取所述LLHDR图像的虚化力度图，包括：根据虚化力度参数确定目标虚化半径，并根据所述目标虚化半径及所述前景识别结果生成所述LLHDR图像的虚化力度图，所述LLHDR图像的前景区域的各个第二像素点在所述虚化力度图中的虚化半径为0，所述LLHDR图像的背景区域的各个第一像素点在所述虚化力度图中的虚化半径为所述目标虚化半径。8.根据权利要求6所述的方法，其特征在于，在所述根据所述前景识别结果获取所述LLHDR图像的虚化力度图，并获取所述LLHDR图像对应的扩散权重图之前，所述方法还包括：对所述LLHDR图像及所述前景识别结果进行下采样处理，得到相同尺寸的LLHDR下采样图像及下采样前景结果；所述根据所述前景识别结果获取所述LLHDR图像的虚化力度图，并获取所述LLHDR图像对应的扩散权重图，包括：根据所述下采样前景结果获取所述LLHDR下采样图像的虚化力度图，并获取所述LLHDR下采样图像对应的扩散权重图；所述根据叠加结果对所述LLHDR图像的背景区域进行虚化处理，得到背景虚化图像，包括：根据叠加结果对所述LLHDR下采样图像的背景区域进行虚化处理，得到下采样虚化图像，并对所述下采样虚化图像进行上采样，得到与所述LLHDR图像相同尺寸的背景虚化图像。9.根据权利要求6～8任一所述的方法，其特征在于，在所述得到背景虚化图像之后，所述方法还包括：获取所述背景虚化图像中各个像素点对应的像素值；将所述背景虚化图像中各个像素点对应的像素值，映射到查找表LUT范围中，得到映射结果；基于LUT掩膜，将所述映射结果和所述背景虚化图像进行融合，所述LUT掩膜用于确定需要叠加LUT滤镜的图像区域。10.根据权利要求6～8任一所述的方法，其特征在于，在所述得到背景虚化图像之后，所述方法还包括：在所述LLHDR图像的前景区域中确定噪声估计区域；确定所述噪声估计区域对应的噪声参数，所述噪声参数用于表征所述噪声估计区域的噪声水平；根据所述噪声参数在所述背景虚化图像的背景区域叠加噪声。11.根据权利要求5所述的方法，其特征在于，所述前景识别结果包括人像掩膜；在所述
基于所述背景识别结果，将所述背景虚化图像与所述LLHDR图像进行融合处理，以得到目标图像之前，所述方法还包括：提取所述人像掩膜中的人像区域边缘，生成第一边缘掩膜；对第一边缘掩膜中的轮廓边缘进行对齐处理、平滑处理及过渡处理，得到第二边缘掩膜；根据第...

【专利技术属性】
技术研发人员：李章宇，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：