图像多帧融合的方法、装置、电子设备及存储介质制造方法及图纸

本说明书实施方式提供了一种图像多帧融合的方法、装置、电子设备及存储介质。包括：基于图像中曝光锐度最高的一帧进行图像对齐；图像对齐包括提取图像每一帧的特征点，使图像每一帧都具有同样的空间布局；基于空间域的局部光源扩散权重信息，计算图像每一帧的融合区域；基于融合区域，对每一帧不同曝光度的图像进行融合；图像融合为用预先设定的算法将多帧不同曝光度的图像融合成融合图像；将融合图像压缩至预先设定的动态范围区间。本说明书实施方式提供的图像多帧融合的方法，通过在图像融合过程中，使用光源扩散权重的方式为图像引入局部信息，使融合后图像具有更高的动态范围和更低的光晕。更低的光晕。更低的光晕。

【技术实现步骤摘要】
图像多帧融合的方法、装置、电子设备及存储介质


[0001]本说明书中实施方式关于计算机图形学，尤其涉及一种图像多帧融合的方法、装置、电子设备及存储介质。

技术介绍

[0002]在拍摄图像时，当环境中动态范围过大时，例如存在复杂光源或背光场景的情况；由于手机端传感器模组的精度等原因，无法总是捕捉到图像的全部动态范围，特别是在夜间场景下。因此，在图像生成的过程中，为了保证生成图像的质量总是维持在一个可接受范围内，总是将图像的动态范围保持在低动态范围，以此保证可以抓取大部分的场景信息，从而会舍弃图像中的部分高光或低光信息，导致了人眼视觉与照片的差异性。为了保证在夜间的图像采集总是能够具有良好的视觉效果，使用多张不同曝光的图像融合成为了首要的选择。
[0003]但是，多帧曝光图像的融合会面临着较大的挑战，例如运动场景、光晕、对比度压缩等。在图像融合的过程中，可能会生成的光晕，还有可能会使高亮区域被进一步放大；光源周围的既存的光晕也不能被有效消除。

技术实现思路

[0004]本说明书中多个实施方式提供一种图像多帧融合的方法、装置、电子设备及存储介质，在图像融合过程中，使用光源扩散权重的方式为图像引入局部信息，使融合后图像具有更高的动态范围和更低的光晕。
[0005]本说明书的一个实施方式提供一种图像多帧融合的方法，包括：
[0006]基于图像中曝光锐度最高的一帧进行图像对齐；图像对齐包括提取图像每一帧的特征点，使图像每一帧都具有同样的空间布局；
[0007]基于空间域的局部光源扩散权重信息，计算图像每一帧的融合区域；
[0008]基于融合区域，对每一帧不同曝光度的图像进行融合；图像融合为用预先设定的算法将多帧不同曝光度的图像融合成融合图像；
[0009]将融合图像压缩至预先设定的动态范围区间。
[0010]本说明书的一个实施方式提供一种图像多帧融合的装置，包括：
[0011]获取模块，用于基于图像中曝光锐度最高的一帧进行图像对齐；图像对齐包括提取图像每一帧的特征点，使图像每一帧都具有同样的空间布局；
[0012]计算模块，用于基于空间域的局部光源扩散权重信息，计算图像每一帧的融合区域；
[0013]融合模块，用于基于融合区域，对每一帧不同曝光度的图像进行融合；图像融合为用预先设定的算法将多帧不同曝光度的图像融合成融合图像；
[0014]映射模块，用于将融合图像压缩至预先设定的动态范围区间。
[0015]本说明书的一个实施方式提供一种电子设备，包括存储器、处理器及存储在存储
器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的方法。
[0016]本说明书的一个实施方式提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述任一所述方法。
[0017]本说明书提供的多个实施方式，通过在图像融合过程中，使用光源扩散权重的方式为图像引入局部信息，使融合后图像具有更高的动态范围和更低的光晕。
附图说明
[0018]为了更清楚地说明本说明书实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本说明书的一个实施方式提供的图像多帧融合的方法流程图；
[0020]图2为本说明书的一个实施方式提供的图像多帧融合的装置示意图；
[0021]图3为本说明书的一个实施方式提供的图像融合权重计算示意图；
[0022]图4为本说明书的一个实施方式提供的图像光源扩散权重计算示意图；
[0023]图5为本说明书的一个实施方式提供的图像人像检测示意图；
[0024]图6为本说明书的一个实施方式提供的图像融合示意图；
[0025]图7为本说明书的一个实施方式提供的图像增强示意图。
具体实施方式
[0026]下面将结合本说明书中的附图，对本本说明书提供的实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是一部分实施方式，而不是全部的实施方式。基于本说明书提供的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0027]在拍摄图像时，当环境中动态范围过大时，例如存在复杂光源或背光场景的情况；由于手机端传感器模组的精度等原因，无法总是捕捉到图像的全部动态范围，特别是在夜间场景下。因此，在图像生成的过程中，为了保证生成图像的质量总是维持在一个可接受范围内，总是将图像的动态范围保持在低动态范围，以此保证可以抓取大部分的场景信息，从而会舍弃图像中的部分高光或低光信息，导致了人眼视觉与照片的差异性。为了保证在夜间的图像采集总是能够具有良好的视觉效果，使用多张不同曝光的图像融合成为了首要的选择。
[0028]但是，多帧曝光图像的融合会面临着较大的挑战，例如运动场景、光晕、对比度压缩等。在图像融合的过程中，可能会生成的光晕，还有可能会使高亮区域被进一步放大；光源周围的既存的光晕也不能被有效消除。
[0029]有鉴于此，本说明书提供了一种图像多帧融合的方法、装置、电子设备及存储介质。
[0030]请参阅图1。本说明书实施方式提供一种图像多帧融合的方法，可以包括以下步骤。
[0031]S101：基于图像中曝光锐度最高的一帧进行图像对齐；所述图像对齐包括提取所述图像每一帧的特征点，使所述图像每一帧都具有同样的空间布局。
[0032]本实施方式中，对输入的所有图像进行曝光后，再对所有不同曝光度的图像进行锐度检测；锐度是影响图像质量的最重要的因素，它决定了一个图像系统重现图像细节的数量。锐度由不同色度或颜色区域的边界决定。在进行锐度检测后，找到曝光锐度最高的一帧图像，并以这张图像为基准进行图像对齐；即提取图像每一帧的特征点，对图像每一帧的特征点集进行匹配，得到最优匹配，再利用仿射变换/透视变换等优化图像每一帧之间的对应关系，从而求得变换参数，最终可利用最优化参数，使图像每一帧都具有同样的空间布局；来保证空间一致性，防止因为相机抖动等外在原因导致融合过程中产生重影，从而降低图像的质量；为图像融合做好基础。其中，锐度检测的方法包括10/90上升距离法(10
‑
90％rise distance technique)，相对对比度(输出对比度/输入对比度)，频域法和斜边法。本实施方式中，锐度检测的方法不做限定，可以根据需求选用不同的锐度检测的方法。
[0033]示例性的，基于图像中曝光锐度最高的一帧进行图像对齐后，还可以包括：检测图像对齐后的每一帧不同曝光度的图像间的运动物体；将每一帧不同曝光度的图像映射至同一亮度区间；计算不同帧之间的差异性，找到每一帧不同曝光度的图像中的干扰区域。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像多帧融合的方法，其特征在于，包括：基于图像中曝光锐度最高的一帧进行图像对齐；所述图像对齐包括提取所述图像每一帧的特征点，使所述图像每一帧都具有同样的空间布局；基于空间域的局部光源扩散权重信息，计算图像每一帧的融合区域；基于所述融合区域，对每一帧不同曝光度的图像进行融合；所述图像融合为用预先设定的算法将多帧不同曝光度的图像融合成融合图像；将所述融合图像压缩至预先设定的动态范围区间。2.根据权利要求1所述的图像多帧融合的方法，其特征在于，所述基于图像中曝光锐度最高的一帧进行图像对齐后，还包括：检测图像对齐后的每一帧不同曝光度的图像间的运动物体；将每一帧不同曝光度的图像映射至同一亮度区间；计算不同帧之间的差异性，找到每一帧不同曝光度的图像中的干扰区域。3.根据权利要求1所述的图像多帧融合的方法，其特征在于，所述基于空间域的局部光源扩散权重信息，计算图像每一帧的融合区域的步骤包括：以亮度为基准计算图像每一帧的融合权重，将光源区域处曝光度高的图像的权重分配给曝光度低的图像。4.根据权利要求1所述的图像多帧融合的方法，其特征在于，所述基于所述融合区域，对每一帧不同曝光度的图像进行融合的步骤包括：使用基于拉普拉斯金字塔融合的方法对每一帧不同曝光度的图像进行融合。5.根据权利要求1所述的图像多帧融合的方法，其特征在于，所述基于所述融合区域，对每一帧不同曝光度的图像进行融合后，还包括：检测是否存在人像和/或人像所在的区域，若存在所述人像和/或所述人像所在的区域，则对人像进行保护，使人像亮度保持...

【专利技术属性】
技术研发人员：吴方龙，沈山岚，段宇波，
申请(专利权)人：黑芝麻智能科技有限公司，
类型：发明
国别省市：