统一多图像融合方法技术

本发明专利技术提供用于合并多个图像以生成具有从所述多个图像导出的期望图像特性的单个融合图像的系统及方法。例如，所述系统可确定第一及第二图像的图像特性。所述图像特性可与对比度、曝光、颜色饱和度等有关。基于所述图像特性，所述系统可生成组合明度权重图。所述系统可分解所述第一及第二图像以及所述组合明度权重图。在实例中，所述第一图像、所述第二图像及所述组合明度权重图可表示为具有多个尺度或层级的尺度空间表示。所述系统可合并所述第一及第二图像以及所述组合明度权重图的所述分解表示以形成所述融合图像的经分解表示。所述系统可从所述融合图像的所述分解表示生成所述实际融合图像。

【技术实现步骤摘要】
【国外来华专利技术】统一多图像融合方法
本专利技术涉及将两个或多于两个图像组合以生成融合图像。
技术介绍
一些图像处理装置，例如智能电话或平板计算机，能够捕获对象(例如，人、地点、位置等)的图像。此些图像处理装置还可处理图像以特写图像的期望方面并减轻图像的不合需要的方面。例如，图像处理装置可对图像执行后处理操作以减少红眼，改进颜色平衡及/或将不同照相滤光片应用于图像，以使图像对用户更具视觉吸引力。多图像融合为一种后处理技术，其中同一场景的单独图像的期望方面混合在一起，从而增加所得或“融合”图像的整体视觉质量。一些多图像融合技术允许图像处理装置生成并入有来自多个图像的曝光信息(有时被称作为多重曝光融合或高动态范围成像)的融合图像。在多重曝光融合中，同一场景的多个图像组合，实现高动态范围。例如，多重曝光融合可混合特写背景中的光源(例如，太阳)及前景中的非光源(例如，人)的图像。可使用其它多图像融合技术来生成并入有来自多个图像的焦点特性的融合图像(有时被称作为“多焦点融合”)。在多焦点融合中，捕获同一场景的多个图像，且每一图像都聚焦在场景中的不同对象上。例如，一个图像可使背景对象聚焦，而第二图像可使前景对象聚焦。此等图像融合/混合在一起，以便生成合并图像，其中每一对象聚焦。另一多图像融合技术被用来生成并入有来自多个图像的不同照明特性(有时被称作为“多施照体融合”)的融合图像。在多施照体融合中，同一场景的多个图像经组合以实现场景中的每一照明对象的补偿。例如，多施照体融合可混合特写由自然日光照明的对象及由例如冷白荧光灯或钨基灯的室内灯照明的对象的图像。然而，这些技术中的每一种都单独地提供了次优解决方案，且这些技术的组合可能需要巨大的处理能力，这可能为不可用或不期望的。
技术实现思路
本专利技术的系统、方法及装置各自具有数个方面，其中无一者单独决定本文中所揭示的所要属性。在不如随后权利要求书所表达限制本专利技术的范围的情况下，现在将简洁地论述一些特征。各种实施例包含通过以下操作来用图像处理装置融合多个图像的方法：确定第一图像的第一图像特性及第二图像的第二图像特性，所述第一图像描绘目标场景且所述第二图像描绘所述目标场景，基于所述第一图像的所述第一图像特性及所述第二图像的所述第二图像特性来生成组合明度权重图，分解所述第一图像、所述第二图像及所述组合明度权重图，以及至少部分地基于所述经分解第一图像、所述经分解第二图像以及所述经分解明度权重图生成所述第一图像及所述第二图像的融合图像。在一些实施例中，第一图像可包含具有第一图像特性的第一对象及第二对象，且所述第二图像可包含具有第二图像特性的第一对象及第二对象。在一些实施例中，基于所述第一图像特性及第二图像特性生成组合明度权重图可包含：确定表示第一图像特性的第一权重图，基于第一权重图生成第一图像的第一明度权重图，确定表示第二图像特性的第二权重图，基于第二权重图生成第二图像的第二明度权重图，以及基于第一明度权重图及第二权重图生成组合明度权重。在一些实施例中，第一权重图及第二权重图中的每一个可包括对比度权重图、曝光权重图及颜色饱和度权重图中的两个或多于两个。在一些实施例中，确定所述第一图像的第一图像特性的第一权重图可包含确定所述第一图像的明度值及色度值，通过对第一图像的明度值执行高通滤波操作来确定所述第一图像的对比度权重图，基于第一图像的明度值与所期望明度值之间的差异来确定第一图像的曝光权重图，及基于第一图像的色度值或基于第一图像的色度值及第一图像的明度值来确定第一图像的颜色饱和度权重图。在一些实施例中，所述方法可进一步包含经由用户输入来接收预期明度值。在一些实施例中，方法可进一步包含基于所述第一图像特性及第二图像特性来生成组合颜色权重图。在一些实施例中，生成组合颜色权重图可包含基于第一权重图及第二权重图生成组合颜色权重。在一些实施例中，分解所述第一图像、所述第二图像以及组合明度权重图可包含生成第一图像的尺度空间表示(“SSR”)，生成第二图像的SSR以及生成组合明度权重图的SSR。在一些实施例中，生成第一图像的SSR可包含对第一图像执行放大及缩小操作。在一些实施例中，放大及缩小操作可为双线性放大及双线性缩小操作。在一些实施例中，可使用其它放大及缩小操作，例如，高斯缩放操作。在一些实施例中，至少部分地基于该经分解第一图像、该经分解第二图像及该经分解明度权重图来生成该第一图像及该第二图像的融合图像可包含通过组合第一图像的SSR的层级与第二图像的SSR的对应层级以及明度权重图的SSR的对应层级来生成融合图像的SSR，且将融合图像的SSR收缩成融合图像的单级表示。在一些实施例中，所述方法可进一步包含基于第一图像特性及第二图像特性生成组合颜色权重图，且通过将组合颜色权重图应用于融合图像的单级表示来生成融合图像。在一些实施例中，所述方法可进一步包含确定第三图像的图像特性及融合图像的图像特性，第三图像描绘目标场景，基于所述第三图像的图像特性及所述融合图像的图像特性来生成另一组合明度权重图；分解所述第三图像、所述融合图像及所述其它组合明度权重图；以及至少基于所述经分解第三图像、所述经分解融合图像及所述经分解其它明度权重图来生成第三图像及融合图像的另一融合图像。在一些实施例中，所述方法可进一步包括确定第三图像的第三图像特性，第三图像描绘目标场景；基于所述第二图像的所述第二图像特性及所述第三图像的所述第三图像特性来生成另一组合明度权重图；以及分解所述第二图像、所述第三图像及所述其他个组合明度权重图。在一些实施例中，生成第一图像及第二图像的融合图像可包括基于所述经分解第一图像、所述经分解第二图像及所述经分解组合明度图来生成第一尺度空间表示(“SSR”)；基于所述经分解第二图像、所述经分解第三图像及所述经分解其它组合明度图来生成第二SSR；组合所述第一SSR及所述第二SSR以生成组合SSR，以及至少部分地基于所述组合SSR来生成所述第一图像、所述第二图像及所述第三图像的融合图像。各种实施例还可包含系统，所述系统包含存储器及处理器，所述处理器耦合到所述存储器且经组态有处理器可执行指令以执行上述方法的操作。各种实施例还可包含系统，其可含用于执行上述方法的操作的装置。各种实施例还可包含非暂时性计算机可读媒体，其上存储有经配置以致使图像处理装置的处理器来执行上述方法的步骤的计算机可执行软件指令。附图说明当通过参考结合下面简要描述的附图进行的以下详细描述来更好地理解前述方面及许多所附优点时，前述方面及许多所附优点将变得更容易了解。图1A为根据一些实施例说明包含多个对象的场景的实例的组件图。图1B为根据一些实施例说明使用组合明度权重图将场景的两个图像融合在一起的进程的实例的示意图。图2为说明适于供各种实施例使用的计算装置的实例的组件框图。图3为根据一些实施例说明用于从同一场景的多个图像生成融合图像的计算机实施方法的实例的进程流程图。图4为根据一些实施例说明用于基于与同一场景的多个图像的图像特性相关联的权重图生成组合明度权重图的计算机实施方法的实例的进程流程图。图5A至5B为根据根据一些实施例说明用于针对同一场景的不同图像计算相应的明度权重图及相应颜色权重图的进程的实例的图。图6为根据一些实施例说明用于基于同一场景的多个图像的相应的明度本文档来自技高网...

【技术保护点】
1.一种用于借助图像处理装置融合多个图像的方法，所述方法包括：确定第一图像的第一图像特性及第二图像的第二图像特性，所述第一图像描绘目标场景且所述第二图像描绘所述目标场景；基于所述第一图像的所述第一图像特性及所述第二图像的所述第二图像特性生成组合明度权重图；分解所述第一图像、所述第二图像及所述组合明度权重图；以及至少部分地基于所述经分解第一图像、所述经分解第二图像及所述经分解明度权重图生成所述第一图像及所述第二图像的融合图。

【技术特征摘要】
【国外来华专利技术】2016.01.25 US 15/006,0191.一种用于借助图像处理装置融合多个图像的方法，所述方法包括：确定第一图像的第一图像特性及第二图像的第二图像特性，所述第一图像描绘目标场景且所述第二图像描绘所述目标场景；基于所述第一图像的所述第一图像特性及所述第二图像的所述第二图像特性生成组合明度权重图；分解所述第一图像、所述第二图像及所述组合明度权重图；以及至少部分地基于所述经分解第一图像、所述经分解第二图像及所述经分解明度权重图生成所述第一图像及所述第二图像的融合图。2.根据权利要求1所述的方法，其中：所述第一图像包括具有所述第一图像特性的第一对象及第二对象；且所述第二图像包括具有所述第二图像特性的所述第一对象及所述第二对象。3.根据权利要求1所述的方法，其中基于所述第一图像特性及所述第二图像特性生成组合明度权重图包括：确定表示所述第一图像特性的第一权重图；基于所述第一权重图生成所述第一图像的第一明度权重图；确定表示所述第二图像特性的第二权重图；基于所述第二权重图生成所述第二图像的第二明度权重图；及基于所述第一明度权重图及所述第二权重图生成所述组合明度权重。4.根据权利要求3所述的方法，其中所述第一权重图及所述第二权重图中的每一个包括对比度权重图、曝光权重图及颜色饱和度权重图中的两个或多于两个。5.根据权利要求3所述的方法，其中确定所述第一图像的所述第一图像特性的第一权重图包括：确定所述第一图像的明度值及色度值；通过对所述第一图像的所述明度值执行高通滤波操作来确定所述第一图像的对比度权重图；基于所述第一图像的所述明度值与预期明度值之间的差而确定所述第一图像的曝光权重图；及基于所述第一图像的所述色度值或基于所述第一图像的所述色度值及所述第一图像的所述明度值而确定所述第一图像的颜色饱和度权重图。6.根据权利要求5所述的方法，其进一步包括经由用户输入接收所述预期色度值。7.根据权利要求3所述的方法，其进一步包括基于所述第一图像特性及所述第二图像特性生成组合颜色权重图。8.根据权利要求7所述的方法，其中生成组合颜色权重图包括基于所述第一权重图及所述第二权重图生成所述组合颜色权重。9.根据权利要求3所述的方法，其中分解所述第一图像、所述第二图像及所述组合明度权重图包括：生成所述第一图像的尺度空间表示“SSR”；生成所述第二图像的SSR；及生成所述组合明度权重图的SSR。10.根据权利要求9所述的方法，其中生成所述第一图像的所述SSR包括对所述第一图像执行放大及缩小操作。11.根据权利要求10所述的方法，其中所述放大及缩小操作为双线性放大操作及双线性缩小操作。12.根据权利要求9所述的方法，其中至少部分地基于所述经分解第一图像、所述经分解第二图像及所述经分解明度权重图生成所述第一图像及所述第二图像的所述融合图包括：通过组合所述第一图像的所述SSR的层级与所述第二图像的所述SSR的对应层级以及所述明度权重图的所述SSR的对应层级来生成所述融合图像的SSR；以及将所述融合图像的所述SSR收缩成所述融合图像的单个层级表示。13.根据权利要求12所述的方法，其进一步包括：基于所述第一图像特性及所述第二图像特性生成组合颜色权重图；及通过将所述组合颜色权重图应用于所述融合图像的所述单层级表示来生成所述融合图像。14.根据权利要求1所述的方法，其进一步包括：确定第三图像的图像特性及所述融合图像的图像特性，所述第三图像描绘所述目标场景；基于所述第三图像的所述图像特性及所述融合图像的所述图像特性生成另一组合明度权重图；分解所述第三图像、所述融合图像及所述其它组合明度权重图；及至少部分地基于所述经分解第三图像、所述经分解融合图像及所述经分解其它明度权重图生成所述第三图像及所述融合图像的另一融合图像。15.根据权利要求1所述的方法，其进一步包括：确定第三图像的第三图像特性，所述第三图像描绘所述目标场景；基于所述第二图像的所述第二图像特性及所述第三图像的所述第三图像特性生成另一组合明度权重图；及分解所述第二图像、所述第三图像及所述其它组合明度权重图。16.根据权利要求15所述的方法，其中生成所述第一图像及所述第二图像的融合图像包括：基于所述经分解第一图像、所述经分解第二图像及所述经分解组合明度图生成第一中间融合图像的尺度空间表示“SSR”；基于所述经分解第二图像、所述经分解第三图像及所述经分解其它组合明度图生成第二中间融合图像的SSR；组合所述第一中间融合图像的所述SSR及所述第二中间融合图像的所述SSR以生成组合SSR；及至少部分地基于所述组合SSR生成所述第一图像、所述第...

【专利技术属性】
技术研发人员：U·K·普蒂佩蒂，P·K·拜哈提，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US