对比度增强的结合图像生成系统和方法技术方案

公开了基于热图像和从可见光图像提取的高空间频率内容来生成对比度增强的结合图像的各种技术，所述图像描绘相同场景。在一个示例中，一种方法，包括：确定指示所述图像中的至少一个的质量的混合度量；基于混合度量使热图像中所包括的像素值和表示可见光图像中所包括的高空间频率内容的像素值的亮度分量结合；以及基于热图像和经结合的亮度分量生成对比度增强的结合图像。

【技术实现步骤摘要】
【国外来华专利技术】对比度增强的结合图像生成系统和方法相关申请的交叉引用该专利申请要求2015年6月15日提交且题为“CONTRAST-ENHANCEDCOMBINEDIMAGEGENERATIONSYSTEMSANDMETHODS”的美国临时专利申请号62/180,006的权益和优先权，其通过引用全部合并于此。
本公开大体涉及图像处理和增强技术，并且特别涉及用于基于热图像和可见光(VL)图像生成对比度增强的结合图像的方法、装置和计算机程序软件。
技术介绍
在图像处理热图像(也叫作IR图像)领域内，这些图像有着诸多不足之处并且通常是有噪的、具有低分辨率、具有低对比度并且具有低亮度，这使得难以识别图像中的物体，从而需要预处理来提高它们的质量。描绘场景的热图像可以通过使热图像与从可见(或可视)光(VL)图像的图像信息获得的高空间频率内容(HSFC)图像结合而增强对比度，所述结合称为对比度增强融合或混合。在试图完成这样的结合和对比度增强时可能出现许多技术问题。可以提供热成像设备(例如IR拍摄装置)连同VL拍摄装置来捕捉可见光图像和热图像并且处理这些图像使得它们可以作为对比度增强图像而一起显示。结合在使用来自热图像的IR数据或热数据来识别物体中的温度变化同时显示来自可见光图像的足量数据来对使用拍摄装置的用户简化所得图像中物体的取向和识别方面是有利的。这可以例如通过增强IR图像数据值/像素值的亮度分量而实现，其中亮度分量表示可见光图像中的边缘。高空间频率内容(HSFC)图像典型地包括从可见光图像信息得到的边缘和拐角，例如通过对可见光图像高通滤波。HSFC图像和IR图像然后通过使对准的HSFC图像的每个像素和对准的IR图像的每个像素的亮度信息或亮度分量结合为对比度增强的结合图像而结合，由此提高热图像中的低对比度。用于使热图像和HSFC图像结合的方法和装置在2013年8月27日发行且转让给FLIR系统AB的美国专利号8,520,970B2中公开，其通过引用全部合并于此。在应用这样的技术时的可能问题是热与可见光成像系统之间的视差。热图像和可见光图像的捕捉由拍摄装置的单独热和可见光成像系统执行。相应成像系统的光轴可以例如配置成离彼此具有一定偏移并且配置成在光轴之间具有相对角度。从而，将产生称为视差的光学现象，其近距离(例如在描绘的物体与热成像设备之间不到10m)捕捉场景的图像时更加突显。为了消除或减少视差，图像必须对准。大的视差可以导致重像或重影的对比度增强的结合图像，其中高空间频率内容(HSFC)图像相对于热图像偏移并且结合，例如在热图像顶部叠加。在一些常规图像对准技术中，图像基于从聚焦设置(例如聚焦电机)的位置得到的聚焦距离而对准，该聚焦设置配置成确定到成像部件所捕捉的物体的距离。然而，如果未使用这样的对准技术和/或在某些情况下，可能存在残余视差而引起提到的重影现象。在成像场景不包括任何边缘或拐角并且因此对比度增强的结合图像未得到改进时可能出现另一个问题。即，在该情况下HSFC图像则主要包括噪声并且从而结合图像的对比度未得到提高。相反，采用该方式处理以用于增强对比度的结合图像的图像质量和可解释性甚至可能下降。另一个问题是场景的一些部分包括边缘或拐角而场景的其他部分缺乏边缘或拐角，由此导致图像的一部分或子集中对比度增强的结合图像的图像质量和可解释性下降。在成像系统(例如热成像系统)离焦时可能出现又一个问题。在成像系统的聚焦距离范围(即最小可接受聚焦距离到最大可接受聚焦距离)没有与到场景的距离重叠时可以是这样的情况。这将导致图像对准处理中视差或偏移增加，从而导致表示HSFC图像和热图像中相同物体的像素之间偏离。这进而可以引起重影或重像，其中HSFC图像相对于热图像偏移并且结合，例如在热图像顶部叠加。在场景的一些部分在成像系统聚焦范围内而场景的其他部分则不在时的情况下可能出现另一个问题，由此在图像的一部分或子集中引起重影。当为了获得质量良好的可见光图像存在太少或太多光时可能出现再另一个问题。当太暗时，可见光图像可以包含比信息更多的噪声。当太亮时，可见光图像可以包含太少轮廓/边缘信息。从而，存在对提供对比度增强的结合图像的改进方式的需要，该对比度增强的结合图像包括来自热图像的数据和来自高空间频率内容(HSFC)图像的数据。
技术实现思路
本公开包括解决或至少减少上文描述的问题的实施例。本公开的实施例包括热图像处理，其中来自热图像的信息与来自从可见光图像提取的高空间频率内容(HSFC)的亮度信息结合以至少基于指示所述图像中的至少一个的质量的混合度量来产生改进的对比度增强的结合图像。来自可见光图像的亮度信息的贡献基于混合度量。因此，采用改进的方式生成结合图像，从而减轻IR成像系统的聚焦设定的影响或适应于所描绘的场景，例如到所描绘场景中的物体的距离变化或在所描绘的场景中缺乏拐角或边缘。从视觉图像提取并且在结合的对比度增强的热图像的生成中使用的高空间频率内容(HSFC)图像在下文也叫作HSFC图像。本公开的实施例包括基于热图像和从可见光图像提取的高空间频率内容来生成对比度增强的结合图像的方法，所述图像描绘相同场景，该方法包括：接收场景的热图像和可见光图像；确定混合度量，其指示所述热图像和可见光图像中的至少一个的质量；基于混合度量使来自热图像的热图像像素的亮度分量与表示从可见光图像提取的高空间频率内容的可见光图像像素的亮度分量结合；以及基于热图像和经结合的亮度分量生成对比度增强的结合图像。在实施例中，图像的质量在所述图像聚焦和/或所述图像包括边缘时是高的；并且其中图像的质量在所述图像未聚焦和/或所述图像缺乏边缘时是低的。在实施例中，可见光图像的质量基于可见光图像中的对比度变化而确定。当存在太少光时，整个图像将非常暗，并且轮廓/边缘信息将被噪声所掩盖。当存在太多光时，整个图像将太亮而不能提供有用轮廓/边缘信息。在两个情况下，对比度变化都将是低的。另外的实施例包括：基于混合度量对所述热图像和对所述可见光图像确定亮度权重；并且分别用所述对应的亮度权重来缩放来自热图像的亮度分量和来自可见光的亮度分量。在另一的实施例中，亮度权重可以确定为缩放亮度分量，使得表示可见光图像的高空间频率内容的亮度分量的贡献与混合度量成比例。一个或多个实施例进一步包括下列中的一个或多个的选择：-基于到所述图像所捕捉的场景的估计距离确定混合度量；-基于捕捉热图像的热成像系统和/或捕捉可见光图像的可见光系统的聚焦距离来确定混合度量；-基于以下中的至少一个来确定混合度量：从捕捉热图像的热成像系统和/或捕捉可见光图像的视觉成像系统到场景的估计距离；以及热成像系统和/或可见光系统的聚焦距离。-基于图像清晰度关系确定混合度量，该图像清晰度关系依赖于从捕捉所述图像的热成像设备的热成像系统和/或视觉成像系统到场景或到场景中的物体的距离；-基于视差关系确定混合度量，该视差关系依赖于从捕捉所述图像的热成像设备的热成像系统和/或视觉成像系统到场景的距离；和/或-基于指示场景的所捕捉图像中边缘的存在且依赖于可见光图像中所包括的高空间频率内容的边缘度量来确定混合度量。-基于可见光图像中的对比度变化来确定混合度量。一个或多个实施例进一步包括响应于混合度量指示热图像未聚焦而使结合图像中的高空间频率内容表示本文档来自技高网...

【技术保护点】
一种方法，所述方法包括：接收场景的热图像和可见光图像；确定混合度量，所述混合度量指示所述热图像和所述可见光图像中的至少一个的质量；基于所述混合度量使来自所述热图像的热图像像素的亮度分量与表示从所述可见光图像提取的高空间频率内容的可见光图像像素的亮度分量结合；以及基于所述热图像和结合的亮度分量生成对比度增强的结合图像。

【技术特征摘要】
【国外来华专利技术】2015.06.15 US 62/180,0061.一种方法，所述方法包括：接收场景的热图像和可见光图像；确定混合度量，所述混合度量指示所述热图像和所述可见光图像中的至少一个的质量；基于所述混合度量使来自所述热图像的热图像像素的亮度分量与表示从所述可见光图像提取的高空间频率内容的可见光图像像素的亮度分量结合；以及基于所述热图像和结合的亮度分量生成对比度增强的结合图像。2.如权利要求1所述的方法，其中，图像的质量在所述图像聚焦时和/或所述图像包括边缘时是高的，并且其中，图像的质量在所述图像未聚焦时和/或所述图像缺乏边缘时是低的。3.如权利要求1所述的方法，其中，所述可见光图像的质量基于所述可见光图像中的对比度变化来确定。4.如权利要求1所述的方法，其进一步包括：基于所述混合度量对所述热图像和对所述可见光图像确定亮度权重；以及利用对应的亮度权重分别缩放来自所述热图像的亮度分量和来自所述可见光的亮度分量。5.如权利要求4所述的方法，其中，将所述亮度权重被确定为缩放所述亮度分量，使得表示所述可见光图像的高空间频率内容的亮度分量的贡献与所述混合度量成比例。6.如权利要求1所述的方法，其中，所述混合度量基于到所述图像所捕捉的场景的估计距离而确定。7.如权利要求1所述的方法，其中，所述混合度量基于捕捉所述热图像的热成像系统和/或捕捉所述可见光图像的可见光系统的聚焦距离而确定。8.如权利要求1所述的方法，其中，所述混合度量基于以下中的至少一个而确定：从捕捉所述热图像的热成像系统和/或捕捉所述可见光图像的视觉成像系统到所述场景的估计距离；以及所述热成像系统和/或所述可见光系统的聚焦距离。9.如权利要求1所述的方法，其中，所述混合度量基于图像清晰度关系而确定，所述图像清晰度关系依赖于从捕捉所述图像的热成像设备的热成像系统和/或视觉成像系统到所述场景或到所述场景中的物体的距离。10.如权利要求1所述的方法，其中，所述混合度量基于视差关系，所述视差关系依赖于从捕捉所述图像的热成像设备的热成像系统和/或视觉成像系统到所述场景的距离。11.如权利要求1所述的方法，其中，所述混合度量基于边缘度量而确定，所述边缘度量指示所述场景的所捕捉的图像中边缘的存在并且依赖于所述可见光图像中包括的高空间频率内容。12.如权利要求1所述的方法，其中，所述混合度量基于所述可见光图像中的对比度变化而确定。13.如权利要求1所述的方法，其进一步包括响应于所述混合度量指示所述热图像未聚焦而使所述对比度增强的结合图像中表示的高空间频率内容模糊。14.如权利要求1所述的方法，其进一步包括：将所述热图像分成热图像段；将所述可见光图像分成可见光图像段；以及对所述热图像段和所述可见光图像段确定相应的混合度量，其中，亮度分量的结合包括基于对应的混合度量使来自相应的热图像段的像素的亮度分量与表示来自对应的可见光图像段的高空间频率内容的像素的亮度分量结合，并且其中，所述对比度增强的结合图像的生成包括：基于所述热图像段和经结合的亮度分量生成对比度增强的结合图像段，以及生成包括所述对比度增强的结合图像段的所述对比度增强的结合图像。15.如权利要求1所述的方法，其进一步包括根据所述混合度量指示产生所述热图像的热成像系统未聚焦而排除表示所述可见光图像的高空间频率内容的像素的亮度分量。16.如权利要求1所述的方法，其进一步包括根据所述混合度量指示在所述可见光图像中没有足够对比度变化而排除表示所述可见光图像的高空间频率内容的像素的亮度分量。17.一种非暂时性机器可读介质，在所述非暂时性机器可读介质上存储机器可读代码，所述机器可读代码在由热成像装置的处理器执行时促使所述处理器执行如权利要求1所述的方法。18.一种热成像装置，所述热成像装置包括：...

【专利技术属性】
技术研发人员：S·奥尔森，C·霍格斯泰德，K·斯特兰德玛，
申请(专利权)人：前视红外系统股份公司，菲力尔系统公司，
类型：发明
国别省市：瑞典,SE