用于生成高动态范围图像的图像处理系统和图像处理方法技术方案

一种图像处理系统用于从第一图像和第二图像生成高动态范围图像的目的。所述系统包括第一位移估计器(22)，用于估计来源于所述第一图像的参考图像与来源于所述第二图像的待扭曲图像之间的图像内容的位移。此外，所述系统包括第一扭曲单元(23)，用于通过扭曲所述待扭曲图像来补偿所述估计位移从而得到第一扭曲图像。此外，所述系统包括：第一误差检测器(24)，用于检测所述第一扭曲图像内的几何扭曲误差；以及第一误差补偿器(25)，用于补偿所述第一扭曲图像内的所述估计几何扭曲误差从而得到第一误差校正图像。所述系统还包括高动态范围计算器，用于基于所述第一误差校正图像和所述参考图像计算所述高动态范围图像。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于从至少两个输入图像生成高动态范围图像的图像处理系统和图像处理方法。具体来说，本专利技术涉及一种在执行高动态范围图像计算之前处理输入图像的系统和方法。
技术介绍
在与计算机视觉和计算摄影相关的许多应用中，图像配准的主题发挥中心作用，确切地说，当需要使一个图像的像素与另一图像中的对应像素(描绘所捕获场景中的同一点的像素)关联时使用所述技术。匹配不同图像中的像素的问题在基于从多个图像提取信息以便提高其质量或检测场景的几何形状的计算机视觉应用中相当常见。关于这点，通过图像配准解决的典型挑战是：消除在立体图像中观测到的透视差；操纵动态场景，其中可观测所捕获图像的集合(例如，捕获移动对象的两个顺序图像)中的运动；以及补偿相机移动，其中以手持式相机捕获顺序图像。因此，图像配准在高动态范围成像(high dynamic range imaging，HDRI)等属于计算摄影的范围内的操纵情形中起到重要作用。HDRI使得能够在计算上增加使用数码相机捕获的图像的动态范围，所述数码相机主要由于硬件局限性而不能还原现实世界场景的整个动态范围。用于HDRI的示范性方法依赖于以不同曝光(包围曝光)捕获若干图像(以立体/多个相机循序或同时捕获)，且随后将所述图像合并为高动态范围图像。基于从不同曝光的输入图像获得的信息，估计逆相机响应函数(camera response function，CRF)，其使得能够以增加的动态范围重构场景
光亮度映射图(由相机传感器作为输入而接收的原始光能的估计)。随后使用色调映射操作将延伸后的动态范围重新映射为可由常用显示器显示的低动态范围格式。通常根据原始图像的曝光水平指派不同权重，通过来自输入图像的对应像素的加权和来计算光亮度映射图。本专利技术可应用于用于CRF估计、色调映射和用于场景光亮度映射图计算的加权的任何方法。在循序地取得两个或两个以上图像且假定所描绘的场景和相机是静态的(在捕获过程期间无运动)情况下，高动态范围(high dynamic range，HDR)计算不存在特定问题。这是因为假定输入图像完美地在几何上对准，这又意味着全部图像内容在所有输入图像中具有相同位置。然而，实际上这是极不常见的情况：通常，在以不同曝光设定捕获输入图像所需要的时间期间，会发生捕获装置或场景中的对象的移动。因此，所捕获图像不再完美地对准。当通过立体/多相机情况捕获图像时，同时的图像捕获不存在如顺序捕获中发生的移动对象的问题。然而，相机之间的基线差异造成需要补偿的遮挡和透视失真。在未正确地实行运动或视差补偿的情况下，通过加权错误像素而计算图像的某些区域中的光亮度映射图，因此导致严重且明显的鬼影假象。通过动态改变或遮挡造成的具有失真的区域也将被称作“鬼影区域”。因此，HDRI和基于同一场景的多个图像的其它应用的质量明显取决于不同图像之间的运动(或立体/多相机情境中的视差)补偿操作以产生一致结果。因移动的相机或场景中的对象所致的运动或者立体/多相机基线的视差的补偿表示一个重要研究领域，其目标是减少鬼影区域中可观测到的假象。对于开发了若干方法的2D(顺序图像)尤其如此。用于运动和视差补偿的现有方法可分类为主要两组：第一组的运动补偿技术旨在减少鬼影区域中的可见假象，仅基于一个图像计算那些区域中
的光亮度值。因此，这需要对鬼影区域的检测。最近，提出了用于检测因在捕捉过程期间的相机运动所致的未对准的方法。平移未对准的检测开始于应用曝光不变的变换，因此检测实现变换映射图之间的最大相似性的平移。基于此方法，提出了用于检测因相机运动所致的平移未对准和旋转未对准以及因在捕捉期间移动对象所致的模糊区的另外的技术。第二组的运动/视差补偿技术是基于图像配准，以使得不要求相机设定(例如，曝光时间、逆CRF...)的先验知识且不需要鬼影区域的检测。示范性方法使用基于能量的光流方法计算密集运动场，其对输入图像之间的照明差异是不变的。计算得出的运动向量用于图像配准并且因此用于运动补偿。基于这些已配准图像计算HDR图像。用于运动和视差补偿的上述方案存在若干局限性，其大部分与实现算法的性能相关。举例来说，第一组的方法以不同于图像的其余部分的方式处理鬼影区域(即使用仅一个图像用于HDR计算)，导致可见假象，可用所提出的专利技术来减少所述可见假象。类似地，属于通过运动估计的图像配准的范围内的方法可减小对相机设定的相依性，但它们明显依赖于光流等运动/视差技术的性能。另外，如果未执行旨在减少输入图像之间的明度差异的恰当预处理，那么运动估计步骤的结果将不准确。举例来说，欧洲专利申请EP 2 395 748A2示出了用于生成高动态范围图像的常规系统和方法。其中示出的系统和方法存在缺点，因为所得的HDRI图像包括剩余误差。
技术实现思路
因此，本专利技术的目的是提供一种用于生成高动态范围图像的系统和方法，其实现图像配准阶段中的极高精度，因此得到高质量HDR图像。上述目标通过所附独立权利要求中提供的方案来实现。在相应的从属权利要
求中界定有利的实施方案。本专利技术的第一方面提供一种用于从第一图像和第二图像生成高动态范围图像的图像处理系统。所述系统包括第一位移估计器，用于估计从第一图像来自的参考图像与从第二图像来自的待扭曲图像之间的图像内容的位移。位移可表示为参考图像与在像素、像素块或子像素精度上待扭曲的图像的不同部分之间的局部映射。此外所述系统包括第一扭曲单元，用于通过扭曲待扭曲图像来补偿估计位移从而得到第一扭曲图像。此外，所述系统包括：第一误差检测器，用于检测第一扭曲图像内的几何扭曲误差；以及第一误差补偿器，用于补偿第一扭曲图像内的估计几何扭曲误差从而得到第一误差校正图像。所述系统还包括高动态范围计算器，用于基于第一误差校正图像和参考图像计算高动态范围图像。通过执行误差补偿，有可能大大减少在由高动态范围计算器使用的位移估计阶段期间发生的误差的数目。进而实现具有减少的视觉假象的所得高动态范围图像。在根据本专利技术的第一方面的第一实施形式中，第一位移估计器用于通过估计光流和/或通过执行基于块的搜索和/或通过执行块匹配来估计图像内容的位移。进而，用于运动/视差估计的全部现有方法可应用于本专利技术。根据本专利技术的第一方面的第二实施形式，第一误差检测器包括差单元，用于计算第一扭曲图像的每个像素与参考图像的对应像素的强度差。第一误差检测器还包括直方图单元，用于计算所确定的强度差的直方图。此外，第一误差检测器包括：阈值确定单元，用于根据直方图确定误差阈值；以及误差决定单元，用于通过比较强度差与阈值从而得到几何扭曲误差像素的二进制映射图来确定几何扭曲误差。进而可达到检测误差的极高准确性。根据本专利技术的第一方面的第三实施形式，阈值确定单元用于确定误差阈值以使得低于误差阈值的差值指示光度误差且高于误差阈值的值指示几何误差。通过执行光度误差与几何扭曲误差之间的此准确辨别，可实现
进一步提高所得HDR图像质量，因为允许在图像获取链的非静止组件发源的误差(光度误差)与在配准阶段期间发生的误差(几何扭曲误差)之间进行区分。通过分析直方图的连续值的梯度且将阈值置于梯度最大的点中可自适应地确定实现光度误差与几何扭曲误差之间的更好分类或区别的误本文档来自技高网...

【技术保护点】
一种用于从第一图像和第二图像生成高动态范围图像的图像处理系统，其特征在于，所述图像处理系统包括：第一位移估计器(22)，用于估计来源于所述第一图像的参考图像与来源于所述第二图像的待扭曲图像之间的图像内容的位移，第一扭曲单元(23)，用于通过扭曲所述待扭曲图像来补偿所述估计位移，从而得到第一扭曲图像，第一误差检测器(24)，用于检测所述第一扭曲图像中的几何扭曲误差，第一误差补偿器(25)，用于补偿所述第一扭曲图像中的检测到的所述几何扭曲误差从而得到第一误差校正图像；以及高动态范围计算器(80)，用于基于所述第一误差校正图像和所述参考图像计算所述高动态范围图像。

【技术特征摘要】
【国外来华专利技术】1.一种用于从第一图像和第二图像生成高动态范围图像的图像处理系统，其特征在于，所述图像处理系统包括：第一位移估计器(22)，用于估计来源于所述第一图像的参考图像与来源于所述第二图像的待扭曲图像之间的图像内容的位移，第一扭曲单元(23)，用于通过扭曲所述待扭曲图像来补偿所述估计位移，从而得到第一扭曲图像，第一误差检测器(24)，用于检测所述第一扭曲图像中的几何扭曲误差，第一误差补偿器(25)，用于补偿所述第一扭曲图像中的检测到的所述几何扭曲误差从而得到第一误差校正图像；以及高动态范围计算器(80)，用于基于所述第一误差校正图像和所述参考图像计算所述高动态范围图像。2.根据权利要求1所述的图像处理系统，其特征在于，所述第一位移估计器(22)用于通过估计光流，和/或通过执行基于块的搜索和/或通过执行块匹配来估计所述图像内容的所述位移。3.根据权利要求1或2所述的图像处理系统，其特征在于，所述第一误差检测器(24)包括差单元(30)，用于计算所述第一扭曲图像的每个像素与所述参考图像的对应像素的强度差，直方图单元(31)，用于计算确定的所述强度差的直方图，阈值确定单元(32)，用于根据所述直方图确定误差阈值，以及误差决定单元(33)，用于通过比较所述强度差与所述阈值从而得到几何扭曲误差像素的二进制映射图，来确定几何扭曲误差。4.根据权利要求3所述的图像处理系统，其特征在于，所述阈值确定单元(32)用于确定所述误差阈值以使得低于所述误差
\t阈值的差值指示光度扭曲误差且高于所述误差阈值的值指示几何扭曲误差。5.根据权利要求3或4所述的图像处理系统，其特征在于，所述阈值确定单元用于通过分析所述直方图的连续值的梯度且将梯度最大处的值选择为所述阈值，来自适应地确定所述误差阈值。6.根据权利要求3到5中任一权利要求所述的图像处理系统，其特征在于，所述差单元(30)用于针对不同颜色通道独立地计算所述强度差，其中所述误差决定单元(33)用于比较所述颜色通道的所述强度差与所述误差阈值，且在所述颜色通道的所述强度差中的至少一个强度差高于所述误差阈值的情况下或在全部颜色通道的所述强度差高于所述误差阈值的情况下，确定像素的几何扭曲误差。7.根据权利要求3到5中任一权利要求所述的图像处理系统，其特征在于，所述差单元(30)用于针对不同颜色通道独立地计算所述强度差，其中，所述直方图单元(31)用于针对所述不同颜色通道计算独立的直方图，且所述阈值确定单元(32)用于针对每个颜色通道确定独立的误差阈值，其中，所述误差决定单元(33)用于比较所述颜色通道的所述强度差与相应的误差阈值，且在所述颜色通道的所述强度差中的至少一个强度差高于相应的误差阈值的情况下或在全部颜色通道的所述强度差高于相应的误差阈值的情况下，确定像素的扭曲误差。8.根据权利要求1到7中任一权利要求所述的图像处理系统，其特征
\t在于，所述第一误差补偿器(25)包括：搜索窗设定单元(41)，用于在检测到几何扭曲误差的所述第一扭曲图像的每个像素周围设定预定的或用户定义的大小的搜索窗，有效像素检测单元(42)，用于确定在每个搜索窗内的所在位置未检测到几何扭曲误差的像素，从而得到每个搜索...

【专利技术属性】
技术研发人员：法赫德·博萨拉，基奥万尼·科达拉，奥纳伊·优厄法利欧格路，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44