本发明专利技术公开了一种基于直方图归一化与超像素分割的HDR重建算法，利用直方图匹配算法将选中的参考图像Ir的直方图映射到图像序列的其他图像Ii上，并分别生成相应的匹配图像通过比较每个像素点和其临近像素的一致性，将图像的像素组合成超像素，并采用切割算法来获取图像中运动物体的轮廓，对匹配图像与其他图像Ii作差取绝对值，然后进行超像素分割；将分割得到的超像素分为两类：静态部分和动态部分，并将Ii和合成中间图像基于梯度的图像质量评价系统，计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。将参考图像和输入序列中其他图像进行直方图匹配，而不是直接计算输入图像的梯度信息。这使得图像的更多细节能够被保留。
【技术实现步骤摘要】
本专利技术涉及图像处理领域，具体涉及一种基于直方图归一化与超像素分割的HDR重建算法。
技术介绍
尽管图像技术近年来发展迅速，但是普通的数码相机依然无法拍摄出与人类肉眼所见的真实场景相一致的图像。为了解决这种局限性，很多研究者致力于获取现实世界中全动态的图片，也即高动态范围(high dynamic range HDR)图片。其中，通过多次曝光，每次捕捉一定的动态范围，将这些相同场景的不同动态范围进行融合，得到HDR图片。然而，由于实际中场景存在动态信息以及运动的物体，使得直接图片融合图片会产生鬼影或模糊现象。因此，如何消除序列HDR图像中的鬼影是比较重要的研究主题。通常，生成静态场景HDR图像的方法包括两个步骤：首先估计相机响应函数，结合不同曝光下的辐射图生成中间图像，来保存覆盖了真实场景整个色调范围的像素值；然后利用色调映射将获得的中间HDR图像重新映射成低动态范围(low dynamic range LDR)图像，在普通的LDR设备上显示。有些方法跳过一般的HDR过程，直接在图像域进行曝光融合，生成类似色调映射的HDR图像。因此，这些方法更加有效，且不需要进行色调映射。然而，由于上面所提到的所有方法都只适用于静态图片，曝光序列中任何的运动都会造成鬼影现象。很多工作都尝试移除动态场景中的鬼影现象。一般来说，已有的方法分为两类。第一类假设图片中大部分场景是静态，只有少部分存在运动。这类方法通常先利用输入序列进行图像对齐，来确定哪些像素是静态场景或运动物体，然后将静态场景的像素融合起来生成无鬼影的动态图片。例如，Kang等提出的算法计算连续帧之间的光流，将像素融合生成HDR结果。Reinhard等提出基于辐射图计算方差图，并在不同的曝光图像上进行阈值化以检测运动区域。Jacobs等认为，对于曝光时间，局部熵信息一般变化不显著，基于这个特性提出来阈值化的熵信息图。Grosch则通过输入序列估计误差图并进行阈值处理。Min等提出从图像中计算多级别的阈值图，并比较它们检测运动。此外，Pece和Kautz提出利用中值阈值比特图(median threshold bitmap MTB)算法，将不同颜色值的像素标记为运动区域。Khan等和Pedone等采用核密度估计来计算像素属于运动物体的概率。Sidibe基于静态区域的像素值通常随着曝光时间的增加而增大这一事实，来识别鬼影。Gallo等通过两次曝光内的期望曝光率计算像素值偏差来检测运动信息。Zhang和Cham提出衡量曝光序列的局部梯度的一致性，来计算像素在融 合时的权重。由于这些方法假设运动物体仅出现在场景的少部分区域或在某位置出现的概率小，因此，它们最根本的难题是，无法处理存在大量运动或部分区域变更频繁的场景。为了解决对于大区域运动或较频繁变更的局限，第二类方法尝试在融合生成HDR图像前，先对图像序列按照参考图像进行对齐。Zimmer等考虑到变化的曝光情况，提出了基于能量的光流方法。HaCohen等利用由粗到精的策略，用广义路径匹配计算最近邻域场，与全局非线性参数颜色模型拟合相结合，并利用局部自适应约束来进行一致性匹配区域聚合。Hu等利用HaCohen提出的算法，找参考图像和序列中其他图像的密集相关性，并利用局部单应性校正错误的相关性。Sen等提出了基于子块的优化方法，同时解决了HDR图像和对齐的图像问题。此外，Hu提出基于子块匹配的方法，来处理图像饱和的部分，而Li等提出计算上更高效的基于双向正则化的方法。Zhang等提出了类似衡量曝光序列的局部梯度的一致性的参考指导的方法，将梯度方向的变化作为运动检测的一个线索。然而，这些方法有两个共有的限制。首先，由于它们都通过在像素级最大化与所选的参考图片的相似度来重构HDR图像，因此性能极大的依赖所选参考图像的曝光质量。一般的，参考图像中过曝或欠曝的像素难以匹配，这就导致了在融合过程中，这些位置的像素权重计算不正确。其次，由于不同的曝光时间，在参考图像和序列其他图像之间可能存在很大的像素强度变化，因此难以在输入的图像中检测运动区域。为了克服这两个限制，本专利技术提出了基于直方图归一化与超像素分割的HDR重建方法。
技术实现思路
为解决现有技术存在的不足，本专利技术公开了一种基于直方图归一化与超像素分割的HDR重建算法，本专利技术首先在鬼影检测步骤之前，将参考图像和输入序列中其他图像进行直方图归一化，而不是直接计算输入图像的梯度信息。这使得图像的更多细节能够被保留，尤其是参考图像中过曝和欠曝的区域。此外，过欠曝光带来运动检测的困难也大大的降低。其次，考虑到序列中不同图像相同像素的内部一致性和相同图像邻域像素的外部一致性，本专利技术在超像素级进行鬼影检测建模。本专利技术所提出的方法在移除HDR图像鬼影的前提下，有效的解决了LDR图像对齐和最大化图像细节保留的问题。为实现上述目的，本专利技术的具体方案如下：一种基于直方图归一化与超像素分割的HDR重建算法，包括以下步骤：步骤一：利用直方图归一化算法将选中的参考图像Ir的直方图映射到图像序列的除参考图像之外的其他输入图像Ii上，并分别生成相应的匹配图像步骤二：将匹配图像分别与相对应的输入图像Ii的像素值相减并取绝对值，得到代表运动信息的图像Di；步骤二：通过比较运动信息的图像Di中每个像素点和其临近像素的一致性，将运动信息的图像Di的像素组合成超像素，并采用切割算法来获取图像中运动物体的轮廓，以保证图像融合过程中运动物体的完整性；步骤三：将切割得到的超像素分为两类：静态超像素和动态超像素，并将输入图像Ii和匹配图像在运动信息图像Di的指导下合成中间图像步骤四：基于梯度的图像质量评价系统，计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。进一步的，在静态超像素的区域，中间图像选取输入图像Ii中的像素，动态超像素的区域，选取匹配图像中的像素。进一步的，在步骤一中，将参考图像的直方图映射到图像序列的其他输入图像上时，采用幂函数模型：其中，Ipow为归一化拟合后的图像，Ii为第i幅输入图像，α、β、γ为常数项。进一步的，在步骤一中，在归一化匹配时，匹配的对象设为图像像素的强度值。进一步的，在步骤二中，对匹配图像与其他输入图像Ii作差取绝对值，得到：由于匹配图像曝光程度与输入图像Ii一致，同时匹配图像像素与参考图像Ir一致，因此Di可用来表示两幅图像间的运动信息。进一步的，在步骤二中，超像素分割时，将相同特征的像素点组合为超像素并将超像素作为运动检测的基本单位，首先对运动信息的图像Di进行常规切割，然后通过这些碎片的一系列特征，包括轮廓、形状、阴影和焦点，对这些碎片进行分类和组合，最后切割为多个超像素。进一步的，在步骤三中，只要超像素中有5％的像素点的值超过设定的阈值，就认为整个超像素属于动态超像素，否则属于静态超像素，动态超像素的超像素值为1，静态超像素的超像素值为0，得到一幅以超像素为基本单位的二值图。进一步的，为了保留输入图像Ii中曝光较好的区域同时去除与参考图像Ir不一致的动动态超像素，对二值图中值为1的区域，即动态区域，中间图像选取匹配图像中的像素；二值图中值为0的区域即静态区域，则选取输入图像Ii中的像素。进一步的，为了使匹配图像与输入图像Ii两幅图像的超像素的边界本文档来自技高网...
【技术保护点】
一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，包括以下步骤：步骤一：利用直方图归一化算法将选中的参考图像Ir的直方图映射到图像序列的除参考图像之外的其他输入图像Ii上，并分别生成相应的匹配图像步骤二：将匹配图像分别与相对应的输入图像Ii的像素值相减并取绝对值，得到代表运动信息的图像Di；步骤二：通过比较运动信息的图像Di中每个像素点和其临近像素的一致性，将运动信息的图像Di的像素组合成超像素，并采用切割算法来获取图像中运动物体的轮廓，以保证图像融合过程中运动物体的完整性；步骤三：将切割得到的超像素分为两类：静态超像素和动态超像素，并将输入图像Ii和匹配图像在运动信息图像Di的指导下合成中间图像步骤四：基于梯度的图像质量评价系统，计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。
【技术特征摘要】
1.一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，包括以下步骤：步骤一：利用直方图归一化算法将选中的参考图像Ir的直方图映射到图像序列的除参考图像之外的其他输入图像Ii上，并分别生成相应的匹配图像步骤二：将匹配图像分别与相对应的输入图像Ii的像素值相减并取绝对值，得到代表运动信息的图像Di；步骤二：通过比较运动信息的图像Di中每个像素点和其临近像素的一致性，将运动信息的图像Di的像素组合成超像素，并采用切割算法来获取图像中运动物体的轮廓，以保证图像融合过程中运动物体的完整性；步骤三：将切割得到的超像素分为两类：静态超像素和动态超像素，并将输入图像Ii和匹配图像在运动信息图像Di的指导下合成中间图像步骤四：基于梯度的图像质量评价系统，计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。2.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，在静态超像素的区域，中间图像选取输入图像Ii中的像素，动态超像素的区域，选取匹配图像中的像素。3.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，在步骤一中，将参考图像的直方图映射到图像序列的其他输入图像上时，采用幂函数模型：其中，Ipow为归一化拟合后的图像，Ii为第i幅输入图像，α、β、γ为常数项。4.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，在步骤一中，在归一化匹配时，匹配的对象设为图像像素的强度值。5.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，在步骤二中，对匹配图像与其他输入图像Ii作差取绝对值，得到：由于匹配图像曝光程度与输入图像Ii一致，同时匹配图像像素与参考图像Ir一致，因此Di可用来表示两幅图像间的运动信息。6....
【专利技术属性】
技术研发人员：张伟，胡胜男，刘侃，张伟东，翁健，王浩，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。