基于边缘检测和帧差法的高动态范围视频去鬼影的方法技术

本发明专利技术提供一种基于边缘检测和帧差法的高动态范围视频去鬼影的方法，对相互交错的具有相同曝光率的图像进行基于图像配准的边缘检测。在图像配准之后，运动检测方法可以获得更好的精确度。使用基于运动检测的帧差法来减小计算复杂度，最后使用权重图在一些极端边界位置进行调整来消除一些不好的特殊值。在一些边界位置，传统曝光融合方法的权重可能会是0，而与它相邻的位置的权重则不是0，这些差别会使最后的高动态范围视频在一些地方变得不精确。而本发明专利技术添加了一个偏移量后，权重值的变化会更加平滑。

【技术实现步骤摘要】

本专利技术属于计算机图像领域，具体涉及一种基于边缘检测和帧差法的高动态范围视频去鬼影的方法。
技术介绍
高动态范围是一种显示真实场景的有效方法。比起传统的照片拍摄，高动态范围可以有效避免过度曝光或曝光不足的问题，使图像更自然生动，更接近人眼捕捉到的场景。虽然高动态范围被人们广泛接受，但对于大多数相机设备来说，高动态范围视频仍然是一个挑战，因为它面临着设备存储的限制和生成方法方面的问题。研究人员在这方面已经做了大量的工作。一些研究人员以硬件的方法来解决问题，这可以在相同的时间内获得多重曝光的图像，并且在不添加任何步骤的前提下合成每一个高动态范围帧。然而，这种方法太依赖硬件的性能和相机特制的结构，对于大部分日常使用的相机来说并不具有很高的实用性。其他的一些研究人则专注于使用软件的方法来合成高动态范围图像，这样会遇到图像配准和移除鬼影的问题。一台普通的相机无法在相同的视角、相同的时间拍摄曝光不同的图像，所以帧间的物体运动就无法避免。因此软件的方法需要做一些后期的处理。传统的高动态范围合成技术需要建立不同曝光下临近的帧之间的关系，这通常得不到精确的结果，并且在一些特例条件下有可能失败。
技术实现思路
本专利技术要解决的问题是：提供一种基于边缘检测和帧差法的高动态范围视频去鬼影的方法，在高动态范围视频合成中，传统的方法往往会产生鬼影，无法得到精确的、高质量的结果。而我们对于高动态范围视频合成的结果的需求是比较高的，本专利技术就是来解决在高动态范围视频合成中消除鬼影，得到高质量的图像结果。本专利技术的技术解决方案为：对相互交错的具有相同曝光率的图像进行基于图像配准的边缘检测。在图像配准之后，运动检测方法可以获得更好的精确度。使用基于运动检测的帧差法来减小计算复杂度，最后使用权重图在一些极端边界位置进行调整来消除一些不好的特殊值。在一些边界位置，传统曝光融合方法的权重可能会是0，而与它相邻的位置的权重则不 是0，这些差别会使最后的高动态范围视频在一些地方变得不精确。而本专利技术添加了一个偏移量后，权重值的变化会更加平滑。基于边缘检测和帧差法的高动态范围视频区去鬼影的方法，具体包括以下步骤：1)鬼影检测：即利用图像配准检测相邻帧运动区域；由于在具有相同曝光率图像中的物体的轮廓边缘是相似的，利用边缘检测的方法把图像映射为二元图像，并使用Canny边缘算子来生成边缘位图，使得不同分辨率下的错误像素被检测出来，得到图像配准后的相邻帧运动区域；因为帧之间的运动非常小，所以相邻帧的运动可以通过上述方法检测出来。这样可以使算法不受到图片曝光的影响，得到较好的结果。2)鬼影移除：采用基于运动区域检测的帧差法；具体如下：图像配准之后，鬼影的移除能够通过检测物体运动来实现；首先选择一个曝光点作为参考，其他曝光的位置结合参考曝光点来检测运动，通过检测的结果，对每一帧，能够产生一个二元权重位图；对于参考曝光点的图像，所有的区域都会与最后的结果相关联，而对于其他图像，运动的区域将会被忽略；在本专利技术中，跳过了映射和直接比较同一曝光的图像两个阶段，通过帧差法，可以检测到每一帧的运动区域。3)高动态范围生成：采用基于权重调整的曝光融合方法；即在传统的曝光融合方法的计算中添加了一个偏移值Δt，能够避免在边界值的曝光融合中产生的权重为零；使得最后得到的高动态范围视频无斑点。进一步的，所述在传统的曝光融合方法的计算中添加了一个偏移值Δt，能够避免在边界值的曝光融合中产生的权重为零，具体如下： WM u v k = BM k * Π i = 1 3 ( M i + Δ t ) ]]>其中，为权重，Mi表示三种不同像素的度量值，分别是对比(Contrast)、饱和(Saturation)h和暴露(Well-exposedness)。把Δt加到每个度量值上，能够避免权重变为零，BMk代表了权重位图，在非参考图像上，运动区域上的值取为0，非运动区域上的值取为1。进一步的，步骤3)所述曝光融合方法是通过图像金字塔和多种度量把不同曝光的图像融合成为最后的结果。进一步的，使用Canny边缘算子来生成边缘位图，具体如下： Δx i , Δy i = m i n ( EI i e , EI i r ) - - - ( 1 ) ]]> i m s h i f t ( EI e ) = ( Σ i = 0 n Δx i , Σ i = 0 n Δy i ) - - - ( 2 ) ]]>其中：公式(1)中，EIe和EIr分别表示了参考图像的边缘检测结果和曝光率为e的图像的边缘检测结果；Δxi和Δyi是-1,0或1，表示每个分辨率下不同方向的偏移量，由EIe和EIr的最小误匹像素数决定；公式(2)中，排列的偏移量是由Δxi和Δyi的和得到的。有益效果：在一些传统的方法中，基于相同场景的不同曝光的帧的中值是不可区分的，通过使用从相同曝光的帧中获得的信息来排列图像，可以对不同方向上错误匹配的像素进行计数，选择错误最少的。然而这样可能会在一些太亮或太暗的极端像素点上失效。本专利技术中，则是利用了相同曝光的临近的帧，这样可以有效避免以上错误。其次在帧差法的应用中，得到令人满意的结果是比较困难的，第一个原因，是帧差通常是由每帧的运动域组成的，区分运动是属于哪一帧是比较困难的；第二个原因就是噪声的影响。对于第一个问题，解决方案是标记可能的错误检测的区域，通常是过度曝光或曝光不足的区域，然后使用图像修复的技术解决阻塞的问题；对于第二个问题，一些形态学的方法可以移除噪声影响。附图说明图1为整个方法的具体流程；本文档来自技高网...

【技术保护点】
基于边缘检测和帧差法的高动态范围视频区去鬼影的方法，其特征在于：具体包括以下步骤：1)鬼影检测：即利用图像配准检测相邻帧运动区域；由于在具有相同曝光率图像中的物体的轮廓边缘是相似的，利用边缘检测的方法把图像映射为二元图像，并使用Canny边缘算子来生成边缘位图，使得不同分辨率下的错误像素被检测出来，得到图像配准后的相邻帧运动区域；2)鬼影移除：采用基于运动区域检测的帧差法；具体如下：图像配准之后，鬼影的移除能够通过检测物体运动来实现；首先选择一个曝光点作为参考，其他曝光的位置结合参考曝光点来检测运动，通过检测的结果，对每一帧，能够产生一个二元权重位图；对于参考曝光点的图像，所有的区域都会与最后的结果相关联，而对于其他图像，运动的区域将会被忽略；3)高动态范围生成：采用基于权重调整的曝光融合方法；即在传统的曝光融合方法的计算中添加了一个偏移值Δt，能够避免在边界值的曝光融合中产生的权重为零；使得最后得到的高动态范围视频无斑点。

【技术特征摘要】
1.基于边缘检测和帧差法的高动态范围视频区去鬼影的方法，其特征在于：具体包括以下步骤：1)鬼影检测：即利用图像配准检测相邻帧运动区域；由于在具有相同曝光率图像中的物体的轮廓边缘是相似的，利用边缘检测的方法把图像映射为二元图像，并使用Canny边缘算子来生成边缘位图，使得不同分辨率下的错误像素被检测出来，得到图像配准后的相邻帧运动区域；2)鬼影移除：采用基于运动区域检测的帧差法；具体如下：图像配准之后，鬼影的移除能够通过检测物体运动来实现；首先选择一个曝光点作为参考，其他曝光的位置结合参考曝光点来检测运动，通过检测的结果，对每一帧，能够产生一个二元权重位图；对于参考曝光点的图像，所有的区域都会与最后的结果相关联，而对于其他图像，运动的区域将会被忽略；3)高动态范围生成：采用基于权重调整的曝光融合方法；即在传统的曝光融合方法的计算中添加了一个偏移值Δt，能够避免在边界值的曝光融合中产生的权重为零；使得最后得到的高动态范围视频无斑点。2.根据权利要求1所述的基于边缘检测和帧差法的高动态范围视频区去鬼影的方法，其特征在于：所述在传统的曝光融合方法的计算中添加了一个偏移值Δt，能够避免在边界值的曝光融合中产生的权重为零，具体如下： WM u v k = BM k * Π i = 1 3 ( M i + Δ t ) ]]>其中，为权重，Mi表示三种不同像素的度量值，分别是对比、饱和和暴露；把Δt加到每个度量值上，能够避免权重变为零，BMk代表了权重位图，在非参考图像上，运动区域上的值取为0，非运动区域上的值取为1。3.根据权利要求1或2所述的基于边缘检测和帧差法的高动态范围视频区去鬼影的方法，其特征在于：...

【专利技术属性】
技术研发人员：刘钦，王豪，宋强，王子杰，苏子权，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32