一种宽动态图像合成方法技术

本发明专利技术公开了一种宽动态图像合成方法，首先根据宽动态场景的单帧图像进行曝光选择，获取待合成曝光图像，对获取的待合成曝光图像进行区域分割，对分割后的每个区域块计算其对应的运动矢量，以频数最多的运动矢量作为帧运动配准的运动矢量，进行帧运动配准；通过对待合成曝光图像的辐照图进行MTM分级，然后通过辐照图的差值求出运动图像，对待合成曝光图像中的物体运动进行配准；最后对配准后的待合成曝光图像进行图像融合得到最终的输出宽动态图像。本发明专利技术的宽动态图像合成方法能够有效的消除相机抖动以及物体运动造成的拖影、鬼影、重影等画面模糊的情况，计算量适中，合成的图像效果好。

【技术实现步骤摘要】

本专利技术属于图像处理
，尤其涉及一种宽动态图像合成方法。
技术介绍
动态范围是指给定场景中最亮区域与最暗区域的光照强度差异，目前广泛应用的传统数字图像所能表示的动态范围是非常有限的，这使得场景中的高亮区域由于曝光过度丢失了细节，而黑暗区域由于曝光不足，细节信息也有丢失。对于室内那些明暗反差很大的场景，传统的网络摄像机IPC受CCD或CMOS感光特性所限，亮区和暗区的细节均难以保持，严重影响图像质量。因此需要获取一组不同曝光度的图像，再通过图像融合对这组图像进行多帧宽动态合成，使最终呈现的图像亮区和暗区细节均能得到体现。在许多理论研究中，对静态图像仅仅有好的曝光结果和融合算法就能得到好的宽动态图像了，但是在实际监控应用中，更多的是要观察存在运动物体的场景，并且相机装在室外时，受到风力、震动影响，不可避免的会发生抖动。无论是相机抖动造成的画面整体运动，还是场景中存在运动物体，如果不进行特殊的伪影去除操作，所观察到的景象将是充满拖影、重影、鬼影等，边缘和细节模糊不清。现有技术中，对于相机抖动造成画面整体运动，通常采用基于MTB的图像配准算法，一般是对两幅长、短曝光图像直接二值化，计算位移结果，或者进行金字塔分解后，再计算位移结果。但是无论是否使用金字塔分解，都存在以下几个问题：(1)如果曝光场景的中值附近像素所占比例较大时，差异评价相当不稳定，非常容易导致配准结果错误；(2)更为重要的是，该方法受到运动物体的影响，如果画面中存在运动物体，很容易导致判断结果错误。而宽动态图像合成过程中的伪影去除方案有很多，主要差别在于运动检测方法的不同和运动部分伪影消除方式的不同，运动检测方法有基于方差、块匹配、MTB等许多方法。但是现有方法存在的主要问题有：运动物体的伪影去除不够彻底；运动物体与静止背景的融合性不够好，拼接效果明显；用到了迭代过程，运算量大，不适合视频监控实时处理的需求。
技术实现思路
本专利技术的目的是提供一种宽动态图像合成方法，用于宽动态场景下多帧待合成曝光图像的合成，可以有效避免相机抖动，以及场景中存在运动物体造成的拖影、重影、鬼影等画面模糊的情况。为了实现上述目的，本专利技术技术方案如下：一种宽动态图像合成方法，用于对图像采集设备获取的当前宽动态场景的至少两帧待合成曝光图像进行合成，该方法包括步骤：对于获取的待合成曝光图像，选取其中一帧为参考图像，其他帧为待配准图像，将每一帧待合成曝光图像进行区域分割，对于每一帧待配准图像，对分割后的每个区域块计算其对应于参考图像的运动矢量，以频数最多的运动矢量作为帧运动配准的运动矢量，对该待配准图像进行帧运动配准；对于帧运动配准后的待合成曝光图像重建其辐照图，对重建的辐照图进行分级得到各自的多门限图，计算两两待合成曝光图像多门限图的差值得到运动图像，将得到的运动图像进行或运算得到最终的运动图像，利用得到的最终运动图像提取每帧待合成曝光图像的运动区域，对运动区域计算信息熵，选择信息熵最大的一帧待合成曝光图像作为参考图像，其他的帧作为待配准图像，将参考图像的运动区域匹配到待配准图像的运动区域，进行物体运动配准；对配准后的待合成曝光图像进行图像融合得到最终的输出宽动态图像。由于图像中的伪影是由于图像中物体运动和相机抖动造成的，为了去除伪影，如果先进行物体运动配准，再进行帧运动配准容易造成帧配准过度，还需要进行回调，操作较为麻烦。本专利技术首先进行帧运动配准，然后再进行物体运动配准，无论运动物体的大小，都可以很好的去除相机抖动和物体运动造成的伪影。进一步地，所述方法在获取待合成曝光图像时，还包括曝光选择步骤，所述曝光选择方法包括步骤：对判断为宽动态场景的单帧图像的像素点按照像素值的大小顺序均分为至少两级；选择其中的至少两级对应的像素点作为曝光对象，分别进行自动曝光，得到至少两帧待合成曝光图像。本专利技术方法中，所述对分割后的每个区域块计算其对应于参考图像的运动矢量，包括步骤：步骤1.1)、对分割的每个区域块分别求MTB二值图像；MTB(x,y)=0,Z(x,y)≤Zmed1,Z(x,y)>Zmed]]>其中，MTB(x，y)为像素点(x，y)的MTB值，(x，y)表示区域块内的像素坐标，Z(x，y)为该像素点的灰度值，Zmed为该区域块的中值像素灰度值；步骤1.2)、对每一帧待配准图像，按照如下公式计算每个区域块对应于参考图像的评估值EV(u，v)：EV(u,v)=Σx,y[MTB(x,y)xorMTB′(x+u,y+v)],]]>其中，(u，v)表示区域块的位移矢量，MTB'(x+u，y+v)表示待配准图像区域块中像素点(x+u，y+v)对应的MTB值，MTB(x，y)表示参考图像中对应像素点(x，y)的MTB值，xor为异或运算；步骤1.3)、根据评估值，按照如下公式计算每个区域块的运动矢量(U，V)：(U，V)＝(u，v)|min[EV(u,v)，(u,v)∈[-r,+r]，其中，r为图像采集设备在水平和垂直方向单侧可能运动的最大位移量。进一步地，所述以频数最多的运动矢量作为帧运动配准的运动矢量，对该待配准图像进行帧运动配准，包括步骤：对于每一帧待配准图像，统计其每个区域块的运动矢量，以频数最多的运动矢量作为该帧待配准图像的运动矢量；将待配准图像向参考图像方向平移其运动矢量对应的像素。本专利技术的方法中，所述计算两两待合成曝光图像多门限图的差值得到运动图像，包括步骤：步骤2.1)、对重建得到的两幅辐照图E1和E2，分别统计得到直方图Histo1和Histo2；步骤2.2)、将Histo1和Histo2等分成K部分；步骤2.3)、对Histo1和Histo2等分后的各段分别赋值，得到两幅多门限图；步骤2.4)、对两幅多门限图求差值，得到运动图像M；步骤2.5)、对运动图像M做形态学运算，以去除多余杂点和空洞。本专利技术的方法中，所述利用得到的最终运动图像提取每帧待合成曝光图像的运动区域，对运动区域计算信息熵，具体包括步骤：步骤3.1)、按照如下公式提取每帧待合成曝光图像的运动区域：M′＝E·Me其中，M′为该待合成曝光图像的运动区域，E为该待合成曝光图像的辐照图，Me为最终的运动图像；步骤3.2)、统计各帧待合成曝光图像的运动区域的直方图，按照如下公式计算各帧待本文档来自技高网...

【技术保护点】
一种宽动态图像合成方法，用于对图像采集设备获取的当前宽动态场景的至少两帧待合成曝光图像进行合成，其特征在于，该方法包括步骤：对于获取的待合成曝光图像，选取其中一帧为参考图像，其他帧为待配准图像，将每一帧待合成曝光图像进行区域分割，对于每一帧待配准图像，对分割后的每个区域块计算其对应于参考图像的运动矢量，以频数最多的运动矢量作为帧运动配准的运动矢量，对该待配准图像进行帧运动配准；对于帧运动配准后的待合成曝光图像重建其辐照图，对重建的辐照图进行分级得到各自的多门限图，计算两两待合成曝光图像多门限图的差值得到运动图像，将得到的运动图像进行或运算得到最终的运动图像，利用得到的最终运动图像提取每帧待合成曝光图像的运动区域，对运动区域计算信息熵，选择信息熵最大的一帧待合成曝光图像作为参考图像，其他的帧作为待配准图像，将参考图像的运动区域匹配到待配准图像的运动区域，进行物体运动配准；对配准后的待合成曝光图像进行图像融合得到最终的输出宽动态图像。

【技术特征摘要】
1.一种宽动态图像合成方法，用于对图像采集设备获取的当前宽动
态场景的至少两帧待合成曝光图像进行合成，其特征在于，该方法包括步
骤：
对于获取的待合成曝光图像，选取其中一帧为参考图像，其他帧为待
配准图像，将每一帧待合成曝光图像进行区域分割，对于每一帧待配准图
像，对分割后的每个区域块计算其对应于参考图像的运动矢量，以频数最
多的运动矢量作为帧运动配准的运动矢量，对该待配准图像进行帧运动配
准；
对于帧运动配准后的待合成曝光图像重建其辐照图，对重建的辐照图
进行分级得到各自的多门限图，计算两两待合成曝光图像多门限图的差值
得到运动图像，将得到的运动图像进行或运算得到最终的运动图像，利用
得到的最终运动图像提取每帧待合成曝光图像的运动区域，对运动区域计
算信息熵，选择信息熵最大的一帧待合成曝光图像作为参考图像，其他的
帧作为待配准图像，将参考图像的运动区域匹配到待配准图像的运动区
域，进行物体运动配准；
对配准后的待合成曝光图像进行图像融合得到最终的输出宽动态图
像。
2.根据权利要求1所述的宽动态图像合成方法，其特征在于，所述
方法在获取待合成曝光图像时，还包括曝光选择步骤，所述曝光选择包括
步骤：
对判断为宽动态场景的单帧图像的像素点按照像素值的大小顺序均
分为至少两级；
选择其中的至少两级对应的像素点作为曝光对象，分别进行自动曝
光，得到至少两帧待合成曝光图像。
3.根据权利要求1所述的宽动态图像合成方法，其特征在于，所述
对分割后的每个区域块计算其对应于参考图像的运动矢量，包括步骤：
步骤1.1)、对分割的每个区域块分别求MTB二值图像；
MTB(x,y)=0,Z(x,y)≤Zmed1,Z(x,y)>Zmed]]>其中，MTB(x，y)为像素点(x，y)的MTB值，(x，y)表示区域
块内的像素坐标，Z(x，y)为该像素点的灰度值，Zmed为该区域块的中
值像素灰度值；
步骤1.2)、对每一帧待配准图像，按照如下公式计算每个区域块对应
于参考图像的评估值EV(u，v)：
EV(u,v)=Σx,y[MTB(x,y)xorMTB′(x+u,y+v)],]]>其中，(u，v)表示区域块的位移矢量，MTB'(x+u，y+v)表示待配准图
像区域块中像素点(x+u，y+v)对应的MTB值，MTB(x，y)表示参考图像
中对应像素点(x，y)的MTB值，xor为异或运算；
步骤1.3)、根据评估值，按照如下公式计算每个区域块的运动矢量
(U，V)：
(U，V)＝(u，v)|min[EV(u,v)，(u,v)∈[-r,+r]，
其中，r为图像采集设备在水平和垂直方向单侧可能运动的最大位移
量。
4.根据权利要求3所述的宽动态图像合成方法，其特征在于，所述
以频数最多的运动矢量作为帧运动配准的运动矢量，对该待配准图像进行
帧运动配准，包括步骤：
对于每一帧待配准图像，统计其每个区域块的运动矢量，以频数最多
的运动矢量作为该帧待配准图像的运动矢量；
将待配准图像向参考图像方向平移其运动矢量对应的像素。
5.根据权利要求1所述的...

【专利技术属性】
技术研发人员：李婵，朱旭东，王智玉，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33