一种去除鬼影的高动态图像生成方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种去除鬼影的高动态图像生成方法、装置及存储介质，所述方法包括：将第一欠曝帧和第一过曝帧分别与第一正常帧进行直方图匹配，得到差异区域；对所述差异区域进行鬼影区域检测，获得运动区域；以及从所述第一正常帧、第一欠曝帧和第一过曝帧中，基于信息量最大化，选择参考帧，对所述运动区域进行补偿。本发明专利技术采用了基于MIE的直方图匹配，能在低端平台上部署，也能避免向过曝较多或欠曝较多图像匹配时造成的细节丢失，同时自适应选取参考帧对鬼影区域进行补偿，使鬼影去除效果更好。好。好。

【技术实现步骤摘要】
一种去除鬼影的高动态图像生成方法、装置及存储介质


[0001]本专利技术涉及图像处理
，特别涉及一种去除鬼影的高动态图像生成方法、装置及存储介质。

技术介绍

[0002]随着计算机技术、多媒体技术的发展，人们对数字图像品质的要求日益提升，而高动态范围图像技术的研究，能极大促进数字图像技术朝着更大信息量、更好视觉效果的方向发展。目前高动态范围(High Dynamic Range；HDR)图像技术在消费类电子、遥测遥感、安防监控、数字电视等领域均有着广泛的应用。一般的图像生成和显示设备的动态范围都很小，不能满足高动态范围图像技术的要求。而高端的高动态范围图像生成和显示设备较为昂贵，无法在消费类电子及民用产品上普遍使用。目前，较为经济的解决思路是通过拍摄同一场景多帧不同曝光量的低动态范围图像，这些图像有着真实场景中不同区间的动态范围，通过图像处理算法将多帧图像合成一帧高动态范围图像，使其在一般显示设备上完整显示出来。然而，该方法仅适用于静态场景下拍摄的多帧图像，真实场景中，这种同一场景不同曝光度的图像取自不同的时刻，不可避免会出现运动物体如行人、车辆等，直接对这些图像进行融合就会在最终的图像中出现移动像素的叠加，表现为鬼影，极大的影响图像质量。
[0003]针对鬼影的去除，较多的做法是帧间差分法，先将两幅图像亮度匹配到尽可能一致，最常用的亮度匹配方法就是直方图匹配，然后作差，通过比较这两幅图像灰度值之间的差异找出鬼影区域。这种方法对两幅图像的亮度匹配要求较高，直方图匹配会改变图像动态范围，丢失图像细节，且逐像素的比较会带来较大的噪声。例如CN110619652B公布的一种基于光流映射重复区域检测的图像配准鬼影消除方法，其先用光流配准确定疑似鬼影区域，再根据非参考帧和参考帧的像素值差异设定阈值得到鬼影区域，其本质也是帧间差分法。
[0004]另外就是梯度法，逐像素的比较梯度也会带来较大噪声。还有一类是光流法，通过查找两幅图像之间的光流，得到运动区域。但光流法对亮度要求也较高，且稠密光流的计算量高不适用于实时性，而稀疏光流恐无法完整找到运动区域。近年，基于深度学习的去鬼影高动态图像生成方法较多，且效果很好，如CN115018733A提出的一种基于生成对抗网络的高动态范围成像及鬼影去除方法，但基于深度学习的方法计算复杂度较高，部署时对硬件要求较高，不适合在低端性能的平台上使用。

技术实现思路

[0005]本专利技术的目的在于提供一种去除鬼影的高动态图像生成方法、装置及存储介质，其能在低端平台上部署，同时鬼影去除效果更好。
[0006]本专利技术首先一种去除鬼影的高动态图像生成方法，包括：获取原始图像，所述原始图像包括第一正常帧、第一欠曝帧和第一过曝帧，所述第一正常帧与所述第一欠曝帧和第
一过曝帧的曝光程度不同；将所述第一欠曝帧和第一过曝帧分别与所述第一正常帧进行直方图匹配，得到差异区域；对所述差异区域进行鬼影区域检测，获得运动区域；以及从所述第一正常帧、第一欠曝帧和第一过曝帧中，基于信息量最大化，选择参考帧，对所述运动区域进行补偿。
[0007]进一步，所述将所述第一欠曝帧和第一过曝帧分别与所述第一正常帧进行直方图匹配，得到差异区域的步骤，包括：将第一欠曝帧和第一正常帧做MIE直方图匹配，得到第二欠曝帧和第二正常帧；将第一正常帧和第一过曝帧做MIE直方图匹配，得到第三正常帧和第二过曝帧；将第二欠曝帧和第二正常帧做基于结构的SSIM的鬼影检测，得到鬼影区域的第一掩膜图像；将第三正常帧和第二过曝帧做基于结构的SSIM的鬼影检测，得到鬼影区域的第二掩膜图像。
[0008]进一步，所述对所述差异区域进行鬼影区域检测，获得运动区域的步骤，包括：将第一掩膜图像和第二掩膜图像做并集，得到合并后的鬼影区域的第三掩膜图像；处理鬼影区域的第三掩膜图像，去掉噪声阈值小于第一阈值的噪声区域，得到鬼影区域的第四掩膜图像。
[0009]进一步，所述基于信息量最大化选择鬼影区域的补偿帧，针对不同的鬼影补偿帧采用不同的权重进行融合的步骤，包括：从所述第一欠曝帧、第一正常帧和第一过曝帧中，基于信息量最大化，选择用于鬼影区域补偿的参考帧；根据所述参考帧，对所述第四掩膜图像进行区域补偿，获得修复视频帧。
[0010]进一步，所述将第一欠曝帧和第一正常帧做MIE直方图匹配，得到第二欠曝帧和第二正常帧的步骤，包括：计算第一欠曝帧的累积直方图和第一正常帧的累积直方图，根据所述第一欠曝帧的累积直方图和第一正常帧的累积直方图计算第一欠曝帧和第一正常帧的中值直方图，所述中值直方图为第一欠曝帧的累积直方图和第一正常帧的累积直方图的调和平均数；对第一欠曝帧和第一正常帧进行直方图匹配，获得第二欠曝帧和第二正常帧，所述第二欠曝帧和第二正常帧具有相同的中值直方图分布。
[0011]进一步，所述将第二欠曝帧和第二正常帧做基于结构的SSIM的鬼影检测，得到鬼影区域的第一掩膜图像的步骤，包括：获取第二欠曝帧的第一像素点与第二正常帧的第二像素点的SSIM值，所述第二像素点与所述第一像素点对应；将所述SSIM值与第二阈值比较，获得比较结果；根据所述比较结果，得到第一掩膜图像。
[0012]进一步，所述获取第二欠曝帧的第一像素点与第二正常帧的第二像素点的SSIM值的步骤，包括：根据第二欠曝帧的第一像素点与第二正常帧的第二像素点的结构，获得所述SSIM值。
[0013]进一步，所述基于信息量最大化，选择参考帧，对所述运动区域进行补偿的步骤，包括以下方式中的一个：分别计算第一欠曝帧、第一正常帧和第一过曝帧的金字塔融合权重，取第四鬼影区域中金字塔融合权重最高的那帧，作为参考帧；分别计算第一欠曝帧、第一正常帧和第一过曝帧的金字塔融合权重，统计第四鬼影区域中融合权重小于第三阈值的像素数，取像素数最少的那帧作为对鬼影区域进行补偿的参考帧，其中，融合权重小于第三阈值的像素表示信息量很少的像素，信息量少于一定的阈值；分别统计第四鬼影区域中第一欠曝帧、第一正常帧和第一过曝帧图像的像素值小于第四阈值或大于第五阈值的像素数，取像素数最少的那帧作为对鬼影区域进行补偿的参考帧，其中，像素值小于第四阈值表
示极其暗的像素值，像素值大于第五阈值表示过曝的像素值。
[0014]进一步，所述对所述运动区域进行补偿步骤，包括：分别计算第一欠曝帧、第一正常帧、第一过曝帧的金字塔融合权重图像W1,W2,W3，并根据W1,W2,W3得到第四掩膜图像的金字塔融合权重m4；若鬼影区域补偿的参考帧为第一欠曝帧，则：对第一欠曝帧提亮，得到第三欠曝帧；根据所述W1和m4，获取所述第一欠曝帧的融合权重W14；根据所述W2和m4，获取所述第一正常帧的融合权重W15；根据所述W3和m4，获取所述第一过曝帧的融合权重W16；根据所述m4，获取所述第三欠曝帧的融合权重W17；若鬼影区域补偿的参考帧为第一过曝帧，则：对第一过曝帧向第一正常帧做直方图匹配得到第三过曝帧；根据所述W1和m4，获取所述第一欠曝帧的融合权重W24；根据所述W2和m4，获取所述第一正常帧的融合权重W25；根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去除鬼影的高动态图像生成方法，其特征在于，包括：获取原始图像，所述原始图像包括第一正常帧、第一欠曝帧和第一过曝帧，所述第一正常帧与所述第一欠曝帧和第一过曝帧的曝光程度不同；将所述第一欠曝帧和第一过曝帧分别与所述第一正常帧进行直方图匹配，得到差异区域；对所述差异区域进行鬼影区域检测，获得运动区域；以及从所述第一正常帧、第一欠曝帧和第一过曝帧中，基于信息量最大化，选择参考帧，对所述运动区域进行补偿。2.根据权利要求1所述的去除鬼影的高动态图像生成方法，其特征在于：所述将所述第一欠曝帧和第一过曝帧分别与所述第一正常帧进行直方图匹配，得到差异区域的步骤，包括：将第一欠曝帧和第一正常帧做MIE直方图匹配，得到第二欠曝帧和第二正常帧；将第一正常帧和第一过曝帧做MIE直方图匹配，得到第三正常帧和第二过曝帧；将第二欠曝帧和第二正常帧做基于结构的SSIM的鬼影检测，得到鬼影区域的第一掩膜图像；将第三正常帧和第二过曝帧做基于结构的SSIM的鬼影检测，得到鬼影区域的第二掩膜图像。3.根据权利要求2所述的去除鬼影的高动态图像生成方法，其特征在于：所述对所述差异区域进行鬼影区域检测，获得运动区域的步骤，包括：将第一掩膜图像和第二掩膜图像做并集，得到合并后的鬼影区域的第三掩膜图像；处理鬼影区域的第三掩膜图像，去掉噪声阈值小于第一阈值的噪声区域，得到鬼影区域的第四掩膜图像。4.根据权利要求3所述的去除鬼影的高动态图像生成方法，其特征在于，所述基于信息量最大化，选择参考帧，对所述运动区域进行补偿的步骤，包括：从所述第一欠曝帧、第一正常帧和第一过曝帧中，基于信息量最大化，选择用于鬼影区域补偿的参考帧；根据所述参考帧，对所述第四掩膜图像进行区域补偿，获得修复视频帧。5.根据权利要求2所述的去除鬼影的高动态图像生成方法，其特征在于，所述将第一欠曝帧和第一正常帧做MIE直方图匹配，得到第二欠曝帧和第二正常帧的步骤，包括：计算第一欠曝帧的累积直方图和第一正常帧的累积直方图，根据所述第一欠曝帧的累积直方图和第一正常帧的累积直方图计算第一欠曝帧和第一正常帧的中值直方图，所述中值直方图为第一欠曝帧的累积直方图和第一正常帧的累积直方图的调和平均数；对第一欠曝帧和第一正常帧进行直方图匹配，获得第二欠曝帧和第二正常帧，所述第二欠曝帧和第二正常帧具有相同的中值直方图分布。6.根据权利要求2所述的去除鬼影的高动态图像生成方法，其特征在于，所述将第二欠曝帧和第二正常帧做基于结构的SSIM的鬼影检测，得到鬼影区域的第一掩膜图像的步骤，包括：获取第二欠曝帧的第一像素点与第二正常帧的第二像素点的SSIM值，所述第二像素点与所述第一像素点对应；将所述SSIM值与第二阈值比较，获得比较结果；
根据所述比较结果，得到第一掩膜图像。7.根据权利要求6所述的去除鬼影的高动态图像生成方法，其特征在于，所述获取第二欠曝帧的第一像素点与第二正常帧的第二像素点的SSIM值的步骤，包括：根据第二欠曝帧的第一像素点与第二正常帧的第二像素点的结构，获得所述SSIM值。8.根据权利要求3所述的去除鬼影的高动态图像生成方法，其特征在于，所述基于信息量最大化，选择参考帧，对所述运动区域进行补偿的步骤，包括以下方式中的一个：分别计算第一欠曝帧、第一正常帧和第一过曝帧的金字塔融合权重，取第四鬼影区域中金字塔融合权重最高的那帧，作为...

【专利技术属性】
技术研发人员：董晓霞，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：