图像鬼影剔除方法及装置、存储介质、终端制造方法及图纸

一种图像鬼影剔除方法及装置、存储介质、终端，图像鬼影剔除方法包括：在针对同一目标物体拍摄的多张图像中确定参考图像；对所述参考图像以及待处理图像进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像，以及所述待处理图像在多个分辨率上的多层第二分解图像；至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；根据各层对应的鬼影映射矩阵、各个第一分解图像以及各个第二分解图像对每个待处理图像中的鬼影进行剔除。本发明专利技术技术方案能够提升鬼影剔除的有效性。

Method, device, storage medium and terminal of image ghost elimination

【技术实现步骤摘要】
图像鬼影剔除方法及装置、存储介质、终端
本专利技术涉及图像处理
，尤其涉及一种图像鬼影剔除方法及装置、存储介质、终端。
技术介绍
为生成接近人眼视觉效果的高动态范围图像，各种高动态范围(highdynamicrange,HDR)技术被广泛采用。其中，基于多帧等曝光连拍图像的HDR合成技术以其更为简化的实现过程及良好的实验效果在手机相机(Camera)HDR成像中的应用受到广泛关注。由一组连续拍摄的等曝光欠曝图像合成一帧HDR图像，合成后的图像具有比单帧图像更高的动态范围，同时能够在合成中利用多帧图像去噪，尤其是降低图像暗光部分噪声。由于合成图像是融合多张连续拍摄图像，因此当拍摄画面中存在局部运动或者变化时，合成图像中往往存在鬼影。鬼影是影响图像质量的一个关键因素。利用多帧等曝光图像合成HDR图像，算法设计需要考虑有效去除鬼影同时保留更多的原始图像噪声信息用于去噪。然而由于图像噪声水平因亮度变化存在较大差异，且暗光下与背景差异较小的鬼影与噪声很难区分，因此在合成图像中会引起两种现象：1.噪声被过度保留而引起鬼影残留；2.鬼影与噪声都被剔除使合成图像噪声偏大。为确保图像质量，多帧图像的合成算法如何兼顾去鬼影与去噪就变得十分重要。现有技术中，用于消除合成HDR图像中的鬼影的一种简单方法是基于单层图像的处理，可分为基于点及基于块的方法。这些方法的优势在于算法设计简明，计算量小，效率高。但是，该技术应用的方法在消除部分鬼影的同时，会引入不正常的色彩变异，或者仍会有明显的鬼影残留；且在欠曝场景下，此类方法不易区别暗处不十分明显的鬼影与噪声；且基于块的方法容易导致合成后图像噪声水平不同呈块状分布，引起噪声分层，小尺寸的鬼影也会因占比低而被当成噪声保留下来。
技术实现思路
本专利技术解决的技术问题是如何提升鬼影剔除的有效性。为解决上述技术问题，本专利技术实施例提供一种图像鬼影剔除方法，图像鬼影剔除方法包括：在针对同一目标物体拍摄的多张图像中确定参考图像，所述多张图像是在等曝光条件下连续拍摄得到的，所述参考图像的清晰度最高；对所述参考图像进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像；对于每帧待处理图像，对所述待处理图像进行分解，以得到所述待处理图像在多个分辨率上的多层第二分解图像；对于每帧待处理图像，至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；对于每帧待处理图像，结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除。可选的，所述至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵包括：按照分辨率从低到高的顺序，计算当前层第一分解图像与第二分解图像在对应像素位置的像素差的绝对值，以得到像素差矩阵；将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵，所述子映射矩阵与所述当前层相对应，所述子映射矩阵为权值矩阵；将所述当前层的上一层对应的鬼影映射矩阵进行上采样，以使得上采样后的所述当前层的上一层对应的子映射矩阵与所述当前层对应的子映射矩阵具备相同尺寸；将上采样后的所述当前层的上一层对应的子映射矩阵中的各个数值与所述当前层对应的子映射矩阵中的各个数值进行对比运算，以得到所述当前层对应的鬼影映射矩阵。可选的，所述预设阈值包括第一阈值和第二阈值，所述第一阈值大于所述第二阈值，所述将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵包括：如果像素位置的像素差大于所述第一阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为1；如果所述像素位置的像素差小于所述第二阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为0；如果所述像素位置的像素差小于所述第一阈值且大于所述第二阈值，则计算所述像素位置的像素差与所述第二阈值的差值以及所述第一阈值与所述第二阈值的差值的比值，以作为所述当前层对应的子映射矩阵中所述像素位置处的数值。可选的，所述预设阈值包括多组第一阈值和第二阈值，各组第一阈值和第二阈值与亮度范围一一对应，每组第一阈值和第二阈值的大小随所述亮度范围的变化而变化，所述第一阈值大于所述第二阈值，所述将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵包括：计算所述第二分解图像在所述当前层的像素位置处的亮度值，并根据所述亮度值确定第一阈值和第二阈值；如果像素位置的像素差大于所述第一阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为1；如果所述像素位置的像素差小于所述第二阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为0；如果所述像素位置的像素差小于所述第一阈值且大于所述第二阈值，则计算所述像素位置的像素差与所述第二阈值的差值以及所述第一阈值与所述第二阈值的差值的比值，以作为所述当前层对应的子映射矩阵中所述像素位置处的数值。可选的，所述结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除包括：对于具备最低分辨率的层数，根据具备最低分辨率的层数对应的鬼影映射矩阵对所述具备最低分辨率的层数对应的第一分解图像和第二分解图像进行加权融合，以得到所述具备最低分辨率的层数对应的剔除图像；按照分辨率从低到高的顺序，将当前层的上一层对应的剔除图像进行上采样，以使得上采样后的所述当前层的上一层对应的剔除图像具备所述当前层对应的分辨率；按照分辨率从低到高的顺序，计算所述上采样后的所述当前层的上一层对应的剔除图像与所述当前层的第二分解图像之和，以得到当前层对应的融合图像；按照分辨率从低到高的顺序，根据所述当前层对应的鬼影映射矩阵对所述当前层对应的第一分解图像以及所述当前层对应的融合图像进行加权融合，得到所述当前层对应的剔除图像，直至确定具备最高分辨率的层数对应的剔除图像。可选的，所述至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵包括：按照分辨率从低到高的顺序，在计算得到当前层对应的融合图像后，计算所述当前层对应的融合图像与所述当前层对应的第一分解图像在对应像素位置的像素差的绝对值，以得到像素差矩阵；将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵，所述子映射矩阵与所述当前层相对应，所述子映射矩阵为权值矩阵；将所述当前层的上一层对应的鬼影映射矩阵进行上采样，以使得上采样后的所述当前层的上一层对应的子映射矩阵与所述当前层对应的子映射矩阵具备相同尺寸；将上采样后的所述当前层的上一层对应的子映射矩阵中的各个数值与所述当前层对应的子映射矩阵中的各个数值进行对比运算，以得到所述当前层对应的鬼影映射矩阵。可选的，所述对所述参考图像以及待处理图像进行分解包括：对所述参考图像进行高斯金字塔分解，以及对所述待处理图像进行拉普拉斯金字塔分解；或者，对所述参考图本文档来自技高网...

【技术保护点】
1.一种图像鬼影剔除方法，其特征在于，包括：/n在针对同一目标物体拍摄的多张图像中确定参考图像，所述多张图像是在等曝光条件下连续拍摄得到的，所述参考图像的清晰度最高；/n对所述参考图像进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像；/n对于每帧待处理图像，对所述待处理图像进行分解，以得到所述待处理图像在多个分辨率上的多层第二分解图像；/n对于每帧待处理图像，至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；/n对于每帧待处理图像，结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除。/n

【技术特征摘要】
1.一种图像鬼影剔除方法，其特征在于，包括：
在针对同一目标物体拍摄的多张图像中确定参考图像，所述多张图像是在等曝光条件下连续拍摄得到的，所述参考图像的清晰度最高；
对所述参考图像进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像；
对于每帧待处理图像，对所述待处理图像进行分解，以得到所述待处理图像在多个分辨率上的多层第二分解图像；
对于每帧待处理图像，至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；
对于每帧待处理图像，结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除。


2.根据权利要求1所述的图像鬼影剔除方法，其特征在于，所述至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵包括：
按照分辨率从低到高的顺序，计算当前层第一分解图像与第二分解图像在对应像素位置的像素差的绝对值，以得到像素差矩阵；
将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵，所述子映射矩阵与所述当前层相对应，所述子映射矩阵为权值矩阵；
将所述当前层的上一层对应的鬼影映射矩阵进行上采样，以使得上采样后的所述当前层的上一层对应的子映射矩阵与所述当前层对应的子映射矩阵具备相同尺寸；
将上采样后的所述当前层的上一层对应的子映射矩阵中的各个数值与所述当前层对应的子映射矩阵中的各个数值进行对比运算，以得到所述当前层对应的鬼影映射矩阵。


3.根据权利要求2所述的图像鬼影剔除方法，其特征在于，所述预设阈值包括第一阈值和第二阈值，所述第一阈值大于所述第二阈值，所述将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵包括：
如果像素位置的像素差大于所述第一阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为1；
如果所述像素位置的像素差小于所述第二阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为0；
如果所述像素位置的像素差小于所述第一阈值且大于所述第二阈值，则计算所述像素位置的像素差与所述第二阈值的差值以及所述第一阈值与所述第二阈值的差值的比值，以作为所述当前层对应的子映射矩阵中所述像素位置处的数值。


4.根据权利要求2所述的图像鬼影剔除方法，其特征在于，所述预设阈值包括多组第一阈值和第二阈值，各组第一阈值和第二阈值与亮度范围一一对应，每组第一阈值和第二阈值的大小随所述亮度范围的变化而变化，所述第一阈值大于所述第二阈值，所述将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵包括：
计算所述第二分解图像在所述当前层的像素位置处的亮度值，并根据所述亮度值确定第一阈值和第二阈值；
如果像素位置的像素差大于所述第一阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为1；
如果所述像素位置的像素差小于所述第二阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为0；
如果所述像素位置的像素差小于所述第一阈值且大于所述第二阈值，则计算所述像素位置的像素差与所述第二阈值的差值以及所述第一阈值与所述第二阈值的差值的比值，以作为所述当前层对应的子映射矩阵中所述像素位置处的数值。


5.根据权利要求1所述的图像鬼影剔除方法，其特征在于，所述结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除包括：
对于具备最低分辨率的层数，根据具备最低分辨率的层数对应的鬼影映射矩阵对所述具备最低分辨率的层数对应的第一分解图像和第二分解图像进行加权融合，以得到所述具备最低分辨率的层数对应的剔除图像；
按照分辨率从低到高的顺序，将当前层的上一层对应的剔除图像进行上采样，...

【专利技术属性】
技术研发人员：张晓盟，刘春婷，陈欢，魏道敏，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：上海;31