图像融合方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种图像融合方法、装置、电子设备及存储介质，该方法包括：采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例；并根据第一融合比例，对参考图像和第一待融合图像进行融合处理，获取第二待融合图像；最后将第二待融合图像与参考图像进行频域融合，获取目标融合图像。有效减小了融合图像中的鬼影，进而提高了融合图像的效果。

【技术实现步骤摘要】
图像融合方法、装置、电子设备及存储介质
本申请涉及图像处理
，尤其涉及一种图像融合方法、装置、电子设备及存储介质。
技术介绍
随着人们对于车载图像和安防图像等图像效果的要求越来越高，高动态光照范围(High-DynamicRange，HDR)场景图像的图像效果也更为重要。目前生成HDR场景图像的过程有很多种方式，以多帧图像融合的方法为例，多帧图像融合的方法包括多曝光图像融合、相同曝光欠曝图像融合等方式，由于多帧图像融合的多帧图像是分时采集的图像，所以每帧图像之间可能会由于存在运动物体使图像场景有差异，且使多帧图像在融合成单帧图像的过程中，在运动物体处产生鬼影。现有技术中，对多帧图像融合通常采用傅立叶频域融合方法，傅立叶频域融合方法中，通常是在图像的Bayerraw域中处理，通过对多帧图像进行分块处理，并将每块图像中的空域信息转换为频域信息，在频域信息上根据参考帧与融合帧频域上值的差异，以及噪声模型，判断当前信号为噪声或者鬼影的权重，并根据该权重融合对参考帧和融合帧进行融合，得到多个融合块，并通过融合块得到频率域融合后的融合图像，最后将频率域融合后的融合图像反变换到空间域作为空间域的融合结果。然而，现有技术中的多帧图像融合方法，当融合块中包含界限分明的低频和高频部分时，低频部分融合后会有高频信息残留的问题，进而导致融合图像的效果较差，因此，亟需一种图像融合方法，提高融合图像的效果。
技术实现思路
本申请提供一种图像融合方法、装置、电子设备及存储介质，以实现对图像的融合，并提高了融合图像的效果。第一方面，本申请实施例提供一种图像融合方法，包括：采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例；根据第一融合比例，对参考图像和第一待融合图像进行融合处理，获取第二待融合图像；将第二待融合图像与参考图像进行频域融合，获取目标融合图像。本申请实施例中，通过首先采用预配置核函数对参考图像和待融合图像进行图像融合，得到中间融合图像，然后将中间融合图像与参考图像进行频域融合，得到最终融合图像，实现了对图像的融合，并且，由于考虑到了核函数融合和频域融合两种融合步骤，相比于现有技术中仅采用频域融合，避免了融合块中包含界限分明的低频和高频部分时，低频部分融合后会有高频信息残留的问题，进而导致融合图像的效果较差的问题，有效减小了融合图像中的鬼影，鬼影是一种背景信息映透到了运动物体上，使运动物体处有半透明的影子的现象，进而提高了融合图像的效果。在一种可能的实施方式中，预配置核函数包括多个核函数，每个核函数对应一个差值区间；参考图像的参数包括参考图像的像素值，第一待融合图像的参数包括第一待融合图像的像素值，采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例，包括：根据参考图像的像素值和第一待融合图像的像素值，确定第一待融合图像的目标差值区间；确定目标差值区间对应的目标核函数，以确定预配置核函数为目标核函数；采用目标核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例。本申请实施例中，通过预配置核函数包括多个核函数，可以实现根据参考图像和第一待融合图像的差值情况进行分级处理，进一步提高了图像融合效果。在一种可能的实施方式中，参考图像的参数和第一待融合图像的参数均包括如下一种或多种组合：像素值、曝光时间、感光值、曝光量和亮度值。在一种可能的实施方式中，本申请实施例提供的图像融合方法，还包括：确定多帧相同场景相同曝光的连续拍摄图像中，清晰度最高的图像为参考图像，且除参考图像之外的其他图像为第一待融合图像。本申请实施例中，通过采用清晰度最高的图像为参考图像，可以进一步保证融合效果。在一种可能的实施方式中，本申请实施例提供的图像融合方法还包括：根据参考图像和第一待融合图像，确定第一待融合图像的对齐位移；根据对齐位移，将第一待融合图像与参考图像进行对齐，获取对齐后的第一待融合图像；则根据第一融合比例，对参考图像和第一待融合图像进行融合，包括：根据第一融合比例，对参考图像和对齐后的第一待融合图像进行融合处理。本申请实施例通过在对参考图像和第一待融合图像进行融合之前，将第一待融合图像与参考图像进行对齐，避免了由于手抖或者运动物体移动而导致图像未对齐的问题，保证了第一待融合图像与参考图像的对齐，进而可以保证融合图像的效果。在一种可能的实施方式中，根据参考图像和第一待融合图像确定第一待融合图像的对齐位移，包括：分别对参考图像和第一待融合图像进行金字塔分层，获取参考图像的多层金字塔图像和第一待融合图像的多层金字塔图像；分别对参考图像的多层金字塔图像和第一待融合图像的多层金字塔图像进行逐层对齐，以确定对齐位移。本申请实施例中，通过金字塔分层方式对参考图像和待融合图像进行对齐处理，可以提高参考图像和待融合图像的对齐效果。在一种可能的实施方式中，将第二待融合图像与参考图像进行频域融合，获取目标融合图像，包括：将第二待融合图像与参考图像分别进行分块处理，获取多个第二待融合图像块和多个参考图像块，多个第二待融合图像块与多个参考图像块一一对应；将每个第二待融合图像块进行频域转换，获取多个第一频域图像块，并将每个参考图像块进行频域转换，获取多个第二频域图像块；根据多个第一频域图像块和多个第二频域图像块，采用噪声模型，确定每个第一频域图像块与对应的第二频域图像块之间的第二融合比例；通过每个第一频域图像块与对应的第二频域图像块之间的第二融合比例，分别将每个第一频域图像块和每个第二频域图像进行融合处理，生成频域融合图像；将频域融合图像进行频域至空间域的转化，得到目标融合图像。在一种可能的实施方式中，在生成频域融合图像之后，还包括：对频域融合图像进行滤波处理，得到滤波处理后的频域融合图像；则将频域融合图像进行频域至空间域的转化，得到目标融合图像，包括：将滤波处理后的频域融合图像进行频域至空间域的转化，得到目标融合图像。本申请实施例中，通过对频域融合图像进行滤波处理，可以有效减小目标融合图像的噪声。下面介绍本申请实施例提供的装置、电子设备、计算机可读存储介质以及计算机程序产品，其内容和效果可参考本申请实施例提供的图像融合方法，不再赘述。第二方面，本申请实施例提供一种图像融合装置，包括：确定模块，用于采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定参考图像和第一待融合图像的第一融合比例；处理模块，用于根据第一融合比例，对参考图像和第一待融合图像进行融合处理，获取第二待融合图像；处理模块，还用于将第二待融合图像与参考图像进行频域融合，获取目标融合图像。在一种可本文档来自技高网...

【技术保护点】
1.一种图像融合方法，其特征在于，包括：/n采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定所述参考图像和所述第一待融合图像的第一融合比例；/n根据所述第一融合比例，对所述参考图像和所述第一待融合图像进行融合处理，获取第二待融合图像；/n将所述第二待融合图像与所述参考图像进行频域融合，获取目标融合图像。/n

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：
采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定所述参考图像和所述第一待融合图像的第一融合比例；
根据所述第一融合比例，对所述参考图像和所述第一待融合图像进行融合处理，获取第二待融合图像；
将所述第二待融合图像与所述参考图像进行频域融合，获取目标融合图像。


2.根据权利要求1所述的方法，其特征在于，所述预配置核函数包括多个核函数，每个核函数对应一个差值区间；所述参考图像的参数包括所述参考图像的像素值，所述第一待融合图像的参数包括所述第一待融合图像的像素值，所述采用预配置核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定所述参考图像和所述第一待融合图像的第一融合比例，包括：
根据所述参考图像的像素值和所述第一待融合图像的像素值，确定所述第一待融合图像的目标差值区间；
确定所述目标差值区间对应的目标核函数，以确定所述预配置核函数为所述目标核函数；
采用所述目标核函数，对确定的参考图像的参数和第一待融合图像的参数进行处理，确定所述参考图像和所述第一待融合图像的第一融合比例。


3.根据权利要求1所述的方法，其特征在于，所述参考图像的参数和所述第一待融合图像的参数均包括如下一种或多种组合：
像素值、曝光时间、感光值、曝光量和亮度值。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
确定多帧相同场景相同曝光的连续拍摄图像中，清晰度最高的图像为所述参考图像，且除所述参考图像之外的其他图像为所述第一待融合图像。


5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
根据所述参考图像和所述第一待融合图像，确定所述第一待融合图像的对齐位移；
根据所述对齐位移，将所述第一待融合图像与所述参考图像进行对齐，获取对齐后的第一待融合图像；
则所述根据所述第一融合比例，对所述参考图像和所述第一待融合图像进行融合，包括：
根据所述第一融合比例，对所述参考图像和所述对齐后的第一待融合图像进行融合处理。


6.根据权利要求5所述的方法，其特征在于，所述根据所述参考图像和所述第一待融合图像确定所述第一待融合图像的对齐位移，包括：
分别对所述参考图像和所述第一待融合图像进行金字塔分层，获取所述参考图像的多层金字塔图像和所述第一待融合图像的多层金字塔图像；
分别对所述参考图像的多层金字塔图像和所述第一待融合图像的多层金字塔图像进行逐层对齐，以确定所述对齐位移。


7.根据权利要求1-3或6任一项所述的方法，其特征在于，所述将所述第二待融合图像与所述参考图像进行频域融合，获取目标融合图像，包括：
将所述第二待融合图像与所述参考图像分别进行分块处理，获取多个第二待融合图像块和多个参考图像块，所述多个第二待融合图像块与所述多个参考图像块一一对应；
将每个第二待融合图像块进行频域转换，获取多个第一频域图像块，并将每个参考图像块进行频域转换，获取多个第二频域图像块；
根据多个所述第一频域图像块和多个所述第二频域图像块，采用噪声模型，确定每个第一频域图像块与对应的第二频域图像块之间的第二融合比例；
通过每个第一频域图像块与对应的第二频域图像块之间的第二融合比例，分别将每个第一频域图像块和每个第二频域图像进行融合处理，生成频域融合图像；
将所述频域融合图像进行频域至空间域的转化，得到所述目标融合图像。


8.根据权利要求7所述的方法，其特征在于，在生成频域融合图像之后，还包括：
对所述频域融合图像进行滤波处理，得到滤波处理后的频域融合图像；
则所述将所述频域融合图像进行频域至空间域的转化，得到所述目标融合图像，包括：
将所述滤波处理后的频域融合图像进行频域至空间域的转化，得到所述目标融合图像。


9.一种图像融合装置，其特征在于，包括：
确定模块，用于采用预配置核函数，对确...

【专利技术属性】
技术研发人员：接丹枫，刘春婷，张晓盟，陈欢，彭晓峰，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：上海;31