图像融合方法、装置及存储介质制造方法及图纸

一种图像融合方法、装置及存储介质，涉及图像处理技术领域，该方法包括：获取第一路图像和第二路图像；其中，所述第二路图像的清晰度高于所述第一路图像的清晰度；分别提取所述第一路图像的特征和所述第二路图像的特征；计算所述第一路图像和所述第二路图像中各特征之间的相似度，得到所述第二路图像中与所述第一路图像的特征存在相似度满足预设条件的目标特征；根据所述目标特征对所述第一路图像进行特征融合。通过计算第一摄像头拍摄的图像和第二摄像头拍摄的图像中各特征之间的相似度，从而在特征层面的配准对齐提升了尺度和像素对齐的效果，有效改善了鬼影问题，同时使得整体图像融合过渡得比较平滑、自然。自然。自然。

Image fusion method, device and storage medium

【技术实现步骤摘要】
图像融合方法、装置及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种图像融合方法、装置及存储介质。

技术介绍

[0002]随着智能手机技术的发展，手机已经成为人们日常最常使用的拍照工具，因此，人们也越来越注重手机拍照的清晰度。为了提高手机拍照的清晰度，现在一般用双摄像头取代单摄像头拍照，而双摄像头拍照就涉及到将两个摄像头拍摄的图像进行融合。目前业界的双摄融合方案，主要包括主摄和长焦、黑白彩色不同镜头（lens）间的融合以及相同长焦镜头下不同倍率的融合，双摄融合后的图像清晰度远高于普通镜头的拍照效果。
[0003]一些双摄融合方案中，计算双摄像头拍摄得到的低分辨率图像和参考图像之间的光流（optical flow）信息，光流信息可以理解为低分辨率图像中每个像素相对参考图像的运动方向和运动速度，根据光流信息对低分辨率图像做图形变换，从而对齐低分辨率图像和参考图像之间的像素，实现配准对齐。
[0004]然而，基于光流信息的配准对齐，在图像融合后的图像中容易存在鬼影问题。

技术实现思路

[0005]本申请实施例提供一种图像融合方法、装置及存储介质，涉及图像处理
，有助于改善图像融合后的图像中容易存在的鬼影问题。
[0006]第一方面，本申请实施例提供一种图像融合方法，该方法包括：获取第一路图像和第二路图像；其中，第二路图像的清晰度高于第一路图像的清晰度；分别提取第一路图像的特征和第二路图像的特征；计算第一路图像和第二路图像中各特征之间的相似度，得到第二路图像中与第一路图像的特征存在相似度满足预设条件的目标特征；根据目标特征对第一路图像进行特征融合。
[0007]本申请实施例中，通过获取第一摄像头拍摄的第一路图像和第二摄像头拍摄的第二路图像，第二路图像的清晰度高于第一路图像的清晰度，分别提取第一路图像的特征和第二路图像的特征，计算第一路图像和第二路图像中各特征之间的相似度，得到第二路图像中与第一路图像的特征存在相似度满足预设条件的目标特征，根据该目标特征对第一路图像进行特征融合。这样计算第一路图像和第二路图像中各特征之间的相似度，从而在特征层面的配准对齐提升了尺度和像素对齐的效果，有效改善了鬼影问题，同时使得整体图像融合过渡得比较平滑、自然。
[0008]在一种可能的实现方式中，计算第一路图像和第二路图像中各特征之间的相似度，得到第二路图像中与第一路图像的特征存在相似度满足预设条件的目标特征，包括：计算第一路图像的特征和第二路图像的特征中，各图像块patch之间的相似度，得到相似度索引和相似度分数；基于相似度索引，提取第二路图像的特征中与第一路图像的特征相似度满足预设条件的特征，得到目标特征。这样，通过对计算得到的图像块patch之间的相似度进行分解，得到相似度索引和相似度分数，以便后续利用相似度索引和相似度分数进行图
像的配准融合，从而改善第一路图像和第二路图像融合后容易存在的鬼影问题。
[0009]在一种可能的实现方式中，提取第二路图像的特征中与第一路图像的特征相似度满足预设条件的特征，包括：提取第二路图像的特征中与第一路图像的特征相似度最大的特征。
[0010]在一种可能的实现方式中，根据目标特征对第一路图像进行特征融合，包括：将目标特征与第一路图像的特征利用卷积进行初步融合，得到初步融合后的特征；将初步融合后的特征与相似度分数相乘，得到相乘结果；将相乘结果融合在第一路图像的特征上。这样，通过将目标特征与第一路图像的特征的初步融合，增强了第一路图像的相关特征，使得相关特征的清晰度得到提高，从而改善第一路图像的清晰度，将初步融合后的特征与相似度分数相乘，得到相乘结果，将相乘结果融合在第一路图像的特征，这样在对第一路图像的特征做了加强效果的基础上进行特征融合，可以实现较好的特征融合。
[0011]在一种可能的实现方式中，分别提取第一路图像的特征和第二路图像的特征，包括：提取第一路图像的第一层特征；以及，提取第二路图像的N层特征，N为大于1的整数；方法还包括：将第一路图像的第一层特征与第二路图像的第一层特征融合后得到的第一层融合结果进行特征提取，得到第一路图像的第二层特征；基于第一路图像的第二层特征和第二路图像的第二层特征之间的相似度，对第一路图像的第二层特征和第二路图像的第二层特征进行融合，并将融合后的结果提取特征后与第二路图像的下一层特征融合，直到完成第一路图像的第N层特征与第二路图像的第N层特征的融合，得到融合结果。这样在不同层次上的特征融合，可以优化最后生成的高清图像的清晰度，也让图像更为自然。
[0012]在一种可能的实现方式中，N为3，第一层特征包括图像的结构和形状信息；第二层特征包括图像的纹理和细节信息；第三层特征包括图像的颜色和亮度信息。
[0013]在一种可能的实现方式中，第一路图像的第M特征和第二路图像的第M特征被处理为互为转置的两个矩阵。
[0014]在一种可能的实现方式中，计算第一路图像和第二路图像中各特征之间的相似度，包括：将互为转置的两个矩阵相乘，得到第一路图像和第二路图像中各特征之间的相似度。
[0015]在一种可能的实现方式中，第一路图像为电子设备的主摄相机采集的图像，第二路图像为电子设备的辅摄像机采集的图像。
[0016]第二方面，本申请实施例提供一种图像融合装置，处理单元，用于获取第一路图像和第二路图像；其中，第二路图像的清晰度高于第一路图像的清晰度；处理单元，还用于分别提取第一路图像的特征和第二路图像的特征；处理单元，还用于计算第一路图像和第二路图像中各特征之间的相似度，得到第二路图像中与第一路图像的特征存在相似度满足预设条件的目标特征；处理单元，还用于根据目标特征对第一路图像进行特征融合。
[0017]在一种可能的实现方式中，处理单元，还用于计算第一路图像的特征和第二路图像的特征中，各图像块patch之间的相似度，得到相似度索引和相似度分数；处理单元，还用于基于相似度索引，提取第二路图像的特征中与第一路图像的特征相似度满足预设条件的特征，得到目标特征。
[0018]在一种可能的实现方式中，处理单元，还用于提取第二路图像的特征中与第一路图像的特征相似度最大的特征。
[0019]在一种可能的实现方式中，处理单元，还用于将目标特征与第一路图像的特征利用卷积进行初步融合，得到初步融合后的特征；处理单元，还用于将初步融合后的特征与相似度分数相乘，得到相乘结果；处理单元，还用于将相乘结果融合在第一路图像的特征上。
[0020]在一种可能的实现方式中，处理单元，还用于提取第一路图像的第一层特征；以及，提取第二路图像的N层特征，N为大于1的整数；处理单元，还用于将第一路图像的第一层特征与第二路图像的第一层特征融合后得到的第一层融合结果进行特征提取，得到第一路图像的第二层特征；处理单元，还用于基于第一路图像的第二层特征和第二路图像的第二层特征之间的相似度，对第一路图像的第二层特征和第二路图像的第二层特征进行融合，并将融合后的结果提取特征后与第二路图像的下一层特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：获取第一路图像和第二路图像；其中，所述第二路图像的清晰度高于所述第一路图像的清晰度；分别提取所述第一路图像的特征和所述第二路图像的特征；计算所述第一路图像和所述第二路图像中各特征之间的相似度，得到所述第二路图像中与所述第一路图像的特征存在相似度满足预设条件的目标特征；根据所述目标特征对所述第一路图像进行特征融合。2.根据权利要求1所述的方法，其特征在于，所述计算所述第一路图像和所述第二路图像中各特征之间的相似度，得到所述第二路图像中与所述第一路图像的特征存在相似度满足预设条件的目标特征，包括：计算所述第一路图像的特征和所述第二路图像的特征中，各图像块patch之间的相似度，得到相似度索引和相似度分数；基于所述相似度索引，提取所述第二路图像的特征中与所述第一路图像的特征相似度满足所述预设条件的特征，得到所述目标特征。3.根据权利要求2所述的方法，其特征在于，所述提取所述第二路图像的特征中与所述第一路图像的特征相似度满足所述预设条件的特征，包括：提取所述第二路图像的特征中与所述第一路图像的特征相似度最大的特征。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述目标特征对所述第一路图像进行特征融合，包括：将所述目标特征与所述第一路图像的特征利用卷积进行初步融合，得到初步融合后的特征；将所述初步融合后的特征与所述相似度分数相乘，得到相乘结果；将所述相乘结果融合在所述第一路图像的特征上。5.根据权利要求4所述的方法，其特征在于，所述分别提取所述第一路图像的特征和所述第二路图像的特征，包括：提取所述第一路图像的第一层特征；以及，提取所述第二路图像的N层特征，所述N为大于1的整数；所述方法还包括：将所述第...

【专利技术属性】
技术研发人员：曹瑞，应国豪，王宇，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：