图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及图像处理领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。图像处理方法包括：获取待处理的原始图像以及与原始图像对应的参考图像；参考图像的分辨率高于原始图像；对原始图像进行特征提取得到第一特征集；对参考图像进行特征提取得到第二特征集；根据第一特征集和第二特征集进行特征对齐，得到具有多个不同图像尺度的多个对齐特征数据；将多个对齐特征数据与原始图像进行特征融合，得到处理后的目标图像。通过不同尺度的特征数据利用金字塔级联逐层级的进行特征对齐，有效将参考图像特征匹配到原始图像的对应位置，减少或消除拍摄角度或者拍摄时间不同带来的影响，在图像的超分过程中，更加有效地结合参考图像特征。

Image processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质
本公开涉及图像处理领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
图像的超分辨率重建，是指将低分辨率的原始图像重建为较高分辨率图像的过程，从而可以从高分辨率图像中获得更多的图像信息。图像的超分辨率研究主要可分为单景重建(SISR)和多景重建(MISR)，多景重建是使用同一场景的多个低分辨率图像(LR)，利用它们之间的互补信息来重建得到高分辨率图像(HR)，但是在实际应用中，往往无法获得多个LR图像，因此需要使用有限的LR信息来重建HR图像，即单景重建。相关技术中，基于参考影像的图像单景超分辨率方法中，在一些场景下，高分辨率参考图像的图像特征难以充分有效的结合至LR图像中，导致图像的超分辨率效果较为一般。
技术实现思路
为提高图像超分辨率处理的效果，本公开实施方式提供了一种图像处理方法、装置、电子设备及存储介质。第一方面，本公开实施方式提供了一种图像处理方法，包括：获取待处理的原始图像以及与所述原始图像对应的参考图像；所述参考图像的分本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取待处理的原始图像以及与所述原始图像对应的参考图像；所述参考图像的分辨率高于所述原始图像；/n对所述原始图像进行特征提取得到第一特征集；所述第一特征集包括具有多个不同图像尺度的第一特征数据；所述第一特征数据包括所述原始图像的图像特征数据和梯度特征数据；/n对所述参考图像进行特征提取得到第二特征集；所述第二特征集包括具有所述多个不同图像尺度的第二特征数据；所述第二特征数据包括所述参考图像的图像特征数据和梯度特征数据；/n根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据；/n将所述多个对齐特征数据与所述原始...

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取待处理的原始图像以及与所述原始图像对应的参考图像；所述参考图像的分辨率高于所述原始图像；
对所述原始图像进行特征提取得到第一特征集；所述第一特征集包括具有多个不同图像尺度的第一特征数据；所述第一特征数据包括所述原始图像的图像特征数据和梯度特征数据；
对所述参考图像进行特征提取得到第二特征集；所述第二特征集包括具有所述多个不同图像尺度的第二特征数据；所述第二特征数据包括所述参考图像的图像特征数据和梯度特征数据；
根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据；
将所述多个对齐特征数据与所述原始图像进行特征融合，得到处理后的目标图像。


2.根据权利要求1所述的方法，其特征在于，所述对所述参考图像进行特征提取得到第二特征集，包括：
对所述参考图像进行重采样，得到所述参考图像的重采样图像；
对所述重采样图像进行特征提取，得到具有所述多个不同图像尺度的第三特征数据；所述第三特征数据包括所述重采样图像的图像特征数据和梯度特征数据；
根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的所述第三特征数据，得到所述第二特征集。


3.根据权利要求2所述的方法，其特征在于，所述根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的第三特征数据，得到所述第二特征集，包括：
对所述参考图像进行特征提取，得到具有所述多个不同图像尺度的所述参考图像的图像特征和梯度特征；将具有同一图像尺度的所述参考图像的图像特征与梯度特征通道结合，得到所述参考图像的所述第二特征数据；
对所述参考图像的重采样图像进行特征提取，得到具有所述多个不同图像尺度的所述重采样图像的图像特征和梯度特征；将具有同一图像尺度的所述重采样图像的图像特征与梯度特征通道结合，得到所述重采样图像的所述第三特征数据；
根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的所述第三特征数据，得到所述第二特征集。


4.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行特征提取得到第一特征集，包括：
对所述原始图像进行特征提取，得到具有多个不同图像尺度的所述原始图像的图像特征和梯度特征；将具有同一图像尺度的所述原始图像的图像特征与梯度特征通道结合，得到所述原始图像的所述第一特征数据；根据具有所述多个不同图像尺度的所述第一特征数据，得到所述第一特征集。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述第二特征集还包括具有所述多个不同图像尺度的第三特征数据，所述第三特征数据包括所述重采样图像的图像特征数据和梯度特征数据；
根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据，包括：
根据所述第一特征集中的所述第一特征数据，以及第二特征集中与所述第一特征数据具有相同图像尺度的所述第三特征数据，得到特征偏移量；
根据所述特征偏移量和第二特征集中与所述第一特征数据具有相同图像尺度的所述第二特征数据，得到所述对齐特征数据。


6.根据权利要求5所述的方法，其特征在于，根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据，还包括：
根据所述第一特征集中具有第一图像尺度的所述第一特征数据，以及第二特征集中具有所述第一图像尺度的所述第三特征数据，得到第一特征偏移量；
根据所述第一特征偏移量和第二特征集中具有所述第一图像尺度的所述第二特征数据，进行可变形卷积调节，得到第一对齐特征数据；
根据所述第一特征集中具有第二图像尺度的第一特征数据、第二特征集中具有所述第二图像尺度的所述第三特征数据、以及上采样卷积后的所述第一特征偏移量，得到第二特征偏移量；
根据所述第二特征偏移量、第二特征集中具有所述第二图像尺度的所述第二特征数据、以及上采样卷积后的所述第一对齐特征数据，进行可变形卷积调节，得到第二对齐特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与所述参考图像具有相同图像尺度的对齐特征数据。


7.根据权利要求1至6任一项所述的方法，其特征在于，所述将所述多个对齐特征数据与所述原始图像进行特征融合，得到处理后的目标图像，包括：
获取所述原始图像的第一图像特征数据，以及与所述原始图像具有相同图像尺度的第一对齐特征数据；
将所述第一对齐特征数据与所述第一图像特征数据进行融合处理，得到第一融合特征数据；
获取上采样卷积后的第一融合特征数据，以及与上采样卷积后的第一融合特征数据具有相同图像尺度的第二对齐特征数据；
将第二对齐特征数据与所述上采样卷积后的第一融合特征数据进行融合处理，得到第二融合特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与所述参考图像具有相同图像尺度的所述目标图像。


8.根据权利要求1至7任一项所述的方法，其特征在于，还包括：
获取图像样本集；所述图像样本集中的每一个样本包括原始样本图像、参考样本图像以及目标样本图像；
将所述图像样本集输入图像处理网络，得到所述图像处理网络处理后的输出图像；所述图像处理网络用于对所述原始样本图像和所述参考样本图像进行特征提取，分别得到第一特征集和第二特征集；根据所述第一特征集和所述第二特征集进行特征对齐，得到多个对齐特征数据；将所述多个对齐特征数据与所述原始样本图像进行特征融合，得到所述输出图像；
获取所述输出图像与所述目标样本图像之间的损失，并根据所述损失调整所述图像处理网络的网络参数，直至所述损失满足收敛条件。


9.根据权利要求8所述的方法，其特征在于，在对所述原始样本图像和所述参考样本图像进行特征提取之前，还包括：
对所述原始样本图像进行上采样，...

【专利技术属性】
技术研发人员：董润敏，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海;31