图像处理方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例提供一种图像处理方法、装置、电子设备和存储介质，所述方法包括：获取待处理图像；提取待处理图像的相机内参特征，相机内参特征用于表征采集待处理图像的成像设备的分辨率性能；提取待处理图像的图像特征，将待处理图像的相机内参特征与图像特征进行融合，获得待处理图像对应的超分辨率图像，其中，待处理图像对应的超分辨率图像的分辨率高于待处理图像的分辨率。采用本申请实施例，可以提高图像的超分辨率效果。以提高图像的超分辨率效果。以提高图像的超分辨率效果。

【技术实现步骤摘要】
图像处理方法、装置、电子设备和存储介质


[0001]本公开涉及图像处理
，尤其涉及一种图像处理方法、装置、电子设备和存储介质。

技术介绍

[0002]随着成像技术的不断发展，成像技术在工业、农业、医疗等领域有着重要的应用。通过成像设备采集的图像的质量，会受到成像设备的分辨率影响，而成像设备的制作材料一般比较昂贵，制作工艺也比较复杂，如果想要提高成像设备的分辨率，从硬件层面改进的成本比较高。
[0003]图像超分辨率技术是一种可以将低分辨率图像转换为高分辨率图像，从而提高原有图像质量的技术。然而，目前的图像超分辨率技术中存在域间漂移问题，影响图像的超分辨率效果。

技术实现思路

[0004]本申请提供一种图像处理方法、装置、电子设备和存储介质，可以提高图像的超分辨率效果。
[0005]第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
[0006]获取待处理图像；
[0007]提取所述待处理图像的相机内参特征，所述相机内参特征用于表征采集所述待处理图像的成像设备的分辨率性能；
[0008]提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，其中，所述待处理图像对应的超分辨率图像的分辨率高于所述待处理图像的分辨率。
[0009]上述实施例中，引入了相机内参特征辅助进行图像超分辨率，在对待处理图像进行超分辨率的过程中，通过融合待处理图像的相机内参特征与图像特征，不仅考虑了待处理图像的自身特征，还考虑了采集该待处理图像的成像设备的内参特征，据此有利于减小获得的超分辨率图像与原待处理图像所在的空间域差异，从而有利于解决域间漂移问题，提高图像的超分辨率效果。
[0010]在一些可能的实施方式中，所述提取所述待处理图像的相机内参特征，包括：
[0011]利用相机内参表示网络提取所述待处理图像的相机内参特征；
[0012]其中，所述相机内参表示网络是基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异训练得到的。
[0013]上述实施方式中，基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异训练得到的相机内参表示网络，能够很好地区分不同分辨率的图像，有利于快速并准确地提取图像中用于表征成像设备的分辨率性能的相机内参特征。
[0014]在一些可能的实施方式中，所述相机内参表示网络的训练方法包括：
[0015]获取第一样本图像及其真实分辨率类别，所述第一样本图像包括由两种不同分辨率的成像设备采集的图像；
[0016]通过所述相机内参表示网络提取所述第一样本图像的相机内参特征，通过分类网络基于所述第一样本图像的相机内参特征进行分类识别，获得所述第一样本图像的分辨率类别识别结果；
[0017]基于所述第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异，调整所述相机内参表示网络和所述分类网络的参数，直至达到第一训练结束条件。
[0018]上述实施方式中，通过训练得到的相机内参表示网络，可以从来自不同分辨率成像设备的图像中提取有区别的相机内参特征，利用该相机内参表示网络提取的相机内参特征辅助进行图像超分辨率，有利于提高图像的超分辨率效果。
[0019]在一些可能的实施方式中，所述提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，包括：
[0020]利用第一感知网络，提取所述待处理图像的图像特征，将所述相机内参特征与所述图像特征进行融合，获得所述待处理图像对应的超分辨率图像；
[0021]其中，所述第一感知网络是基于第一超分辨率图像与第二样本图像之间的差异训练得到的，所述第一超分辨率图像是通过提高第三样本图像的分辨率得到的，所述第二样本图像与所述第三样本图像的内容相同，所述第二样本图像的分辨率高于所述第三样本图像的分辨率。
[0022]上述实施方式中，基于通过提高第三样本图像的分辨率得到的第一超分辨率图像与第二样本图像之间的差异训练得到的第一感知网络，可用来对图像进行超分辨率以获得相应的超分辨率图像，有利于快速地实现图像分辨率的提高。
[0023]在一些可能的实施方式中，所述第一感知网络的训练方法包括：
[0024]获取第二样本图像、第三样本图像以及所述第三样本图像的相机内参特征；
[0025]通过所述第一感知网络，提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像；
[0026]基于所述第一超分辨率图像与所述第二样本图像之间的差异，调整所述第一感知网络的参数，直至达到第二训练结束条件。
[0027]上述实施方式中，通过训练得到的第一感知网络，能够感知低分辨率图像的相机内参特征，并将相机内参特征融入到图像特征中，生成对应的超分辨率图像，有利于实现超分辨率图像到原低分辨率图像的空间域转移，从而有利于解决域间漂移问题，提高图像的超分辨率效果。
[0028]在一些可能的实施方式中，所述提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，包括：
[0029]利用第二感知网络，提取所述待处理图像的图像特征，将所述相机内参特征与所述图像特征进行融合，获得所述待处理图像对应的超分辨率图像；
[0030]其中，所述第二感知网络是基于第一超分辨率图像与第二样本图像之间的差异、以及退化分辨率图像与第三样本图像之间的差异训练得到的，所述第一超分辨率图像是通
过提高所述第三样本图像的分辨率得到的，所述退化分辨率图像是通过降低所述第一超分辨率图像的分辨率得到的，所述第二样本图像与所述第三样本图像的内容相同，所述第二样本图像的分辨率高于所述第三样本图像的分辨率。
[0031]上述实施方式中，基于通过提高第三样本图像的分辨率得到的第一超分辨率图像与第二样本图像之间的差异、以及通过降低第一超分辨率图像的分辨率得到的退化分辨率图像与第三样本图像之间的差异训练得到的第二感知网络，可用来对图像进行超分辨率以获得相应的超分辨率图像，有利于快速地实现图像分辨率的提高。此外由于第二感知网络的训练过程中考虑了退化分辨率图像与第三样本图像之间的差异，这有利于限制训练过程中网络参数的搜索空间，优化网络模型训练效果。
[0032]在一些可能的实施方式中，所述第二感知网络的训练方法包括：
[0033]获取第二样本图像、第三样本图像、所述第二样本图像的相机内参特征以及所述第三样本图像的相机内参特征；
[0034]通过所述第二感知网络，提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像；
[0035]通过循环感知网络，提取所述第一超分辨率图像的图像特征，将所述第二样本图像的相机内参特征与所述第一超本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理图像；提取所述待处理图像的相机内参特征，所述相机内参特征用于表征采集所述待处理图像的成像设备的分辨率性能；提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，其中，所述待处理图像对应的超分辨率图像的分辨率高于所述待处理图像的分辨率。2.根据权利要求1所述的方法，其特征在于，所述提取所述待处理图像的相机内参特征，包括：利用相机内参表示网络提取所述待处理图像的相机内参特征；其中，所述相机内参表示网络是基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异训练得到的。3.根据权利要求2所述的方法，其特征在于，所述相机内参表示网络的训练方法包括：获取第一样本图像及其真实分辨率类别，所述第一样本图像包括由两种不同分辨率的成像设备采集的图像；通过所述相机内参表示网络提取所述第一样本图像的相机内参特征，通过分类网络基于所述第一样本图像的相机内参特征进行分类识别，获得所述第一样本图像的分辨率类别识别结果；基于所述第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异，调整所述相机内参表示网络和所述分类网络的参数，直至达到第一训练结束条件。4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，包括：利用第一感知网络，提取所述待处理图像的图像特征，将所述相机内参特征与所述图像特征进行融合，获得所述待处理图像对应的超分辨率图像；其中，所述第一感知网络是基于第一超分辨率图像与第二样本图像之间的差异训练得到的，所述第一超分辨率图像是通过提高第三样本图像的分辨率得到的，所述第二样本图像与所述第三样本图像的内容相同，所述第二样本图像的分辨率高于所述第三样本图像的分辨率。5.根据权利要求4所述的方法，其特征在于，所述第一感知网络的训练方法包括：获取第二样本图像、第三样本图像以及所述第三样本图像的相机内参特征；通过所述第一感知网络，提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像；基于所述第一超分辨率图像与所述第二样本图像之间的差异，调整所述第一感知网络的参数，直至达到第二训练结束条件。6.根据权利要求1至3中任意一项所述的方法，其特征在于，所述提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，包括：利用第二感知网络，提取所述待处理图像的图像特征，将所述相机内参特征与所述图
像特征进行融合，获得所述待处理图像对应的超分辨率图像；其中，所述第二感知网络是基于第一超分辨率图像与第二样本图像之间的差异、以及退化分辨率图像与第三样本图像之间的差异训练得到的，所述第一超分辨率图像是通过提高所述第三样本图像的分辨率得到的，所述退化分辨率图像是通过降低所述第一超分辨率图像的分辨率得到的，所述第二样本图像与所述第三样本图像的内容相同，所述第二样本图像的分辨率高于所述第三样本图像的分辨...

【专利技术属性】
技术研发人员：王凯，孙其功，马堃，杨慧，
申请(专利权)人：西安商汤智能科技有限公司，
类型：发明
国别省市：