本申请公开了一种图像处理方法、模型训练方法、装置、设备及存储介质，属于人工智能技术领域。该方法包括：获取第一分辨率图像；对第一分辨率图像进行特征提取处理，得到第一分辨率图像的高频特征；对第一分辨率图像进行特征提取处理，得到第一分辨率图像的降质特征，降质特征用于描述第一分辨率图像中的噪声损失信息；根据第一分辨率图像的高频特征和降质特征，重构得到第二分辨率图像，第二分辨率图像的分辨率高于第一分辨率图像。本申请通过提取图像携带的降质信息，描述对图像在降质特征空间中的噪声损失信息，充分提取了第一分辨率图像中携带的噪声损失情况，拓展了重构第二分辨率图像过程中的依据，提高了图像分辨率放大的效果。效果。效果。
【技术实现步骤摘要】
图像处理方法、模型训练方法、装置、设备及存储介质
[0001]本申请涉及人工智能领域，特别涉及一种图像处理方法、模型训练方法、装置、设备及存储介质。
技术介绍
[0002]随着计算机技术的发展，为了追求更加良好的图像显示效果，对图像分辨率提出了更高要求。
[0003]在相关技术中，图像中的色彩变化剧烈的区域携带有丰富的高频信息，通过提取描述图像的高频信息，对低分辨率图像进行重新映射，得到高分辨率图像。
[0004]然而，图像中还携带有其他特征信息没有被充分利用，如何充分利用图像中携带的特征信息，提高图像分辨率是亟待解决的问题。
技术实现思路
[0005]本申请提供了一种图像处理方法、模型训练方法、装置、设备及存储介质，所述技术方案如下：
[0006]根据本申请的一方面，提供了一种图像处理方法，所述方法包括：
[0007]获取第一分辨率图像；
[0008]对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的高频特征，所述高频特征用于描述所述第一分辨率图像中的高频信息；
[0009]对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的降质特征，所述降质特征用于描述所述第一分辨率图像在降质特征空间中的噪声损失信息；
[0010]根据所述第一分辨率图像的所述高频特征和所述降质特征，重构得到第二分辨率图像，所述第二分辨率图像的分辨率高于所述第一分辨率图像。
[0011]根据本申请的另一方面，提供了一种图像处理模型的训练方法，所述图像处理模型包括降质提取网络和高频提取网络；所述方法包括：
[0012]获取样本图像对，所述样本图像对包括第一样本图像和第二样本图像，所述第一样本图像的分辨率小于所述第二样本图像；
[0013]调用所述高频提取网络对所述第一样本图像进行特征提取处理，得到第一样本图像的预测高频特征；
[0014]调用所述降质提取网络对所述第一样本图像进行特征提取处理，得到第一样本图像的预测降质特征；
[0015]根据所述第一样本图像的所述预测高频特征和所述预测降质特征，重构得到预测图像，所述预测图像的分辨率高于所述第一样本图像；
[0016]根据所述预测图像和所述第二样本图像之间的误差，对所述图像处理模型进行训练，得到训练后的图像处理模型。
[0017]根据本申请的另一方面，提供了一种图像处理装置，所述装置包括：
[0018]获取模块，用于获取第一分辨率图像；
[0019]提取模块，用于对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的高频特征，所述高频特征用于描述所述第一分辨率图像中的高频信息；
[0020]所述提取模块，还用于对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的降质特征，所述降质特征用于描述所述第一分辨率图像在降质特征空间中的噪声损失信息；
[0021]重构模块，用于根据所述第一分辨率图像的所述高频特征和所述降质特征，重构得到第二分辨率图像，所述第二分辨率图像的分辨率高于所述第一分辨率图像。
[0022]在本申请的一个可选设计中，所述装置基于图像处理模型执行，所述降质特征是由所述图像处理模型中的降质提取网络提取得到的，所述降质提取网络包括编码子网络和降质编码本；
[0023]所述提取模块还用于：
[0024]调用所述编码子网络对所述第一分辨率图像进行编码处理，得到所述第一分辨率图像的编码特征；
[0025]根据所述降质编码本和所述编码特征，对所述编码特征对应的编码特征空间进行约束处理，得到所述降质特征，所述降质特征对应有所述降质特征空间。
[0026]在本申请的一个可选设计中，所述编码子网络包括像素编码子网络和/或块编码子网络；所述编码特征包括像素编码特征和/或块编码特征；
[0027]所述提取模块还用于：
[0028]调用所述像素编码子网络基于第一感受野，对所述第一分辨率图像进行编码处理，得到所述像素编码特征；
[0029]和/或，
[0030]调用所述块编码子网络基于第二感受野，对所述第一分辨率图像进行编码处理，得到所述块编码特征，所述第一感受野小于所述第二感受野。
[0031]在本申请的一个可选设计中，所述装置基于图像处理模型执行，所述高频特征是由所述图像处理模型中的高频提取网络提取得到的；
[0032]所述提取模块还用于：
[0033]调用所述高频提取网络对所述第一分辨率图像进行提取处理，得到所述第一分辨率图像的高频特征。
[0034]在本申请的一个可选设计中，所述装置基于图像处理模型执行，所述图像处理模型包括重构网络；
[0035]所述重构模块还用于：
[0036]调用所述重构网络对所述第一分辨率图像的所述高频特征和所述降质特征进行重构处理，得到所述第二分辨率图像。
[0037]在本申请的一个可选设计中，所述图像处理模型还包括融合网络；
[0038]所述重构模块还用于：
[0039]调用所述融合网络根据自注意力机制对所述高频特征和所述降质特征进行融合处理，得到融合特征；
[0040]调用所述重构网络对所述融合特征进行重构处理，得到所述第二分辨率图像。
[0041]根据本申请的另一方面，提供了一种图像处理模型的训练装置，所述图像处理模型包括降质提取网络和高频提取网络；所述装置包括：
[0042]获取模块，用于获取样本图像对，所述样本图像对包括第一样本图像和第二样本图像，所述第一样本图像的分辨率小于所述第二样本图像；
[0043]提取模块，用于调用所述高频提取网络对所述第一样本图像进行特征提取处理，得到第一样本图像的预测高频特征；
[0044]所述提取模块，还用于调用所述降质提取网络对所述第一样本图像进行特征提取处理，得到第一样本图像的预测降质特征；
[0045]重构模块，用于根据所述第一样本图像的所述预测高频特征和所述预测降质特征，重构得到预测图像，所述预测图像的分辨率高于所述第一样本图像；
[0046]训练模块，用于根据所述预测图像和所述第二样本图像之间的误差，对所述图像处理模型进行训练，得到训练后的图像处理模型。
[0047]根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的图像处理方法和/或模型训练方法。
[0048]根据本申请的另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的图像处理方法和/或模型训练方法。
[0049]根据本申请的另一方面，提供了一种计算机程序产品，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一分辨率图像；对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的高频特征，所述高频特征用于描述所述第一分辨率图像中的高频信息；对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的降质特征，所述降质特征用于描述所述第一分辨率图像在降质特征空间中的噪声损失信息；根据所述第一分辨率图像的所述高频特征和所述降质特征，重构得到第二分辨率图像，所述第二分辨率图像的分辨率高于所述第一分辨率图像。2.根据权利要求1所述的方法，其特征在于，所述方法基于图像处理模型执行，所述降质特征是由所述图像处理模型中的降质提取网络提取得到的，所述降质提取网络包括编码子网络和降质编码本；所述对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的降质特征，包括：调用所述编码子网络对所述第一分辨率图像进行编码处理，得到所述第一分辨率图像的编码特征；根据所述降质编码本和所述编码特征，对所述编码特征对应的编码特征空间进行约束处理，得到所述降质特征，所述降质特征对应有所述降质特征空间。3.根据权利要求2所述的方法，其特征在于，所述编码子网络包括像素编码子网络和/或块编码子网络；所述编码特征包括像素编码特征和/或块编码特征；所述调用所述编码子网络对所述第一分辨率图像进行编码处理，得到所述第一分辨率图像的编码特征，包括：调用所述像素编码子网络基于第一感受野，对所述第一分辨率图像进行编码处理，得到所述像素编码特征；和/或，调用所述块编码子网络基于第二感受野，对所述第一分辨率图像进行编码处理，得到所述块编码特征，所述第一感受野小于所述第二感受野。4.根据权利要求1所述的方法，其特征在于，所述方法基于图像处理模型执行，所述高频特征是由所述图像处理模型中的高频提取网络提取得到的；所述对所述第一分辨率图像进行特征提取处理，得到所述第一分辨率图像的高频特征，包括：调用所述高频提取网络对所述第一分辨率图像进行提取处理，得到所述第一分辨率图像的高频特征。5.根据权利要求1至4任一所述的方法，其特征在于，所述方法基于图像处理模型执行，所述图像处理模型包括重构网络；所述根据所述第一分辨率图像的所述高频特征和所述降质特征，重构得到第二分辨率图像，包括：调用所述重构网络对所述第一分辨率图像的所述高频特征和所述降质特征进行重构处理，得到所述第二分辨率图像。6.根据权利要求5所述的方法，其特征在于，所述图像处理模型还包括融合网络；
所述调用所述重构网络对所述第一分辨率图像的所述高频特征和所述降质特征进行重构处理，得到所述第二分辨率图像，包括：调用所述融合网络根据自注意力机制对所述高频特征和所述降质特征进行融合处理，得到融合特征；调用所述重构网络对所述融合特征进行重构处...
【专利技术属性】
技术研发人员：林楚铭，周逸峰，罗栋豪，刘永，邰颖，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。