图像处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供了一种图像处理方法、装置、设备及计算机可读存储介质，可以用于图像复原处理。方法包括：对待处理图像进行图像预处理，得到第一图像；调用目标图像处理模型提取第一图像的N个图像区域中各个图像区域的图像特征，调用目标图像处理模型对各个图像区域的图像特征和各个图像区域对应的词典特征进行第一融合处理，得到各个图像区域对应的重建特征；调用目标图像处理模型对各个图像区域的图像特征和各个图像区域对应的重建特征进行第二融合处理，得到待处理图像对应的目标重建图像，目标重建图像包括各个图像区域对应的重建图像。实施本申请实施例，可以对不同的图像区域基于对应的词典特征进行重建处理，有利于提高图像复原的效果。高图像复原的效果。高图像复原的效果。

【技术实现步骤摘要】
图像处理方法、装置、设备及计算机可读存储介质


[0001]本申请涉及人工智能领域，具体涉及计算机视觉领域，尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]随着电子设备和计算机技术的发展，用户对图像和视频的质量要求逐渐提高，由此，图像复原技术逐渐称为了计算机视觉领域最重要的图像处理技术之一，广泛应用于人脸恢复、超分辨率处理等任务中。所谓图像复原技术是指利用退化的图像的先验知识，使退化的图像恢复其本来的面目的技术。其中，退化的图像是指由于受到成像系统的不完善、设备的限制、传输的损耗等因素的影响，图像缺少细节，质量较低。而复原出的图像包括更多的细节，图像的清晰度有所提升。
[0003]目前，为了提高图像的清晰度，技术人员可以通过滤波器对图像进行滤波来消除图像中的噪声，以达到提高图像质量的目的。但是采用这种处理方式，可能会产生伪纹理，图像复原的效果不好。
[0004]因此，如何提高图像复原的效果，成为当前亟需解决的技术问题。

技术实现思路

[0005]本申请实施例提供一种图像处理方法、装置、设备及计算机可读存储介质，可以减少退化的图像中的伪纹理，从而有利于提高图像复原的效果。
[0006]第一方面，本申请实施例提供了一种图像处理方法，该方法可以由电子设备执行，或由电子设备中的模块执行，例如芯片或处理器等。该方法可包括：对待处理图像进行图像预处理，得到第一图像，第一图像包括N个图像区域，N为大于1的整数；调用目标图像处理模型提取N个图像区域中各个图像区域的图像特征，并调用目标图像处理模型对各个图像区域的图像特征和各个图像区域对应的词典特征进行第一融合处理，得到各个图像区域对应的重建特征；调用目标图像处理模型对各个图像区域的图像特征和各个图像区域对应的重建特征进行第二融合处理，得到待处理图像对应的目标重建图像，待处理图像对应的目标重建图像包括各个图像区域对应的重建图像。
[0007]通过第一方面提供的方法，在对待处理图像进行处理的过程中，通过目标图像处理模型基于不同图像区域对应的词典特征对不同图像区域进行重建，一方面，基于不同图像区域分别进行处理，有利于提高了图像复原处理的灵活性和差异性，特别是需要针对待处理图像中不同区域图像复原处理的程度不同的场景，从而更能够满足用户的需求；另一方面，通过各个图像区域对应的词典特征对图像区域的图像特征进行融合处理，可以使得匹配词典特征更准确，在一定程度上减少图像复原处理中不应出现的伪纹理，从而有利于提高了待处理图像的清晰度，提高图像复原的效果。
[0008]结合第一方面，在一种实施方式中，目标图像处理模型包括交叉注意力模块；图像区域n对应的词典特征包括多个参考词典特征；交叉注意力模块用于确定图像区域n的图像
特征k与图像区域n对应的多个参考词典特征之间的相似度，得到多个相似度，并根据多个相似度对图像区域n对应的多个参考词典特征进行第一融合处理，得到图像区域n对应的重建特征；其中，图像区域n为N个图像区域中的任一图像区域，图像特征k为提取出的图像区域n的图像特征。在本申请实施例中，通过基于各个图像区域对应的词典特征包括的参考词典特征，对待处理图像中不同图像区域进行分别进行图像复原处理，可以使得图像复原处理更加灵活，特别是可以应用于需要针对待处理图像的不同区域图像进行图像复原处理的程度不同的场景。并且，基于词典特征中各个参考词典特征进行融合处理而非采用词典特征中的一个参考词典特征，可以使得融合得到的融合结果更加多样化，可以充分利用词典特征中的参考词典特征，用较少的参考词典特征即可表示多种不同的特征，使得词典特征更加灵活，适用性高。
[0009]结合第一方面，在一种实施方式中，目标图像处理模型包括特征融合模块；特征融合模块用于获取图像区域n对应的超分系数，并基于超分系数对图像区域n的图像特征k和图像区域n对应的重建特征进行第二融合处理，得到图像区域n对应的重建图像，图像区域n对应的超分系数用于指示图像区域n的重建程度；其中，图像区域n为N个图像区域中的任一图像区域，图像特征k为提取出的图像区域n的图像特征。在本申请实施例中，基于不同的超分系数对不同的图像区域进行图像复原处理，可以适用于需要针对待处理图像中不同图像区域进行图像复原处理的程度不同的场景，例如部分图像区域的模糊程度高，则需要复原的程度较高，反之，则需要复原的程度较低。并且可以根据用户的需求对不同图像区域进行不同程度的图像复原处理，有利于提高图像复原处理的效果，适用性更高，也更有利于能够满足用户的需求。
[0010]结合第一方面，在一种实施方式中，该方法还包括：对初始训练样本集进行图像预处理，得到训练样本集；训练样本集包括M个训练图像区域；M个训练图像区域中的训练图像区域m1与N个图像区域中的图像区域n1的特征类别相同，M为大于1的整数；基于训练样本集和初始词典特征集对初始重建模型进行训练，得到第一损失参数；根据第一损失参数调整初始重建模型的模型参数和初始词典特征集，得到调整词典特征集和参考重建模型，调整词典特征集包括M个训练图像区域中各个训练图像区域对应的词典特征；基于训练样本集对参考重建模型进行训练，得到第二损失参数；在第二损失参数满足训练结束条件的情况下，确定图像区域n1对应的词典特征为训练图像区域m1对应的词典特征。在本申请实施例中，通过在对模型的迭代训练过程中，不断对初始词典特征集包括的特征向量进行调整，可以逐渐提高词典特征的有效性，并且不同的图像区域分别对应一个词典特征，有利于后续图像复原处理时，能够更准确的匹配图像区域对应的词典特征，从而有利于降低图像复原处理时匹配词典特征的难度，从而在一定程度上能够提高图像复原处理的效果。
[0011]结合第一方面，在一种实施方式中，对待处理图像进行图像预处理，得到第一图像，包括：根据待处理图像对应的参考标准图像对待处理图像进行对齐处理，得到对齐图像；提取对齐图像的亮度分量，得到亮度分量图像；提取亮度分量图像中的高频特征图像，得到第一图像。在本申请实施例中，通过对待处理图像进行对齐处理、提取亮度分量以及高频特征信息，一方面可以使得在图像复原处理中不涉及待处理图像中的低频部分，仅对涉及细节信息的高频部分进行图像复原处理，保证了图像复原处理的不会改变原始图像（待处理图像）的主体部分的内容，例如待处理图像为人脸图像时，可以保证图像复原处理后得
到的结果中包括的人脸与待处理图像中包括的人脸为同一个人的人脸图像；另一方面可以使得图像复原处理不涉及待处理图像中的颜色，由此，得到的图像复原处理的结果不改变原始图像（待处理图像）的颜色，从而有利于提高图像复原处理的效果。
[0012]结合第一方面，在一种实施方式中，待处理图像对应的参考标准图像包括P个预设关键点的位置信息，P为大于或等于1的整数；根据待处理图像对应的参考标准图像对待处理图像进行对齐处理，得到对齐图像，包括：识别待处理图像中的P个关键点的位置信息；根据P个预设关键点的位置信息和P个关键点的位置信息，对待处理图像进行对齐处理，得到对齐图像；对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：对待处理图像进行图像预处理，得到第一图像，所述第一图像包括N个图像区域，N为大于1的整数；调用目标图像处理模型提取所述N个图像区域中各个图像区域的图像特征，并调用所述目标图像处理模型对所述各个图像区域的图像特征和所述各个图像区域对应的词典特征进行第一融合处理，得到所述各个图像区域对应的重建特征；调用所述目标图像处理模型对所述各个图像区域的图像特征和所述各个图像区域对应的重建特征进行第二融合处理，得到所述待处理图像对应的目标重建图像，所述待处理图像对应的目标重建图像包括所述各个图像区域对应的重建图像。2.根据权利要求1所述的方法，其特征在于，所述目标图像处理模型包括交叉注意力模块；图像区域n对应的词典特征包括多个参考词典特征；所述交叉注意力模块用于确定图像区域n的图像特征k与所述图像区域n对应的多个参考词典特征之间的相似度，得到多个相似度，并根据所述多个相似度对所述图像区域n对应的多个参考词典特征进行所述第一融合处理，得到所述图像区域n对应的重建特征；其中，所述图像区域n为所述N个图像区域中的任一图像区域，所述图像特征k为提取出的所述图像区域n的图像特征。3.根据权利要求1所述的方法，其特征在于，所述目标图像处理模型包括特征融合模块；所述特征融合模块用于获取图像区域n对应的超分系数，并基于所述超分系数对所述图像区域n的图像特征k和所述图像区域n对应的重建特征进行所述第二融合处理，得到所述图像区域n对应的重建图像，所述图像区域n对应的超分系数用于指示所述图像区域n的重建程度；其中，所述图像区域n为所述N个图像区域中的任一图像区域，所述图像特征k为提取出的所述图像区域n的图像特征。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：对初始训练样本集进行图像预处理，得到训练样本集；所述训练样本集包括M个训练图像区域；所述M个训练图像区域中的训练图像区域m1与所述N个图像区域中的图像区域n1的特征类别相同，M为大于1的整数；基于所述训练样本集和初始词典特征集对初始重建模型进行训练，得到第一损失参数；根据所述第一损失参数调整所述初始重建模型的模型参数和初始词典特征集，得到调整词典特征集和参考重建模型，所述调整词典特征集包括所述M个训练图像区域中各个训练图像区域对应的词典特征；基于所述训练样...

【专利技术属性】
技术研发人员：夏致冰，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：