图像处理方法、装置及设备制造方法及图纸

本发明专利技术实施例公开了一种图像处理方法、装置及设备，其中，所述方法包括：获取需要进行超分辨率处理的目标图像；将所述目标图像输入到超分网络模型进行处理，得到高分辨率图像；其中，所述超分网络模型的网络参数是根据多帧样本图像及每帧所述样本图像对应的语义特征图进行调整得到的，所述语义特征图是通过图像语义网络模型进行语义识别得到的，提高获取到的高分辨率图像的质量。

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法、装置及设备
本专利技术涉及图像处理技术，尤其涉及一种图像处理方法、装置及设备。
技术介绍
随着多媒体技术的发展，用户对多媒体信息的要求越来越高，例如，高分辨率多媒体信息(图片信息或视频信息等)成为了主流的多媒体文件。当终端需要进行高分辨率多媒体信息交互时，终端需要高速宽带来传输高分辨多媒体信息，这样会大大提高交互终端双方的信息交互成本。因此，用户通常将高分辨率的多媒体信息转换为低分辨率多媒体信息，再将低分辨率多媒体信息发送至其他终端，降低了交互成本。接收终端接收到低分辨率多媒体信息后，需要将低分辨率多媒体信息还原为高分辨率多媒体信息，以获取更多细节信息，实践发现，还原得到的高分辨率多媒体信息的质量较差。
技术实现思路
本专利技术提供一种图像处理方法、装置及设备，提高将低分辨率图像转换为高分辨率图像的精度，以提高高分辨率图像的质量。第一方面，本专利技术实施例提供了一种图像包处理方法，该方法包括：获取需要进行超分辨率处理的目标图像；将所述目标图像输入到超分网络模型进行处理，得到高分辨率图像；其中，所述超分网络模型的网络参数是根据多帧样本图像及每帧所述样本图像对应的语义特征图进行调整得到的，所述语义特征图是通过图像语义网络模型进行语义识别得到的。在该技术方案中，由于该超分网络模型的网络参数是根据大量样本图像及每帧样本图像的语义特征图像进行调整得到的，语义特征图像包含了样本图像的细节特征信息及边缘结构信息，因此，该超分网络模型为语义增强的网络模型，即通过语义增强的超分网络模型可将低分辨率图像转换为语义增强的高分辨率图像，且得到语义增强的高分辨率图像可以提供更多细节特征信息并可提供高清晰度的边缘结构信息，提高了高分辨率图像的质量。可选的，根据所述多帧样本图像及每帧所述样本图像对应的语义特征图确定所述超分网络模型的误差；当所述误差大于预设误差值时，对所述超分网络模型的网络参数进行调整。在本专利技术实施例中，为了提高超分网络处理图像的精度，可以根据所述多帧样本图像及每帧所述样本图像对应的语义特征图对所述超分网络模型的网络参数进行调整。可选的，获取多帧样本图像中每帧样本图像对应的高分辨率子图像及低分辨率子图像，将每帧目标子图像输入到所述图像语义网络模型中进行语义识别得到每帧所述样本图像对应的语义特征图像，所述目标子图像为所述多帧样本图像中任一样本图像对应的高分辨率子图像或低分辨率子图像；将每帧所述低分辨率子图像输入到所述超分网络模型中进行处理得到每帧所述样本图像的高分辨率特征图像；将每帧所述样本图像的高分辨率子图像与对应样本图像的语义特征图像进行叠加得到叠加图像；确定每帧所述样本图像的高分辨率特征图像与对应样本图像的叠加图像的差异度；计算所述差异度总和，将差异度总和作为所述超分网络模型的误差。在技术方案中，将样本图像的高分辨率子图像及样本图像的语义特征图像的叠加图像作为参考图像，将样本图像的低分辨率子图像作为训练样本，根据参考图像及训练样本图像计算超分网络模型的误差，以便于得到误差较低的超分网络模型。可选的，为所述图像语义网络模型输出的图像设置权重；根据所述权重对每帧所述样本图像的语义特征图像进行处理，得到处理后的语义特征图；将每帧所述样本图像的高分辨率子图像与对应样本图像的处理后的语义特征图像进行叠加得到叠加图像。在该技术方案中，图像处理装置可以为图像语义网络模型输出的图像设置权重，以便得到不能性能的超分网络模型，以满足用户不同的图像需求，即权重值越大，表明叠加图像中语义特征图像提供的信息越多，叠加图像的清晰度越高，进而，使超分网络模型输出的高分辨率图像更接近语义特征图像；反之，权重值越小，表明叠加图像中语义特征图像提供的信息越少，叠加图像的清晰度较低，进而，使超分网络模型输出的高分辨率图像更接近目标子图像。可选的，所述图像语义网络模型包括多层神经网络，将所述目标子图像输入到所述图像语义网络模型中，通过所述图像语义网络模型包括的多层神经网络进行语义识别输出多帧候选特征图像，每层所述神经网络输出一帧候选特征图像；对每帧所述候选特征图像进行灰度处理，得到灰度图像；确定每帧所述灰度图像的参数值，将参数值最大的灰度图像作为所述目标子图像对应的样本图像的语义特征图像，所述参数值是根据所述灰度图像的清晰度和/或所述灰度图像所提供的信息量确定的。在该技术方案中，从多帧候选特征图像中选择清晰度较高和/或提供的信息量较多的候选图像作为语义特征图像，提高语义特征图像的质量，并进一步，提高超分网络模型处理高分辨率图像的性能。可选的，获取所述目标图像的类型；确定与所述目标图像的类型匹配的超分网络模型；将所述目标图像输入到与所述目标图像的类型匹配的超分网络模型进行处理，得到高分辨率图像。在该技术方案中，为了提高处理图像的效率及处理图像的精确，可以选择与目标图像的类型匹配的超分网络模型来处理目标图像。第二方面，本专利技术实施例提供了一种图像处理装置，该图像处理装置具有实现上述第一方面的实现方式中行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块，该模块可以是软件和/或硬件。基于同一专利技术构思，由于该图像处理装置解决问题的原理以及有益效果可以参见上述第一方面的方法实施方式以及所带来的有益效果，因此该图像处理装置的实施可以参见上述第一方面的方法实施方式，重复之处不再赘述。第三方面，本专利技术实施例提供了一种电子设备，该电子设备包括：存储器，用于存储一个或多个程序；处理器，用于调用存储在该存储器中的程序以实现上述第一方面的方法设计中的方案，该转发面设备解决问题的实施方式以及有益效果可以参见上述第一方面的方法的实施方式以及有益效果，重复之处不再赘述。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对本专利技术实施例中所需要使用的附图进行说明。图1是本专利技术实施例提供的一种图像处理方法的流程示意图；图2是本专利技术实施例提供的一种图像处理方法的流程示意图；图3是本专利技术实施例提供的另一种超分网络模型及图像语义网络模型的示意图。图4是本专利技术实施例提供的一种图像处理装置的结构示意图；图5是本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式下面结合本专利技术实施例中的附图对本专利技术实施例进行描述。本专利技术实施例的图片处理装置可设置在任何的电子设备中，用于对图片进行高分辨率图片转换操作。该电子设备包括但不限于智能移动设备(如移动电话、掌上电脑、媒体播放器等等)、可穿戴设备、头戴设备、个人计算机、服务器计算机、手持式或膝上型设备等等。下面进一步对本申请所提供的图像处理方法及相关设备进行介绍。请参见图1，图1是本专利技术实施例提供的一种图像处理方法的流程示意图，所述方法可以由图像处理装置执行，其中，图像处理装置的具体解释如前所述。如图1所示，该图像处理方法可以包括如下步骤。S101、获取需要进行超分辨率处理的目标图像。本专利技术实施例中，本文档来自技高网...

【技术保护点】
一种图像处理方法，其特征在于，所述方法包括：/n获取需要进行超分辨率处理的目标图像；/n将所述目标图像输入到超分网络模型进行处理，得到高分辨率图像；/n其中，所述超分网络模型的网络参数是根据多帧样本图像及每帧所述样本图像对应的语义特征图进行调整得到的，所述语义特征图是通过图像语义网络模型进行语义识别得到的。/n

【技术特征摘要】
【国外来华专利技术】一种图像处理方法，其特征在于，所述方法包括：
获取需要进行超分辨率处理的目标图像；
将所述目标图像输入到超分网络模型进行处理，得到高分辨率图像；
其中，所述超分网络模型的网络参数是根据多帧样本图像及每帧所述样本图像对应的语义特征图进行调整得到的，所述语义特征图是通过图像语义网络模型进行语义识别得到的。


根据权利要求1所述的方法，其特征在于，还包括：
根据所述多帧样本图像及每帧所述样本图像对应的语义特征图确定所述超分网络模型的误差；
当所述误差大于预设误差值时，对所述超分网络模型的网络参数进行调整。


根据权利要求2所述的方法，其特征在于，所述根据所述多帧样本图像及每帧所述样本图像对应的语义特征图确定所述超分网络模型的误差，包括：
获取多帧样本图像中每帧样本图像对应的高分辨率子图像及低分辨率子图像；
将每帧目标子图像输入到所述图像语义网络模型中进行语义识别得到每帧所述样本图像对应的语义特征图像，所述目标子图像为所述多帧样本图像中任一样本图像对应的高分辨率子图像或低分辨率子图像；
将每帧所述低分辨率子图像输入到所述超分网络模型中进行处理得到每帧所述样本图像的高分辨率特征图像；
将每帧所述样本图像的高分辨率子图像与对应样本图像的语义特征图像进行叠加得到叠加图像；
确定每帧所述样本图像的高分辨率特征图像与对应样本图像的叠加图像的差异度；
计算所述差异度总和，将差异度总和作为所述超分网络模型的误差。


根据权利要求3所述的方法，其特征在于，所述方法还包括：
为所述图像语义网络模型输出的图像设置权重；
根据所述权重对每帧所述样本图像的语义特征图像进行处理，得到处理后的语义特征图；
所述将每帧所述样本图像的高分辨率子图像与对应样本图像的语义特征图像进行叠加得到叠加图像，包括：
将每帧所述样本图像的高分辨率子图像与对应样本图像的处理后的语义特征图像进行叠加得到叠加图像。


根据权利要求3所述的方法，其特征在于，所述图像语义网络模型包括多层神经网络，所述将每帧目标子图像输入到所述图像语义网络模型中进行语义识别得到每帧样本图像对应的语义特征图像，包括：
将所述目标子图像输入到所述图像语义网络模型中，通过所述图像语义网络模型包括的多层神经网络进行语义识别输出多帧候选特征图像，每层所述神经网络输出一帧候选特征图像；
对每帧所述候选特征图像进行灰度处理，得到灰度图像；
确定每帧所述灰度图像的参数值，将参数值最大的灰度图像作为所述目标子图像对应的样本图像的语义特征图像，所述参数值是根据所述灰度图像的清晰度和/或所述灰度图像所提供的信息量确定的。


根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
获取所述目标图像的类型；
确定与所述目标图像的类型匹配的超分网络模型；
所述将所述目标图像输入到超分网络模型进行处理，得到高分辨率图像，包括：
将所述目标图像输入到与所述目标图像的类型匹配的超分网络模型进行处理，得到高分辨率图像。


一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取需要进行超分辨率处理的目标图像；
处理模块，用于将所述目标图像输入到超分网络模型进行处理，得到高分辨率图像；<...

【专利技术属性】
技术研发人员：谭文伟，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44