图像处理模型的训练方法、电子设备及计算机存储介质技术

本申请实施例提供了一种图像处理模型的训练方法、电子设备及计算机存储介质，图像处理模型的训练方法，包括：获得样本图像组，样本图像组包括图像内容相同的第一图像和第二图像；通过图像处理模型，根据图像特征及其对应的预设区域划分参数对第一图像进行区域划分，得到至少两类待模糊区域；根据各类待模糊区域的图像特征及其分别对应的去模糊参数，构造各类待模糊区域分别对应的模糊程度数据，得到第一图像对应的模糊程度数据；通过图像处理模型根据第一图像对应的模糊程度数据对第二图像进行去模糊处理，得到去模糊图像，根据第一图像和去模糊图像计算损失值，根据损失值调整图像处理模型，以通过调整后的图像处理模型对图像进行去模糊处理。像进行去模糊处理。像进行去模糊处理。

【技术实现步骤摘要】
图像处理模型的训练方法、电子设备及计算机存储介质


[0001]本申请实施例涉及视频图像处理领域，尤其涉及一种图像处理模型的训练方法、电子设备及计算机存储介质。

技术介绍

[0002]会议室音视频采集、线上直播、实时会议、实时通讯(real time communication，RTC)等场景，受到镜头、视频采集环境的限制，以及下采样和编解码压缩的影响，画质容易趋于模糊，并伴随各种失真/瑕疵(artifacts)。
[0003]一般情况下，可以采用去模糊(deblur)、提成分辨率(超分)、去瑕疵等方法提升画质，上述三种中去模糊的方式对画质的提升效果较好。通常采用的去模糊方案需要根据图像内容估计对应的模糊核，并根据模糊核进行去模糊，计算成本高且效果差。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种图像处理模型的训练方案，以至少部分解决上述问题。
[0005]根据本申请实施例的第一方面，提供了一种图像处理模型的训练方法，包括：获得样本图像组，所述样本图像组包括图像内容相同的第一图像和第二图像，第一图像的清晰度大于第二图像的清晰度；通过图像处理模型对所述第一图像进行图像特征提取，得到图像特征；通过所述图像处理模型，根据所述图像特征及其对应的预设区域划分参数对所述第一图像进行区域划分，得到至少两类待模糊区域；根据各类待模糊区域的图像特征及其分别对应的去模糊参数，构造各类待模糊区域分别对应的模糊程度数据，得到所述第一图像对应的模糊程度数据；通过所述图像处理模型根据所述第一图像对应的模糊程度数据对所述第二图像进行去模糊处理，得到去模糊图像，根据所述第一图像和所述去模糊图像计算损失值，根据损失值调整所述图像处理模型中的以下至少之一：预设区域划分参数、去模糊参数，以通过调整后的所述图像处理模型对图像进行去模糊处理。
[0006]根据本申请实施例的第二方面，提供了一种图像处理模型的部署方法，包括：发送待处理图像，以通过预先训练好的多个图像处理模型对所述待处理图像进行图像特征提取，得到图像特征；以及通过所述图像处理模型，根据所述图像特征与预设区域划分参数的匹配程度对所述待处理图像进行区域划分，得到至少两类待处理区域；并通过所述图像处理模型，根据各类待处理区域分别对应的去模糊参数，将至少两类处理区域分别进行去模糊处理，得到多个图像处理模型分别输出的去模糊图像，其中，所述多个图像处理模型的图像参数存在差异，所述图像参数包括预设区域划分参数和\或去模糊参数；向用户展示多个所述去模糊图像；发送用户从所述多个去模糊图像中选择的一个去模糊图像，以接收并部署被选择的去模糊图像对应的所述图像处理模型，通过所述图像处理模型进行去模糊处理。
[0007]根据本申请实施例的第三方面，提供了一种图像处理方法，包括：确定待处理图
像；通过图像处理模型对所述待处理图像进行图像特征提取，得到图像特征；通过所述图像处理模型，根据所述图像特征与预设区域划分参数的匹配程度对所述待处理图像进行区域划分，得到至少两类待处理区域；通过所述图像处理模型，根据各类待处理区域分别对应的去模糊参数，将至少两类处理区域分别进行去模糊处理，得到所述待处理图像对应的去模糊图像。
[0008]根据本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述方法对应的操作。
[0009]根据本申请实施例的第五方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的方法。
[0010]根据本申请实施例提供的图像处理模型的训练方案，由于在训练过程中，可以根据图像特征及预设区域划分参数划分样本图像组的第一(高清)图像得到至少两类待模糊区域，并按照每类对应的去模糊参数分别对至少两类待模糊区域构造对应的模糊程度数据，并可以通过图像处理模型根据模糊程度数据对样本图像组的第二(低清)图像进行去模糊处理，以及根据去模糊图像和第一(高清)图像计算得到的损失值进行训练，使得训练的图像处理模型能够学习到不同类别的图像区域划分方法以及分别对应的去模糊方案，因此，在通过训练后的图像处理模型进行去模糊处理时(deblur)，也可以将图像划分不同类型的区域，并针对每类区域根据对应的去模糊参数进行去模糊处理，从而可以极大地提高去模糊的质量，且在进行去模糊的过程中可以直接采用已经训练的参数，无需执行估计模糊核等计算量较高的计算操作，所需的计算量较小，压低了对部署图像处理模型的电子设备的算力要求，且提高了去模糊的实时性。
附图说明
[0011]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0012]图1为适用本申请实施例的图像处理模型的训练方法的示例性系统的示意图；
[0013]图2A为本申请实施例提供的一种图像处理模型的训练方法的步骤流程图；
[0014]图2B为图2A所示实施例中的一种场景示例的示意图；
[0015]图3A为本申请实施例提供的另一种图像处理模型的训练方法的步骤流程图；
[0016]图3B为图3A所示实施例中的一种场景示例的示意图；
[0017]图4为本申请实施例提供的一种图像处理模型的部署方法的步骤流程图；
[0018]图5为根据本申请实施例四的一种图像处理模型的部署方法的步骤流程图；
[0019]图像处理方法
[0020]图6为根据本申请实施例四的一种电子设备的结构示意图；
[0021]图7为根据本申请实施例五的一种使用场景示意图。
具体实施方式
[0022]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。根据本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0023]下面结合本申请实施例附图进一步说明本申请实施例具体实现。
[0024]图1示出了一种适用本申请实施例的图像处理模型的训练方法的示例性系统。如图1所示，该系统100可以包括云服务端102、通信网络104和/或一个或多个用户设备106，图1中示例为多个用户设备。
[0025]云服务端102可以是用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的设备，包括但不限于分布式存储系统设备、服务器集群、计算云服务端集群等。在一些实施例中，云服务端102可以执行任何适当的功能。例如，在一些实施例中，云服务端102可以用于训练图像处理模型。作为可选的示例，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理模型的训练方法，包括：获得样本图像组，所述样本图像组包括图像内容相同的第一图像和第二图像，第一图像的清晰度大于第二图像的清晰度；通过图像处理模型对所述第一图像进行图像特征提取，得到图像特征；通过所述图像处理模型，根据所述图像特征及其对应的预设区域划分参数对所述第一图像进行区域划分，得到至少两类待模糊区域；根据各类待模糊区域的图像特征及其分别对应的去模糊参数，构造各类待模糊区域分别对应的模糊程度数据，得到所述第一图像对应的模糊程度数据；通过所述图像处理模型根据所述第一图像对应的模糊程度数据对所述第二图像进行去模糊处理，得到去模糊图像，根据所述第一图像和所述去模糊图像计算损失值，根据损失值调整所述图像处理模型中的以下至少之一：预设区域划分参数、去模糊参数，以通过调整后的所述图像处理模型对图像进行去模糊处理。2.根据权利要求1所述的方法，其中，若所述图像特征包括边缘特征，所述预设区域划分参数包括图像边缘划分阈值，所述通过所述图像处理模型，根据所述图像特征及其对应的预设区域划分参数对所述第一图像进行区域划分，得到至少两类待模糊区域，包括：通过所述图像处理模型，根据所述边缘特征和所述图像边缘划分阈值进行图像划分，得到与图像边缘对应的第一区域；将除所述第一区域之外的区域划分为第二区域。3.根据权利要求2所述的方法，其中，所述图像特征包括纹理特征，所述边缘特征为所述纹理特征的梯度值；所述预设区域划分参数包括纹理密度阈值，所述图像边缘划分阈值为图像梯度阈值；所述通过所述图像处理模型，根据所述图像特征及其对应的预设区域划分参数对所述第一图像进行区域划分，得到至少两类待模糊区域，包括：通过所述图像处理模型，将纹理梯度大于所述纹理梯度阈值的区域划分为所述第一区域；所述方法还包括：将纹理密度大于所述纹理密度阈值的区域划分为第三区域；所述将除所述第一区域之外的区域划分为第二区域，包括：将除所述第一区域和所述第三区域之外的区域划分为所述第二区域。4.根据权利要求3所述的方法，其中，所述将纹理密度大于所述纹理密度阈值的区域划分为第三区域包括：通过预先训练的纹理密集区域识别网络识别得到所述第三区域，所述纹理密集区域识别网络通过下述方法训练：获得不包含纹理密集区域的第三图像，以及只包含纹理密集区域的第四图像；将所述第三图像和所述第四图像进行图像融合处理，得到密集样本图像，并将所述密集样本图像中属于所述第四图像的区域作为图像标注；根据所述密集样本图像和所述图像标注训练纹理密集区域识别网络。5.根据权利要求2
‑
4任一项所述的方法，其中，所述模糊程度数据包括第一模糊窗口、第二模糊窗口，所述根据各类待模糊区域的图像特征及其分别对应的去模糊参数，构造各类待模糊区域分别对应的模糊程度数据，得到所述第一图像对应的模糊程度数据，包括：
针对与图像边缘对应的所述第一区域，根据所述去模糊参数中的第一模糊窗口参数组以及所述第一区域的各个像素的图像梯度，确定所述第一区域的各个像素对应的模糊权重，根据所述第一区域的各个像素对应的模糊权重构建所述第一模糊窗口，其中，所述第一区域中图像梯度越高的像素点对应的所述模糊权重越大，其中所述模糊权重与去模糊程度成正比；针对所述第二区域，根据所述去模糊参数中的第二模糊窗口参数组以及所述第二区域的各个像素的像素值，确定所述第二区域的各个像素对应的模糊权重，根据所述第二区域的各个像素对应的模糊权重构建所述第二模糊窗口，其中，所述第二区域中像素值越高的像素点对应的所述模糊权重越小。6.根据权利要求5所述的方法，其中，若存在所述第三区域，所述模糊程度数据还包括卷积窗，所述根据各类待模糊区域的图像特征及其分别对应的去模糊参数，构造各类待模糊区域分别对应的模糊程度数据，得到所述第一图像对应的模糊程度数据，还包括：针对所述第一图像中的所述第三区域，根据所述去模糊参数中的图像增强参数以及所述第三区域的各个像素的像素值构建用于进行图像增强处理的所述卷积窗。7.根据权利要求5所述的方法，其中，所述根据各类待模糊区域的图像特征及其分别对应的去模糊参数，构造各类待模糊区域分别对应的模糊程度数据，得到所述第一图像对应的模糊程度数据之前，所述方法还包括：为所述第一图像增加模糊遮罩，其中，所述模糊遮罩用于实现以下至少之一：压低所述第一区域中与图像边缘对应的像素位置相邻的像素的模糊程...

【专利技术属性】
技术研发人员：邵纬航，刘国栋，林建良，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：