图像处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供了一种图像处理方法、装置、设备及计算机可读存储介质；该方法包括：获取待处理图像，并对该待处理图像进行特征提取，得到该待处理图像的图像特征；基于该图像特征确定控制向量和压缩程度系数；基于该压缩程度系数和训练好的图像增强子模型的模型结构确定该训练好的图像增强子模型的目标退出阶段；基于该图像特征和该控制向量，获取该训练好的图像增强子模型在达到该目标退出阶段时的图像处理结果；输出该图像处理结果。通过本申请，能够通过自适应的方式确定图像处理的退出阶段，提高图像处理效率。提高图像处理效率。提高图像处理效率。

【技术实现步骤摘要】
图像处理方法、装置、设备及计算机可读存储介质


[0001]本申请涉及图像处理技术，尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]目前随着终端技术的发展，图像采集设备的像素越来越高，因此利用图像采集设备采集到的图像或者视频文件的大小也随之增大。为了节省传输带宽、存储空间，JPG压缩技术被广泛应用。在用户对图像进行JPG压缩处理的过程中，会根据网络情况等实际需求采用不同的压缩率将图像进行不同程度的压缩。不同的压缩率会带来不同程度的块状效应、振铃效应和模糊等，导致不同程度的图像质量下降。目前基于深度学习的图像去压缩效应增强算法得到了不错的效果，但是，稳定的网络在去除压缩效应的同时还是会不可避免带来少量细节上的损失。因为简单的利用大范围的JPG压缩系数图片来训练模型，得到一个能够处理不同压缩情况的通用网络，由于网络仅能实现一种确定性映射，因此往往在各个情况下都不能达到最优，落地应用收益太小；而单独分析图像的质量，针对不同压缩情况进行多个网络的训练效率低，资源消耗大，而且对于当前处理的图片，压缩系数情况通常是未知的。

技术实现思路

[0003]本申请实施例提供一种图像处理方法、装置及计算机可读存储介质，能够能够通过自适应的方式确定图像处理的退出阶段，提高图像处理效率。
[0004]本申请实施例的技术方案是这样实现的：本申请实施例提供一种图像处理方法，包括：获取待处理图像，并对该待处理图像进行特征提取，得到该待处理图像的图像特征；基于该图像特征确定控制向量和压缩程度系数，该控制向量用于在图像处理过程中调整图像特征的强度；基于该压缩程度系数和训练好的图像增强子模型的模型结构确定该训练好的图像增强子模型的目标退出阶段；基于该图像特征和该控制向量，获取该训练好的图像增强子模型在达到该目标退出阶段时的图像处理结果；输出该图像处理结果。
[0005]本申请实施例提供一种图像处理装置，包括：第一获取模块，用于获取待处理图像，并对该待处理图像进行特征提取，得到该待处理图像的图像特征；第一确定模块，用于基于该图像特征确定控制向量和压缩程度系数，该控制向量用于在图像处理过程中调整图像特征的强度；
第二确定模块，用于基于该压缩程度系数和训练好的图像增强子模型的模型结构确定该训练好的图像增强子模型的目标退出阶段；图像处理模块，用于基于该图像特征和该控制向量，获取该训练好的图像增强子模型在达到该目标退出阶段时的图像处理结果；输出模块，用于输出该图像处理结果。
[0006]在一些实施例中，该装置还包括：第二获取模块，用于获取训练好的图像处理模型，该训练好的图像处理模型包括：训练好的特征提取子模型，训练好的压缩估计子模型和训练好的图像增强子模型；对应地，该第一获取模块，还用于：利用该训练好的特征提取子模型，对该待处理图像进行特征提取，得到图像特征；第一确定模块，还用于：将该图像特征输入该训练好的压缩估计子模型，得到该控制向量和压缩程度系数。
[0007]在一些实施例中，该第一获取模块，还用于：获取该训练好的特征提取子模型的第一卷积层对应的第一卷积核、第二卷积核和第三卷积核，其中，该第一卷积核、该第二卷积核和该第三卷积核的维度互不相同；分别利用该第一卷积核、该第二卷积核和该第三卷积核对该待处理图像进行卷积处理，得到第一卷积结果、第二卷积结果和第三卷积结果；对该第一卷积结果、该第二卷积结果和该第三卷积结果进行拼接处理，得到拼接结果；通过该训练好的特征提取子模型中的第二卷积层对该拼接结果再进行至少一次卷积处理，得到该待处理图像的图像特征。
[0008]在一些实施例中，该训练好的压缩估计子模型至少包括第三卷积层、池化层和全连接层，该第一确定模块，还用于：利用该第三卷积层对该图像特征进行卷积处理，得到第四卷积结果；利用该池化层对该第四卷积结果进行池化处理，得到池化结果；将该池化结果确定为该控制向量；利用该全连接层将该池化结果进行全连接处理，得到该压缩程度系数。
[0009]在一些实施例中，该第二确定模块，还用于：基于该训练好的图像增强子模型的模型结构确定该训练好的图像增强子模型的处理阶段总数；基于该处理阶段总数确定各个处理阶段对应的各个压缩阈值范围；从各个压缩阈值范围中确定该压缩程度系数所处的目标压缩阈值范围；将该目标压缩阈值范围对应的处理阶段确定为该训练好的图像增强子模型的目标退出阶段。
[0010]在一些实施例中，该图像处理模块，还用于：基于该训练好的图像增强子模型的模型结构和该目标退出阶段，确定该目标退出阶段对应的目标图像增强网络结构；将该图像特征和该控制向量输入至该目标图像增强网络结构，得到该图像处理结果。
[0011]在一些实施例中，该图像处理模块，还用于：利用该控制向量生成图像特征在各个通道的加权系数；基于该加权系数对该图像特征进行调整，得到调整后的图像特征；对该调整后的图像调整进行卷积处理，得到第五卷积结果；当确定需要继续进行图像增强处理时，将该第五卷积结果进行上采样和/或下采样，得到对应的上采样结果和/或下采样结果；将该上采样结果和/或下采样结果确定为中间图像特征，再次利用该控制向量生成中间图像特征在各个通道的加权系数，直至确定不需要继续进行图像增强处理，得到该图像处理结果。
[0012]在一些实施例中，该装置还包括：第三获取模块，用于获取训练数据集，该训练数据集中包括多个训练图像；第四获取模块，用于获取各个训练图像的压缩系数标签和预设的图像处理模型；第五获取模块，用于获取该预设的图像处理模型中的特征提取子模型和压缩估计子模型的第一损失函数，获取该预设的图像处理模型中的图像增强子模型对应的第二损失函数；模型训练模块，用于利用该第一损失函数和第二损失函数对该预设的图像处理模型进行训练，得到训练好的图像处理模型。
[0013]在一些实施例中，该第三获取模块，还用于：获取原始图像集，该原始图像集中包括未经压缩的多个原始图像；对该各个原始图像进行不同程度的压缩处理，得到各个压缩后的图像；对该各个压缩后的图像进行裁剪、旋转中的至少一种处理，得到处理后的多个图像；将该各个压缩后的图像和该处理后的多个图像确定为训练图像集。
[0014]在一些实施例中，该装置还包括：第三确定模块，用于基于训练图像的压缩系数标签、该图像增强子模型的处理阶段总数和预设的超参确定各个处理阶段对应的损失权重系数；第四确定模块，用于利用各个处理阶段对应的损失权重系数确定第二损失函数。
[0015]在一些实施例中，该模型训练模块，还用于：利用该第一损失函数对该特征提取子模型和压缩估计子模型进行预训练，得到预训练后的特征提取子模型和压缩估计子模型；利用预设的第一权值、第二权值、该第一损失函数和该第二损失函数构建联合损失函数；利用该联合损失函数对该预训练后的特征提取子模型和压缩估计子模型、该图像增强子模型进行训练，得到该训练好的图像处理模型。
[0016]本申请实施例提供一种图像处理设备，包括：存储器，用于存储可执行指令；处理器，用于执行该存储器中存储的可执行指令时，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像，并对所述待处理图像进行特征提取，得到所述待处理图像的图像特征；基于所述图像特征确定控制向量和压缩程度系数；基于所述压缩程度系数和训练好的图像增强子模型的模型结构确定所述训练好的图像增强子模型的目标退出阶段；基于所述图像特征和所述控制向量，获取所述训练好的图像增强子模型在达到所述目标退出阶段时的图像处理结果，所述控制向量用于在图像处理过程中调整图像特征的强度；输出所述图像处理结果。2.根据权利要求1中所述的方法，其特征在于，在所述获取待处理图像，并对所述待处理图像进行特征提取，得到所述待处理图像的图像特征之前，所述方法还包括：获取训练好的图像处理模型，所述训练好的图像处理模型包括：训练好的特征提取子模型、训练好的压缩估计子模型和训练好的图像增强子模型；所述对所述待处理图像进行特征提取，得到所述待处理图像的图像特征，包括：利用所述训练好的特征提取子模型，对所述待处理图像进行特征提取，得到图像特征；所述基于所述图像特征确定控制向量和压缩程度系数，包括：将所述图像特征输入所述训练好的压缩估计子模型，得到所述控制向量和所述压缩程度系数。3.根据权利要求2中所述的方法，其特征在于，所述利用所述训练好的特征提取子模型，对所述待处理图像进行特征提取，得到图像特征，包括：获取所述训练好的特征提取子模型的第一卷积层对应的第一卷积核、第二卷积核和第三卷积核，其中，所述第一卷积核、所述第二卷积核和所述第三卷积核的维度互不相同；分别利用所述第一卷积核、所述第二卷积核和所述第三卷积核对所述待处理图像进行卷积处理，得到第一卷积结果、第二卷积结果和第三卷积结果；对所述第一卷积结果、所述第二卷积结果和所述第三卷积结果进行拼接处理，得到拼接结果；通过所述训练好的特征提取子模型中的第二卷积层对所述拼接结果再进行至少一次卷积处理，得到所述待处理图像的图像特征。4.根据权利要求2中所述的方法，其特征在于，所述训练好的压缩估计子模型至少包括第三卷积层、池化层和全连接层，所述将所述图像特征输入所述训练好的压缩估计子模型，得到所述控制向量和所述压缩程度系数，包括：利用所述第三卷积层对所述图像特征进行卷积处理，得到第四卷积结果；利用所述池化层对所述第四卷积结果进行池化处理，得到池化结果；将所述池化结果确定为所述控制向量；利用所述全连接层将所述池化结果进行全连接处理，得到所述压缩程度系数。5.根据权利要求1中所述的方法，其特征在于，所述基于所述压缩程度系数和训练好的图像增强子模型的模型结构确定所述训练好的图像增强子模型的目标退出阶段，包括：基于所述训练好的图像增强子模型的模型结构确定所述训练好的图像增强子模型的处理阶段总数；
基于所述处理阶段总数确定各个处理阶段对应的各个压缩阈值范围；从各个压缩阈值范围中确定所述压缩程度系数所处的目标压缩阈值范围；将所述目标压缩阈值范围对应的处理阶段确定为所述训练好的图像增强子模型的目标退出阶段。6.根据权利要求1中所述的方法，其特征在于，所述基于所述图像特征和所述控制向量，获取所述训练好的图像增强子模型在达到所述目标退出阶段时的图像处理结果，包括：基于所述训练好的图像增强子模型的模型结构和所述目标退出阶段，确定所述目标退出阶段对应的目标图像增强网络结构；将所述图像特征和所述控制向量输入至所述目标图像增强网络结构，得到所述图像处理结果。7...

【专利技术属性】
技术研发人员：陈艺云，陈铭良，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：