一种图像处理的方法、模型训练的方法及装置制造方法及图纸

本申请公开一种图像处理的方法，该方法应用于人工智能领域，本申请提供的方法包括获取待处理图像所对应的原始特征图以及采样特征图；基于原始特征图，通过图像处理模型所包括的第一可逆网络获取第一特征图；基于采样特征图，通过图像处理模型所包括的第二可逆网络获取第二特征图；根据第一特征图以及经过上采样处理后的第二特征图获取第三特征图，根据第二特征图以及经过下采样处理后的第一特征图获取第四特征图；基于第三特征图以及第四特征图，通过图像处理模型获取待处理图像对应的图像处理结果。本申请还公开了一种相关装置、设备及存储介质以及模型训练的方法。

An image processing method, model training method and device

【技术实现步骤摘要】
一种图像处理的方法、模型训练的方法及装置
本申请涉及人工智能领域，尤其涉及一种图像处理的方法、模型训练的方法及装置。
技术介绍
随着人工智能的不断推进，计算机视觉是深度学习领域最热门的研究领域之一。其中，计算机视觉是一个跨领域的交叉学科，包括计算机科学、数学、工程学、物理学、生物学和心理学等。基于计算机视觉对图像进行分析和处理的应用也越来越广泛。目前，深度卷积神经网络算法已经广泛应用于图像的处理，例如，使用全卷积网络(FullyConvolutionalNetworks，FCN)对图像进行分割处理，又例如，使用视觉几何群网络(VisualGeometryGroupNetwork，VGG)对图像进行分类处理。然而，无论是使用FCN网络还是VGG网络，都会在下采样的过程中出现信息丢失的情况。尤其对于感兴趣区域较小的图像而言，信息的丢失往往会导致图像分类或者图像分割的效果较差。
技术实现思路
本申请实施例提供了一种图像处理的方法，可以使得原始高分辨率的特征图与下采样得到的特征图进行信息交互，避免因下采样导致信息丢失本文档来自技高网...

【技术保护点】
1.一种图像处理的方法，其特征在于，包括：/n获取待处理图像所对应的原始特征图以及采样特征图，其中，所述待处理图像与所述原始特征图均对应于第一分辨率，所述采样特征图对应于第二分辨率，且所述第二分辨率小于所述第一分辨率；/n基于所述原始特征图，通过图像处理模型所包括的第一可逆网络获取第一特征图，其中，所述第一特征图对应于所述第一分辨率，所述第一可逆网络包括串联的至少一个可逆块，每个可逆块用于执行卷积操作；/n基于所述采样特征图，通过所述图像处理模型所包括的第二可逆网络获取第二特征图，其中，所述第二特征图对应于所述第二分辨率，所述第二可逆网络包括串联的至少一个可逆块；/n根据所述第一特征图以及经过...

【技术特征摘要】
1.一种图像处理的方法，其特征在于，包括：
获取待处理图像所对应的原始特征图以及采样特征图，其中，所述待处理图像与所述原始特征图均对应于第一分辨率，所述采样特征图对应于第二分辨率，且所述第二分辨率小于所述第一分辨率；
基于所述原始特征图，通过图像处理模型所包括的第一可逆网络获取第一特征图，其中，所述第一特征图对应于所述第一分辨率，所述第一可逆网络包括串联的至少一个可逆块，每个可逆块用于执行卷积操作；
基于所述采样特征图，通过所述图像处理模型所包括的第二可逆网络获取第二特征图，其中，所述第二特征图对应于所述第二分辨率，所述第二可逆网络包括串联的至少一个可逆块；
根据所述第一特征图以及经过上采样处理后的所述第二特征图获取第三特征图，根据所述第二特征图以及经过下采样处理后的所述第一特征图获取第四特征图，其中，所述第三特征图对应于所述第一分辨率，所述第四特征图对应于所述第二分辨率；
基于所述第三特征图以及所述第四特征图，通过所述图像处理模型获取所述待处理图像对应的图像处理结果。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图以及经过上采样处理后的所述第二特征图获取第三特征图，根据所述第二特征图以及经过下采样处理后的所述第一特征图获取第四特征图，包括：
基于所述第一特征图，通过所述图像处理模型所包括的第一卷积层获取第一交互特征图，其中，所述第一交互特征图对应于所述第一分辨率；
通过所述图像处理模型所包括的第二卷积层对所述第二特征图进行上采样处理，得到第二交互特征图，其中，所述第二交互特征图对应于所述第一分辨率；
根据所述第一交互特征图以及所述第二交互特征图，生成所述第三特征图；
通过所述图像处理模型所包括的第三卷积层对所述第一特征图进行下采样处理，得到第三交互特征图，其中，所述第三交互特征图对应于所述第二分辨率；
基于所述第二特征图，通过所述图像处理模型所包括的第四卷积层获取第四交互特征图，其中，所述第四交互特征图对应于所述第二分辨率；
根据所述第三交互特征图以及所述第四交互特征图，生成所述第四特征图；
或者，所述根据所述第一特征图以及经过上采样处理后的所述第二特征图获取第三特征图，根据所述第二特征图以及经过下采样处理后的所述第一特征图获取第四特征图，包括：
通过所述图像处理模型所包括的第二卷积层对所述第二特征图进行上采样处理，得到第二交互特征图，其中，所述第二交互特征图对应于所述第一分辨率；
根据所述第一特征图以及所述第二交互特征图，生成所述第三特征图；
通过所述图像处理模型所包括的第三卷积层对所述第一特征图进行下采样处理，得到第三交互特征图，其中，所述第三交互特征图对应于所述第二分辨率；
根据所述第三交互特征图以及所述第二特征图，生成所述第四特征图。


3.根据权利要求1所述的方法，其特征在于，所述基于所述原始特征图，通过图像处理模型所包括的第一可逆网络获取第一特征图，包括：
根据所述原始特征图生成第一输入特征图以及第二输入特征图，其中，所述第一输入特征图以及所述第二输入特征图的通道数之和等于所述原始特征图的通道数；
通过所述图像处理模型所包括的所述第一可逆网络，对所述第一输入特征图以及所述第二输入特征图进行多次卷积操作，得到第一输出特征图；
通过所述图像处理模型所包括的所述第一可逆网络，对所述第一输入特征图以及所述第二输入特征图进行多次卷积操作，得到第二输出特征图；
根据所述第一输出特征图以及所述第二输出特征图，生成所述第一特征图，其中，所述第一特征图的通道数等于所述第一输出特征图以及所述第二输出特征图的通道数之和；
所述基于所述采样特征图，通过所述图像处理模型所包括的第二可逆网络获取第二特征图，包括：
根据所述采样特征图生成第三输入特征图以及第四输入特征图，其中，所述第三输入特征图以及所述第四输入特征图的通道数之和等于所述采样特征图的通道数；
通过所述图像处理模型所包括的所述第二可逆网络，对所述第三输入特征图进行多次卷积操作，得到第三输出特征图；
通过所述图像处理模型所包括的所述第二可逆网络，对所述第四输入特征图进行多次卷积操作，得到第四输出特征图；
根据所述第三输出特征图以及所述第四输出特征图，生成所述第二特征图，其中，所述第二特征图的通道数等于所述第三输出特征图以及所述第四输出特征图的通道数之和。


4.根据权利要求3所述的方法，其特征在于，所述通过所述图像处理模型所包括的所述第一可逆网络，对所述第一输入特征图以及所述第二输入特征图进行多次卷积操作，得到第一输出特征图，包括：
通过所述图像处理模型所包括的所述第一可逆网络，对所述第一输入特征图进行至少一次卷积操作，得到第一中间特征图；
通过所述第一可逆网络所包括的全局平均池化层，对所述第一中间特征图进行池化处理，得到第一特征向量；
通过所述第一可逆网络所包括的全连接层，对所述第一特征向量进行处理，得到第二特征向量，其中，所述第二特征向量是维度大于所述第一特征向量的维度；
采用所述第二特征向量对第一中间特征图进行点乘操作，得到第二中间特征图；
基于所述第二中间特征图以及所述第二输入特征图，通过所述图像处理模型所包括的所述第一可逆网络，获取所述第一输出特征图。


5.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于所述第三特征图以及所述第四特征图，通过所述图像处理模型获取所述待处理图像对应的图像处理结果，包括：
通过所述图像处理模型所包括的第五卷积层获取所述第三特征图的交互特征图，其中，所述第三特征图的交互特征图对应于所述第一分辨率；
通过所述图像处理模型所包括的第六卷积层对所述第四特征图进行上采样处理，得到所述第四特征图的交互特征图，其中，所述第四特征图的交互特征图对应于所述第一分辨率；
根据所述第三特征图的交互特征图以及所述第四特征图的交互特征图，生成所述待处理图像对应的目标特征图；
根据所述待处理图像对应的目标特征图，生成图像分割结果；
向客户端发送所述图像分割结果，以使所述客户端展示所述图像分割结果。


6.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于所述第三特征图以及所述第四特征图，通过所述图像处理模型获取所述待处理图像对应的图像处理结果，包括：
通过所述图像处理模型所包括的第七卷积层对所述第三特征图进行下采样处理，得到所述第三特征图的交互特征图，其中，所述第三特征图的交互特征图对应于所述第二分辨率；
通过所述图像处理模型所包括的第八卷积层获取所述第四特征图的交互特征图，其中，所述第四特征图的交互特征图对应于所述第二分辨率；
基于所述第三特征图的交互特征图以及所述第四特征图的交互特征图，通过所述图像处理模型所包括的第九卷积层获取第一目标特征图；
基于所述第一目标特征图，通过所述图像处理模型所包括的池化层，获取第二目标特征图；
基于所述第二目标特征图，通过所述图像处理模型所包括的全连接层，获取所述待处理图像对应的分类概率分布；
根据分类概率分布确定所述待处理图像对应的图像分类结果；
向客户端发送所述图像分类结果，以使所述客户端展示所述图像分类结果。


7.根据权利要求1所述的方法，其特征在于，所述基于所述第三特征图以及所述第四特征图，通过所述图像处理模型获取所述待处理图像对应的图像处理结果，包括：
基于所述第三特征图，通过所述图像处理模型所包括的第三可逆网络获取第五特征图，其中，所述第五特征图对应于所述第一分辨率，所述第三可逆网络包括串联的至少一个可逆块；
基于所述第四特征图，通过所述图像处理模型所包括的第四可逆网络获取第六特征图，其中，所述第六特征图对应于所述第二分辨率，所述第四可逆网络包括串联的至少一个可逆块；
基于所述第五特征图以及所述第六特征图，通过所述图像处理模型获取所述待处理图像对应的图像处理结果。


8.根据权利要求7所述的方法，其特征在于，所述基于所述第五特征图以及所述第六特征图，通过所述图像处理模型获取所述待处理图像对应的图像处理结果，包括：
通过所述图像处理模型所包括的第五卷积层获取所述第五特征图的交互特征图，其中，所述第五特征图的交互特征图对应于所述第一分辨率；
通过所述图像处理模型所包括的第六卷积层对所述第四特征图进行上采样处理，得到所述第六特征图的交互特征图，其中，所述第六特征图的交互特征图对应于所述第一分辨率；
根据所第五特征图的交互特征图以及所述第六特征图的交互特征图，生成所述待处理图像对应的目标特征图；
根据所述待处理图像对应的目标特征图，生成图像分割结果；
向客户端发送所述图像分类结果，以使所述客户端展示所述图像分割结果。


9.根据权利要求7所述的方法，其特征在于，所述基于所述第五特征图以及所述第六特征图，通过所述图像处理模型获取所述待处理图像对应的图像处理结果，包括：
通过所述图像处理模型所包括的第七卷积层对所述第五特征图进行下采样处理，得到所述第五特征图的交互特征图，其中，所述第五特征图的交互特征图对应于所述第二分辨率；
通过所述图像处理模型所包括的第八卷积层获取所述第六特征图...

【专利技术属性】
技术研发人员：胡一凡，李悦翔，魏东，陈嘉伟，曹世磊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44