【技术实现步骤摘要】
一种基于条件可预测参数的图像信息提取与生成方法
本专利技术涉及视觉计算领域，尤其是一种基于条件可预测参数的图像信息提取与生成模型。
技术介绍
在视觉训练领域，先编码再解码的生成器结构，仅仅具有两方面的作用：一个作用是，在编码过程中去除无用信息，提炼有用信息(生成特征)，在解码过程中，利用有用信息(特征)实现特征转化；第二个作用是，在编码过程中可以扩大感受野，增加参数的共享，提高模型的表达能力。而这两方面的作用仅仅体现在编码、解码两个大的结构上，并没有关注其中每一层网络的作用，这也体现了深度学习的黑盒特征。由于深度学习的黑盒特征，为了提高网络模型的表达能力，往往只是增加模型的深度，提高模型参数总量，扩大模型参数空间，增加参数共享，这会导致模型越来越臃肿，参数量越来越大，不利于部署在移动端以及其他内存较少的终端设备上。
技术实现思路
为了解决上述技术问题，本专利技术提出一种基于条件可预测参数的图像信息提取与生成方法，包括如下步骤：步骤1、设计模型生成器，模型生成器基础网络结构采用编码解码结构，在解码层...
【技术保护点】
1.一种基于条件可预测参数的图像信息提取与生成方法，其特征在于，包括如下步骤：/n步骤1、设计模型生成器，模型生成器基础网络结构采用编码解码结构，在解码层中不同阶段的卷积参数均有对应的预测网络进行预测；生成器基础网络中，语义标签图作为输入；在编码阶段：在RGB维度进行扩充，先经过一层卷积核为7*7的卷积层，并将输入的维度扩大为64维，紧接着使用卷积层连续进行3次下采样，输入维度逐步扩充到512维，之后经过9个残差块结构，增加网络深度；在解码阶段：使用卷积加上采样函数连续进行三次上采样，恢复到原先尺寸，最后经过一层卷积层，将输入维度降为3维，进行输出；其中解码阶段3层卷积的卷...
【技术特征摘要】
1.一种基于条件可预测参数的图像信息提取与生成方法，其特征在于，包括如下步骤：
步骤1、设计模型生成器，模型生成器基础网络结构采用编码解码结构，在解码层中不同阶段的卷积参数均有对应的预测网络进行预测；生成器基础网络中，语义标签图作为输入；在编码阶段：在RGB维度进行扩充，先经过一层卷积核为7*7的卷积层，并将输入的维度扩大为64维，紧接着使用卷积层连续进行3次下采样，输入维度逐步扩充到512维，之后经过9个残差块结构，增加网络深度；在解码阶段：使用卷积加上采样函数连续进行三次上采样，恢复到原先尺寸，最后经过一层卷积层，将输入维度降为3维，进行输出；其中解码阶段3层卷积的卷积核参数由3个预测网络给出，整个网络的归一化层均采用实例归一化，激励函数均为Relu函数；
步骤2、设计辨别器，辨别器采用多尺度辨别器结构，两个尺度分别为原尺度，以及降采样两倍后尺度；在每一个尺度上，输入都连续经过4层的下采样卷积层，最后经过一层卷积，在每个位置上输出0或者1，作为预测图像的真假，0代表当前位置预测为假图片，1代表当前位置预测为真图片；
步骤3、进行模型生成器、辨别器的训练；
步骤4、基于训练后的模型生成器、辨别器对输入的图像进行信息提取与生成。
2.根据权利要求1所述的一种基于条件可预测参数的图像信息提取与生成方法，其特征在于，预测网络设计如下：
预测网络参照编码解码结构，首先对传入的语义标签图进行下采样，然后通过解码器对编码后的语义特征图进行上采样，并参照U-net网络结构，将不同级别的特征与原始语义图进行级联，以获得具有全局上下文感知的语义特征图，该语义特征图用于预测条件卷积的参数权重以及条件卷积的注意力权重；引入深度可分离卷积，将卷积核分解为条件深度卷积以及常规点式卷积；条件深度卷积独立地在每个输入通道上执行空间滤波，并且基于语义布局动态预测其空间变化的内核权重。
3.根据权利要求2所述的一种基于条件可预测参数的图像信息提取与生成方法，其特征在于，步骤1中的预测网络进一步设计如下：
所述预测网络为三个不同尺度的参数预测网络，每一个参数预测网络都是先经过下采样卷积操作，使得编码的特征图尺度与卷积输入的尺度相同，然后经过一系列的残差块结构，增加预测网络参数共享，增大感受野，最后由ccblock结构输出预测的参数；每一层卷积层卷积核参数的维度不同，因此不同的参数预测网络下采样层数以及残差块结构数不同；将解码阶段的卷积过程看作是辨别器对应几个阶段卷积下采样的逆，因此，预测的卷积层参数计算输出的结果应该与对应辨别器卷积下采样后的结果相同；训练时，生成器损失函数，额外增加了卷积输出结果与辨别器下采样结果的L1对比损失。...
【专利技术属性】
技术研发人员：金鑫，李凤仪，于明学，肖超恩，
申请(专利权)人：韶鼎人工智能科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。