一种基于区域间注意力机制的图像信息提取与生成方法技术

本发明专利技术提出一种基于区域间注意力机制的图像信息提取与生成方法，包括如下步骤：步骤1：生成器编码阶段，将训练集中的语义标签图作为输入，划分为四个分支进行编码，得到四个分支图像；步骤2：生成器解码阶段，将编码阶段生成的四个分支图像进行拼接，生成假图像，作为辨别器训练的输入；步骤3：辨别器训练阶段，将训练集中的语义标签图分别与训练集真实图像、生成器生成的假图像在通道维度上进行拼接，作为辨别器的输入；辨别器分为两个尺度，分别为原尺度，以及降采样两倍后尺度；在每一个尺度上，输入都连续经过4层的下采样卷积层，最后经过一层卷积，在每个位置上输出0或者1，作为预测图像的真假——0代表当前位置预测为假图像，1代表当前位置预测为真图像。

A method of image information extraction and generation based on inter region attention mechanism

【技术实现步骤摘要】
一种基于区域间注意力机制的图像信息提取与生成方法
本专利技术是一种基于区域间注意力机制的图像信息提取与生成方法，属于计算机视觉图像信息提取与图像生成领域。
技术介绍
随着大数据技术的深入应用以及CPU和GPU计算能力的不断提高，深度学习已经在计算机视觉、数据处理、自然语言应用、自动驾驶等方面受到了广泛的关注。但从深度学习诞生至今，数据集匮乏的问题就一直阻碍着深度学习的发展。为了解决图像领域数据集匮乏的问题，图像生成开始受到业界的关注，并快速发展。不仅如此，图像生成也在其他许多重要的领域，例如在导航、图像色彩变换、图像创作等诸多领域都有十分广阔的应用场景和研究意义。GAN(对抗式生成模型，GenerativeAdversarialNets)的发展起源于2014年。GAN包括两个相互对抗的部分，一个是生成器，想要生成数据集所代表的数据分布。一个是判别器，判断生成的数据是否为真实数据。两者相互对抗，共同学习到最优状态。GAN的思想源自博弈论的二人零和博弈，通过不断地对抗学习，从而达到最优地状态。GAN网络的出现，为图像生成领域提供了一本文档来自技高网...

【技术保护点】
1.一种基于区域间注意力机制的图像信息提取与生成方法，其特征在于，包括如下步骤：/n步骤1：生成器编码阶段，将训练集中的语义标签图作为输入，划分为四个分支进行编码，得到四个分支图像；/n步骤2：生成器解码阶段，将编码阶段生成的四个分支图像进行拼接，生成假图像，作为辨别器训练的输入；/n步骤3：辨别器训练阶段，将训练集中的语义标签图分别与训练集真实图像、生成器生成的假图像在通道维度上进行拼接，作为辨别器的输入；辨别器分为两个尺度，分别为原尺度，以及降采样两倍后尺度；在每一个尺度上，输入都连续经过4层的下采样卷积层，最后经过一层卷积，在每个位置上输出0或者1，作为预测图像的真假——0代表当前位置预...

【技术特征摘要】
1.一种基于区域间注意力机制的图像信息提取与生成方法，其特征在于，包括如下步骤：
步骤1：生成器编码阶段，将训练集中的语义标签图作为输入，划分为四个分支进行编码，得到四个分支图像；
步骤2：生成器解码阶段，将编码阶段生成的四个分支图像进行拼接，生成假图像，作为辨别器训练的输入；
步骤3：辨别器训练阶段，将训练集中的语义标签图分别与训练集真实图像、生成器生成的假图像在通道维度上进行拼接，作为辨别器的输入；辨别器分为两个尺度，分别为原尺度，以及降采样两倍后尺度；在每一个尺度上，输入都连续经过4层的下采样卷积层，最后经过一层卷积，在每个位置上输出0或者1，作为预测图像的真假——0代表当前位置预测为假图像，1代表当前位置预测为真图像。


2.根据权利要求1所述的一种基于区域间注意力机制的图像信息提取与生成方法，其特征在于，步骤1具体包括：
生成器编码阶段：先经过一层卷积扩充维度到64维，经过3次卷积进行下采样，同时将维度扩大到512维；然后网络分为四个分支，分别用于生成左上角，右上角，左下角，右下角图像；每个分支先经过一层自注意力层，获取区域间的长距离依赖关系，再通过6个残差块结构，增加网络深度，再经过一层自注意力层，进一步提取依赖关系。


3.根据权利要求1所述的一种基于区域间注意力机制的图像信息提取与生成方法，其特征在于，步骤2具体包括：
生成器解码阶段：将解码阶段划分的4个分支进行...

【专利技术属性】
技术研发人员：金鑫，李凤仪，肖超恩，于明学，
申请(专利权)人：韶鼎人工智能科技有限公司，
类型：发明
国别省市：北京;11