【技术实现步骤摘要】
本专利技术涉及计算机图形学与人工智能领域，特别地，涉及一种基于注意力改进生成对抗网络的风景图颜色迁移方法。
技术介绍
1、图像颜色风格迁移，主要通过人工或算法模型方法把目标颜色风格图像中的颜色，转移到要处理的输入图像中，使该输入图像的色彩更具有表现力。其中，风景图包含众多色彩不同的物体(如花，树)，在颜色风格迁移任务中需要使这些物体的颜色在调节后更加协调。
2、生成对抗网络(gan)是目前广泛应用于图像内容生成的深度学习网络，其特点在于通过大量的数据去训练网络，使该网络经训练后，对输入图像进行处理，进而生成具备特定风格的图像数据。然而，当生成对抗网络应用于不同场景的图像颜色风格迁移任务时，在某些情况(如场景中出现众多物体)下，可能图像中物体的颜色不被调整至最佳效果。因此，需要针对特定场景，对生成对抗网络进行一定程度的改进。
3、注意力机制是一种可用于优化特征提取的算法策略，其作用是可以进一步提取图像中目标物体的特征。自注意力机制更是一种高效的提取物体特征的算法，所以可把自注意力机制用于改进图像颜色风格迁移的模型中。
4、另一方面，图像颜色风格迁移技术目前在科技产品也有广泛应用。该技术既可以用于影视作品的表现力增强，也可用于个人照片的色彩调节。目前，传统的算法在调色过程中可能会使图像物体产生扭曲等情况，通过自注意力机制去改进基于生成对抗网络而搭建的模型，可有利于产生更高效，更有表现力的图像作品。
5、现有技术中存在的主要问题是：把生成对抗网络(gan)应用于风景图场景的图像颜色风格迁
技术实现思路
1、本专利技术提供了一种基于注意力改进生成对抗网络的风景图颜色迁移方法，可在风景图颜色迁移过程中，使生成图中的颜色分布更均匀，表现力更好；可实现以较小计算量完成图像颜色迁移任务，且在风景图处理中达到较好结果，可作为未来深入研究图像颜色风格迁移问题的基础网络。
2、本专利技术的技术方案如下：
3、根据本专利技术的一个方面，提供了一种基于注意力改进生成对抗网络的风景图颜色迁移方法，以重着色直方特征对抗生成网络为基础模型，包括：编码器，包含优化特征提取的注意力编码块，用于提取被输入图像的特征图，并进行下采样操作；解码器，用于接收所述编码器与跳跃连接模块传输的特征图，并对属于图像的特征图进行上采样操作；跳跃连接模块，把编码器特征图的潜在特征传送至所述解码器中，获取目标风格图的颜色特征，把所述颜色特征与编码器中的特征图相结合生成新的风格特征，并把新的风格特征传送至重调色模块；以及重调色模块，用于对输入特征图与图像进行不同颜色风格的迁移。
4、可选地，在上述基于注意力改进注意力生成对抗网络的风景图颜色迁移方法中，所述编码器由若干所述注意力编码块组成，第一个注意力编码块接收输入图像，最后一个注意力编码块生成图像对应的特征图，并把它输入至所述解码器中，每一个注意力编码块所生成输出的特征图，一方面会输入至下一层的注意力编码块中，另一方面会传送至所述跳跃连接模块中。
5、可选地，在上述基于注意力改进注意力生成对抗网络的风景图颜色迁移方法中，所述注意力编码块包含卷积层、卷积模块和注意力机制模块；其中，所述卷积模块依次包含卷积层、实例归一化层、激活函数层。
6、可选地，在上述基于注意力改进生成对抗网络的风景图颜色迁移方法中，输入数据被输入至所述注意力编码块后，会先被输入至一层卷积层conv1中进行特征提取操作；在编码器中，第一层注意力编码块的输入数据为图像数据，第二，三，四，五，六层注意力编码块的输入数据均为特征图；然后卷积层conv1所输出的特征图被传送至卷积模块convblock1，convblock1所输出的特征图f会被输入至注意力机制模块中；在所述注意力机制模块中，特征图f经变换操作，转化为查询值query，键值key与内容值value；其中，查询值query与键值key经转化操作(包含矩阵相乘，softmax等操作)得到用于注意力运算的特征图，该特征图与内容值value进行注意力运算，从而生成注意力特征图f1；接着，为了使用注意力特征图去优化从图像中所提取的特征图，根据以下公式，进行特征优化操作：
7、f2 ＝ γ ╳ f1 + f 公式1
8、fattent ＝ α ╳ f2 + β ╳ f 公式2
9、其中，公式1中，f2为使用注意力特征图f1与特征图f进行特征融合后的特征图；γ为系数，取值为0到1；公式2中，fattent为使用特征图f对特征图f2进行特征优化且补充细节信息后得到的已优化注意力特征图；α与β均为系数，且两者取值都为0到1，α+β＝1。已优化注意力特征图fattent则是注意力机制模块的输出结果；
10、接着，已优化注意力特征图fattent会被输入至卷积模块convblock2中进行特征提取，而convblock2的输出特征图会与卷积层conv1所输出的特征图进行相加操作，而相加后的结果会输入至卷积层conv2中。卷积层conv2会对被输入的特征图进行特征提取与下采样操作，其输出的特征图则是所述注意力编码块的最终输出特征图。
11、可选地，在上述基于注意力改进生成对抗网络的风景图颜色迁移方法中，所述解码器由若干个解码块组成：第一个解码块接收来自所述编码器与所述跳跃连接模块所输出的特征图，最后一个解码块生成经上采样后的特征图与图像，每个解码块，一方面会接收来自上一层解码块所生成输出的特征图，另一方面会接收所述跳跃连接模块所输出的同大小的特征图；当完成特征提取与上采样操作后，每个解码块都会把生成的特征图传输至下一层解码块中。
12、可选地，在上述基于注意力改进生成对抗网络的风景图颜色迁移方法中，所述跳跃连接模块包含：提取潜在特征部分，用于接收来自所述编码器中的所述注意力编码块的特征图，先提取图像中物体的潜在特征，然后把包含潜在特征的特征图传送至所述解码器中相同层级的解码块中；以及风格特征提取部分，一方面接收所述编码器中的注意力编码块的特征图，另一方面获取目标风格图的颜色特征，然后把来自所述注意力编码块的特征图与颜色特征相结合，从而生成风格特征；接着，风格特征与噪音数据则会被传送至所述重调色模块中进行颜色风格迁移操作。
13、可选地，在上述基于注意力改进生成对抗网络的风景图颜色迁移方法中，所述重调色模块包括：第一个生成块，用于接受来自所述解码器与所述跳跃连接模块所输出的特征图并输出经处理后的特征图；以及第二个生成块，接收来自上一个生成块与所述跳跃连接模块所输出的特征图，最终输出已生成的包含目标颜色风格的图像，即输出效果图。
14、根据本专利技术的技术方案，产生的有益效果是：
15、本专利技术提出一个新的可优化提取物体语义特征的注意力编码块，提高了深度学习模型在特征提取方面的能力；提出一个新的用于颜色风格迁移的生成对本文档来自技高网...
【技术保护点】
1.一种基于注意力改进生成对抗网络的风景图颜色迁移方法，其特征在于，以重着色直方特征对抗生成网络为基础模型，包括：
2.根据权利要求1所述的基于注意力改进生成对抗网络的风景图颜色迁移方法，其特征在于，所述编码器由若干所述注意力编码块组成，第一个注意力编码块接收输入图像，最后一个注意力编码块生成图像对应的特征图，并把它输入至所述解码器中；每一个注意力编码块所生成输出的特征图，一方面会输入至下一层的注意力编码块中，另一方面会传送至所述跳跃连接模块中。
3.根据权利要求1所述的基于注意力改进生成对抗网络的风景图颜色迁移方法，其特征在于，所述注意力编码块包含卷积层、卷积模块和注意力机制模块；其中，所述卷积模块依次包含卷积层、实例归一化层、激活函数层。
4.根据权利要求3所述的基于注意力改进生成对抗网络的风景图颜色迁移方法，其特征在于，输入数据被输入至所述注意力编码块后(如说明书附图2所示)，会先被输入至一层卷积层Conv1中进行特征提取操作；在所述编码器中，第一层注意力编码块的输入数据为图像数据，第二，三，四，五，六层注意力编码块的输入数据均为特征图；
5.根据权利要求1所述的基于注意力改进生成对抗网络的风景图颜色迁移方法，其特征在于，所述解码器由若干解码块组成：第一个解码块接收来自所述编码器与所述跳跃连接模块所输出的特征图，最后一个解码块生成经上采样后的特征图与图像，每个解码块，一方面会接收来自上一层解码块所生成输出的特征图，另一方面会接收所述跳跃连接模块所输出的同大小的特征图；当完成特征提取与上采样操作后，每个解码块都会把生成的特征图传输至下一层编码块中。
6.根据权利要求1所述的基于注意力改进生成对抗网络的风景图颜色迁移方法，其特征在于，所述跳跃连接模块包含：
7.根据权利要求1所述的基于注意力改进生成对抗网络的风景图颜色迁移方法，其特征在于，所述重调色模块包括：
...【技术特征摘要】
1.一种基于注意力改进生成对抗网络的风景图颜色迁移方法，其特征在于，以重着色直方特征对抗生成网络为基础模型，包括：
2.根据权利要求1所述的基于注意力改进生成对抗网络的风景图颜色迁移方法，其特征在于，所述编码器由若干所述注意力编码块组成，第一个注意力编码块接收输入图像，最后一个注意力编码块生成图像对应的特征图，并把它输入至所述解码器中；每一个注意力编码块所生成输出的特征图，一方面会输入至下一层的注意力编码块中，另一方面会传送至所述跳跃连接模块中。
3.根据权利要求1所述的基于注意力改进生成对抗网络的风景图颜色迁移方法，其特征在于，所述注意力编码块包含卷积层、卷积模块和注意力机制模块；其中，所述卷积模块依次包含卷积层、实例归一化层、激活函数层。
4.根据权利要求3所述的基于注意力改进生成对抗网络的风景图颜色迁移方法，其特征在于，输入数据被输入至所述注意力编码块后(如说明书附图2所示)，会先被输入至一层卷积层conv1中进行特征提取操作；在所述编码器中，第一层注意力编码块的输入数据为图像数据，第二，三，四，五，六层注意力编码块的输入数据均为特征图；然后卷积层conv1所输出的特征图被传送至卷积模块convblock1...
【专利技术属性】
技术研发人员：黎俊良，张世雄，魏文应，邓严萍，肖铁军，
申请(专利权)人：广东博华超高清创新中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。