基于风格内容自适应归一化姿态引导的图像生成方法技术

本发明专利技术提供一种基于风格内容自适应归一化姿态引导的图像生成方法，属于图像合成技术领域，输入人物图像，在人物图像中选取源图像和目标图像，生成与源图像风格一致，与目标图像姿态相同的目标人物图像，首先，通过使用对齐的多尺度内容转移网络预测目标边缘图预先进行姿态信息转移，不仅保留纹理内容还能够缓解空间错位。其次，利用风格纹理转移网络将源风格特征逐步转移到目标姿态并实现合理的排布，这将由风格自适应归一化生成器来实现，将源风格特征、目标姿态和边缘映射在同一个隐空间，通过自适应的调节源风格和目标姿态来增强风格纹理和内容的一致性，从而保留源风格特征增强目标生成的纹理细节。增强目标生成的纹理细节。

【技术实现步骤摘要】
基于风格内容自适应归一化姿态引导的图像生成方法


[0001]本专利技术属于图像合成
，具体为一种基于风格内容自适应归一化姿态引导的图像生成方法。

技术介绍

[0002]姿态引导的人物图像变换是以人物源图像为条件合成任意目标姿态的图像生成任务。这项课题拥有许多潜在的应用，如视频生成和虚拟试穿等。此外，随着利用深度学习对人类行为的研究越来越深入，使得人物数据的需求激增，因而人体姿态迁移为这些研究提供相应的数据，为进一步的人物行为研究提供大量的数据。
[0003]近几年，利用条件GAN将源图像转换为目标姿态取得了明显的成效。这些方法都是以条件GAN为基础，插入多个重复的模块，通过神经网络学习位姿之间的对应关系，将源图像特征重新组合为目标姿势的图像。但是，这些方法无法保留源风格和空间上下文之间的关系，很难预测清晰合理的目标图像。为解决此问题，基于流的方法预测源与目标之间位置的偏移量，指导源特征扭曲为合理的目标姿态，得到了更加精确真实的纹理图像，但源与目标位姿变化较大，会产生明显的伪影。为了缓解较大姿态变化引起的错位问题，一些方法引入人体解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于风格内容自适应归一化姿态引导的图像生成方法，其特征在于，输入人物图像，在人物图像中选取源图像和目标图像，生成与源图像风格一致，与目标图像姿态相同的目标人物图像，具体包括如下步骤：S1：对人物图像进行人体关键点检测，得到姿态热图；S2：提取人物图像中人体的边缘映射信息，得到边缘图；S3：从人物图像中随机选取两张分别作为源图像和目标图像，根据得到的边缘图和姿态热图，通过对齐的多尺度内容转移网络预测目标图像边缘图；S4：将源图像与目标图像的姿态热图输入至光流估计模型中，获得源图像与目标图像之间的光流图和遮挡掩码信息；S5：将所述光流图、遮挡掩码信息、目标图像姿态热图、源图像输入到局部注意模型中，获得粗糙的目标人物图像；S6：将上述粗糙的目标人物图像、目标图像边缘图和源图像输入到风格自适应归一化生成器中，获得最终的姿态迁移的目标人物图像。2.根据权利要求1所述的基于风格内容自适应归一化姿态引导的图像生成方法，其特征在于，在步骤S1中，利用openpose方法估计人物图像的18个通道的姿态热图，包含18个关键点，鼻子、脖子、左肩膀、左肘、左手腕、右肩膀、右肘、右手腕、左胯部、左膝盖、左脚踝、右胯部、右膝盖、右脚踝、左眼睛、右眼睛、左耳朵和右耳朵，每一个关键点由一个通道来表示，关键点之间相互关联形成人体的骨骼结构。3.根据权利要求1所述的基于风格内容自适应归一化姿态引导的图像生成方法，其特征在于，在步骤S2中，使用扩展高斯差分边缘监测方法提取人物图像的边缘映射信息，得到人物图像中人体的黑白灰度源边缘图。4.根据权利要求1所述的基于风格内容自适应归一化姿态引导的图像生成方法，其特征在于，步骤S3中所述对齐的多尺度内容转移网络由对齐多尺度转移解码器和三个编码器组成；每个编码器均由一个下采样层、一个实例归一化层、一个激活层和一个残差块组成；对齐多尺度转移解码器由反卷积层、实例归一化层、激活函数以及残差块组成，反卷积层使用4X4的卷积核，步长为2，边距为1；将源图像边缘图、源图像姿态热图、目标图像姿态热图分别输入到编码器中得到通道数为256，大小为32X32的特征图，经过注意计算后解码得到目标图像边缘图。5.根据权利要求4所述的基于风格内容自适应归一化姿态引导的图像生成方法，其特征在...

【专利技术属性】
技术研发人员：魏巍，杨霞，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：