【技术实现步骤摘要】
本专利技术属于图像合成领域，尤其是针对人体姿态迁移的图像合成技术。具体为一种基于生成对抗网络的姿态引导的人物图像生成方法。
技术介绍
1、近年来，随着深度学习技术的不断完善与发展，使得姿态引导的人物图像生成成为计算机视觉领域备受关注的研究方向。该技术通过融合姿态信息与图像生成技术，能够生成具有特定姿态的逼真人物图像，并同时保留其外观细节。因此，姿态引导的人物图像生成方法受到广泛的关注和研究，且在虚拟试穿、视频生成、人物重识别等领域具有广泛的应用潜力。
2、现有的人体姿态迁移方法虽然都合成了较为逼真的人物图像，但在人物姿态转换中由于关键点对应稀疏，姿态和纹理变化较大，编辑能力有限，无法准确捕捉源图像与目标图像之间的纹理形状和样式信息映射，并且在使用注意力的方法时没有明确地学习不同姿势之间的空间转换，在多次传输过程中可能会丢失信息，从而导致细节模糊，生成的人物图像较差。
技术实现思路
1、针对现有技术的不足，本专利技术提供一种基于生成对抗网络的姿态引导的人物图像生成方法，可以生成结构准确、逼真的图像，产生了更精细的外观纹理和逼真的结果，更加保留源图像衣服纹理等相关特征。
2、本专利技术为解决其技术问题所采用的技术方案是：
3、一种基于生成对抗网络的姿态引导的人物图像生成方法，步骤包括：
4、s1、数据预处理：利用关节点检测器hpe提取人体姿态，再将固定人物及对应姿态分为一组，对每组中的图片进行排列组合形成数据集，将数据集分为训练集和测试集
5、s2、训练粗目标图像生成阶段网络得到粗略人物图像：将源图像xs，源姿态ps和目标姿态pt作为输入，经过编码器en1、残差块、解码器de1，输出与目标姿态一致的粗略人物图像
6、s3、训练纹理细化网络阶段生成具有特定姿态的逼真人物图像：由三种类型的输入：源图像xs、源图像xs与源姿态ps的联合、粗略人物图像与目标姿态pt的联合，经过编码器en2、en3，得到源图像纹理源姿态变化目标姿态变化之后将源图像纹理源姿态变化目标姿态变化分别作为纹理迁移模块ttm的输入，之后将纹理迁移模块ttm的输出通过解码器de2，得到具有特定姿态的逼真人物图像；
7、s4、采用损失函数训练包含s2、s3两个阶段人物图像生成的网络模型。
8、进一步的，步骤s2具体包括：
9、s2_1：首先将源图像xs，源姿态ps和目标姿态pt作为输入，将其使用cat函数按照每一行并排融合生成一个新的特征图张量；
10、s2_2：将融合生成的新的特征图张量经过3层编码器en1：每一层编码器en1先对特征图进行卷积核为4×4大小的包含归一化操作和激活函数的卷积操作实现下采样，即特征图的尺寸减半；然后对特征图进行卷积核为3×3大小的卷积操作，以在不改变特征图尺寸的情况下，通过卷积操作对特征图进行局部信息的提取和特征增强；三层编码器en1维度变化依次为3->64，64->128，128->256；最后编码器en1输出分辨率为32×32，维度为256的特征张量；
11、s2_3：将编码器en1输出的特征张量放入残差块中得到一个分辨率不变、维度不变的特征张量，残差块内流程为：先通过两层卷积核大小为3×3卷积层，之后再使特征张量通过卷积核大小为1×1卷积层与其进行跳跃连接来捕捉输入特征的细节；
12、s2_4：将从残差块得到的特征张量作为解码器de1的输入，输出粗略人物图像x～t；解码器de1流程：首先对输入的特征张量进行卷积核为3×3的卷积操作；然后进行卷积核为3×3大小，步长为2的转置卷积操作；之后再与输入的特征张量进行转置卷积操作得到的结果进行跳跃连接；之后重复两次上述操作得到分辨率为256×256，维度为64的特征图，对其进行一次卷积核为3×3的卷积操作，使其维度变为3，即将其转化为rgb图片的格式。
13、进一步的，步骤s3具体包括：
14、s3_1：纹理细化网络阶段由三种类型的输入：源图像xs、源图像xs与源姿态ps的联合、粗略人物图像与目标姿态pt的联合，经过编码器en2、en3，得到源图像纹理源姿态变化目标姿态变化其中源图像xs和源姿态ps的编码器en2与粗略人物图像和目标姿态pt的编码器en3共享一个权重；
15、s3_2：将源图像纹理源姿态变化目标姿态变化作为纹理迁移模块ttm的输入，纹理迁移模块ttm的结构采用多头注意力机制mha和多层感知机制mlp，并将其分为源姿态变换纹理和目标姿态变换纹理两部分；
16、s3_3：将纹理迁移模块ttm得到的目标变换纹理tt通过解码器de2，最后将解码器de2的每一层输出通过跳跃链接to-rgb,对其进行上采样，求和得到具有特定姿态的逼真人物图像。
17、进一步的，步骤s3_2具体包括：
18、s3_2a：在源姿态变换纹理中，将源姿态变化进行残差和多头注意力机制处理得到ts1，之后再对ts1进行批量归一化与多层感知机制处理得到ts2，然后再对ts2进行批量归一化与多头注意力机制处理得到ts3，最后再对ts3进行批量归一化与多层感知机制处理得到源变化纹理ts；ts1，ts2，ts3，ts公式如下所示：
19、
20、ts2＝bn(ts1)+mlp(bn(ts1))
21、ts3＝bn(ts2)+mha(bn(ts2),bn(ts2),bn(ts2))
22、ts＝bn(bn(ts3)+mlp(bn(ts3)))
23、其中，res表示残差处理，mha表示多头注意力机制处理，bn表示批量归一化处理，mlp表示多层感知机制处理；
24、s3_2b：在目标姿态变换纹理中，首先将目标姿态变化进行残差和多头注意力机制处理得到tt1，之后再对tt1进行批量归一化与多头注意力机制处理得到tt2，然后对tt2进行批量归一化与多层感知机制处理得到tt3，然后对tt3进行批量归一化与多头注意力机制处理得到tt4，之后对tt4进行批量归一化与多头注意力机制处理得到tt5，最后对tt5进行批量归一化和多层感知机制处理得到目标变换纹理tt；tt1，tt2，tt3，tt4，tt5，tt的公式如下所示：
25、
26、
27、tt3＝bn(tt2)+mlp(bn(tt2))
28、tt4＝bn(tt3)+mha(bn(tt3),bn(tt3),bn(tt3))
29、
30、tt＝bn(bn(tt5)+mlp(bn(tt5)))
31、其中，res表示残差处理，mha表示多头注意力机制处理，bn表示批量归一化处理，mlp表示多层感知机制处理。
32、进一步的，步骤s4具体为：
33、整个网络模型损失函数用以下公式表达：
34、l＝lctig+ltrn
3本文档来自技高网...
【技术保护点】
1.一种基于生成对抗网络的姿态引导的人物图像生成方法，其特征步骤包括：
2.根据权利要求1所述的基于生成对抗网络的姿态引导的人物图像生成方法，其特征在于，步骤S2具体包括：
3.根据权利要求1所述的基于生成对抗网络的姿态引导的人物图像生成方法，其特征在于，步骤S3具体包括：
4.根据权利要求3所述的基于生成对抗网络的姿态引导的人物图像生成方法，其特征在于，步骤S3_2具体包括：
5.根据权利要求1所述的基于生成对抗网络的姿态引导的人物图像生成方法，其特征在于，步骤S4具体为：
6.根据权利要求5所述的基于生成对抗网络的姿态引导的人物图像生成方法，其特征在于，
【技术特征摘要】
1.一种基于生成对抗网络的姿态引导的人物图像生成方法，其特征步骤包括：
2.根据权利要求1所述的基于生成对抗网络的姿态引导的人物图像生成方法，其特征在于，步骤s2具体包括：
3.根据权利要求1所述的基于生成对抗网络的姿态引导的人物图像生成方法，其特征在于，步骤s3具体包括：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。