一种任意姿态行人图片生成方法技术

本发明专利技术公开了一种基于生成对抗网络的任意姿态行人图片生成方法，仅通过将人物图片、图中行人的姿态以及目标迁移姿态的热力图输入生成器网络，即可得到前一位目标姿态的相同人物的图片。由于该方法的生成器中引入了姿态注意力机制，且采用了两个不同的判别器分别进行外貌一致性和姿态一致性的判别，使其能够应对图像变形、几何变换、视角转移等多种复杂情况。并且可以端到端训练。本发明专利技术提出的任意姿态的人物图片生成方法在现有技术思路的基础上进行了创新，采用新颖的结构进行网络模型搭建，相较于之前的方法，所合成的图片更加真实、自然，有很强的实际应用价值。

A method for generating arbitrary pose pedestrian pictures

The invention discloses a method for generating pedestrian pictures with arbitrary postures based on a generating antagonistic network. The method can obtain pictures of the same person with the previous target posture only by inputting the thermodynamic pictures of the person pictures, the pedestrian postures in the pictures and the moving postures of the objects into the generator network. Because of introducing Attitude Attention Mechanism into the generator of this method, and using two different discriminators to discriminate appearance consistency and attitude consistency respectively, it can deal with complex situations such as image deformation, geometric transformation, angle shift and so on. And you can end to end training. Based on the existing technical ideas, the method for generating images of characters with arbitrary postures is innovated and a novel structure is adopted to build a network model. Compared with the previous method, the synthesized images are more realistic and natural, and have a strong practical application value.

【技术实现步骤摘要】
一种任意姿态行人图片生成方法
本专利技术属于计算机视觉
，更具体地，涉及一种任意姿态行人图片生成方法。
技术介绍
在计算机视觉领域中，可以生成看上去更为现实、自然的图片的算法变得越来越受欢迎，这得益于现实生活中对于高质量合成图像的需求变得越来越高。而人物姿态迁移又是一个在该领域中非常活跃的主题。基于人物的姿态迁移的任意姿态行人图片的生成方法具有很多有价值的应用，例如，将不同姿态的行人图片作为视频的某一帧，以此使用同一个人物的姿态图片序列来合成视频。又如，将任意姿态的人物图片生成方法作为数据扩增的一种手段，该手段在进行人物二次识别等任务中尤为有用。随着深度神经网络在计算机视觉中的广泛应用，近几年来，各种新颖的生成式网络结构，例如变分自编码网络和生成对抗网络在图像生成领域都取得了一定的成就。然而，生成高质量的任意姿态的行人图片是一个具有挑战性的任务：由于自然场景下的行人图片往往存在着姿态变形、几何变换以及观察视角的不确定性等因素的影响，使用以前的这些网络结构往往不能达到理想的效果。
技术实现思路
本专利技术的目的在于提供一种任意姿态行人图片生成方法，该图片生成方法使用姿态注意力迁移网络进行编码，再将图像特征编码送入解码器进行姿态迁移行人图片的生成，生成的行人图像平滑、自然，具有很高的质量。为实现上述目的，本专利技术在原有理论基础上进行创新，搭建一种全新的网络结构来解决行人图片的姿态迁移问题，提供了一种任意姿态行人图片生成方法，包括下述步骤：(1)训练任意姿态行人图片生成网络模型，包括如下子步骤：(1.1)对原始姿态行人图片数据集中所有行人的姿态进行评估，得到每个原始姿态行人图片对应的姿态热力图谱，由原始姿态行人图片以及原始姿态行人图片对应的姿态热力图谱构成标准训练数据集；(1.2)定义任意姿态行人图片生成方法网络模型，网络模型由生成器和判别器组成；其中：(1.2.1)生成器有两个组成部分：编码器和解码器。编码器的组成具体描述如下：编码器由N层(我们的方法中取N＝2)卷积神经网络和姿态注意力迁移网络(Pose-AttentionalTransferNetwork，简称PAT网络)组成，而姿态注意力迁移网络则由完全相同的T个(T＝9)姿态注意力迁移模块(PAT模块)连接成的序列组成。首先的N层卷积神经网络用于将图片数据Pc和姿态数据(Sc，St)预处理为各自的特征图和之后的T个姿态注意力迁移模块引入姿态注意力机制，每一个姿态注意力迁移模块中都有两个由conv1-BN-ReLU-conv2-BN组成的小型神经网络convs，用于分别处理图像特征和姿态特征。另外，在处理姿态特征的流水线上，由于sigmoid函数将输入的值压缩在(0,1)这个范围内，而(0,1)之间的值正好可以表征权重系数，于是我们采用sigmoid函数用于将姿态特征转化为相应的权重Wt。该权重用于增强或抑制图像特征中的特定部分。解码器的组成部分具体描述如下：解码器由N层反卷积网络组成，用于完成对图像特征编码的上采样，生成特定姿态图片。(1.2.2)判别器的组成部分具体描述如下：判别器由两个部分组成：外貌一致性判别器和姿态一致性判别器，分别用于处理图像特征和姿态特征。两个判别器采用相同的网络结构：在下采样的2层卷积网络之后，后接3个残差模块，并不采用所有的dropout模块，将ReLu激活函数换成负数区域激活值值为0.2的LeakyReLu，最后后接softmax层，用于将得到的特征图谱转换为一致性得分。(1.3)将标准训练数据集中的原始姿态行人图片以及原始姿态行人图片对应的姿态热力图谱输入生成器来生成姿态迁移行人图片，然后将生成的姿态迁移行人图片和标准训练数据集中的目标姿态行人图片分别作为“假图片”和“真图片”输入至多重判别器中，得到对应的一致性得分；设计相应的损失函数，通过对抗训练分别训练生成器和判别器，得到任意姿态行人图片生成网络模型；输入网络的数据包含：目标姿态行人图片Pt、给定原始姿态行人图片Pc、给定行人图片姿态图谱Sc以及目标姿态图谱St，由这些输入数据生成姿态迁移行人图片Pg。(1.3.1)生成器由两部分组成：编码器和解码器，主要的步骤为：将数据输入至编码器，得到图像特征编码和姿态特征编码，之后将图像特征编码输入解码器，得到最后生成的姿态迁移行人图片Pg。编码器由N层卷积层网络和姿态注意力迁移网络组成，用于得到图像特征编码和姿态特征编码；将原始姿态行人图片Pc作为生成器的输入，经过N层卷积神经网络得到了行人图像特征图将原始姿态热力图谱Sc和目标姿态热力图谱St在深度的维度上进行串接得到新的特征图，将该特征图输入N层卷积层得到将上述步骤得到的特征图输入姿态注意力迁移网络，该网络由T个结构一样的姿态注意力迁移模块组成，在我们的实验中T＝9。以第t个姿态注意力迁移模块为例，输入为代表姿态关节的特征和代表行人样貌的特征姿态注意力迁移网络将以上两个特征分别处理，其中先分别将和输入到由conv1-BN-ReLU-conv2-BN组成的小型卷积网络convs中，得到两个输出特征图以及将代表姿态信息的特征图经过sigmoid函数，使其值的范围为0到1，由此得到了姿态注意力权重Wt，该权重引入了姿态注意力机制，行人特征中表征姿态的部分将会得到加强，其余部分则会被抑制。将Wt和行人图像特征图这两个尺寸一样的特征图进行点积操作，得到注意力机制进行局部增强之后的特征图，之后再将该特征图加上由此得到图像特征编码之后将和经过convs卷积网络的姿态特征图在深度方向上串接起来，得到姿态特征编码一个姿态注意力迁移模块对于图像特征和姿态特征处理完毕后，将该层模块得到的图像特征编码和姿态特征编码送入下一个姿态注意力迁移模块，进行同样的处理，以此不断更新这两个编码，直至最后得到最终的图像特征编码和姿态特征编码将这两个编码输入到解码器网络进行解码。解码器网络由N层反卷积网络组成；编码器的第T层姿态注意力迁移模块最后输出得到图像特征编码和姿态特征编码这里我们不采用姿态特征编码，将图像特征编码输入解码器网络来进行上采样，将经过两层反卷积网络，最后得到给定行人的姿态迁移行人图片Pg。(1.3.2)将得到给定行人的姿态迁移行人图片Pg和标准训练数据集中对应目标姿态的目标图像输入判别器，以计算该生成图像与原行人图像的的外貌一致性、与目标姿态的姿态一致性。其具体实施步骤如下所述：判别器器由两部分组成：外貌一致性判别器DA，用于判别生成器生成图片Pg和给定的原始姿态行人图片Pc的外貌一致性，姿态一致性判别器DS，用于判别生成器生成图片Pg中的行人姿态和目标姿态St之间的一致性。将生成的姿态迁移行人图片Pg和给定的原始姿态行人图片Pc在深度方向上串接在一起，并输入外貌一致性判别器DA进行判别，得到外貌相似度评分RA。同样样将Pg和目标姿态的特征图St在深度方向上进行串接，并输入姿态一致性判别器DS进行判别，得到姿态一致性评分Rs。将这两个评分相乘，得到最后的评分R＝RA*Rs。最终评分R即为综合的一致性得分。(1.3.3)训练采用如下形式的损失函数，该损失函数的意义为，判别器使对于真图像的置信度尽可能大，使假图像的置信度尽可能小：其中LGAN为对抗损失项，LcombL1为组合L1损失本文档来自技高网...

【技术保护点】
1.一种任意姿态行人图片生成方法，其特征在于，所述方法包括下述步骤：(1)训练任意姿态行人图片生成网络模型，包括如下子步骤：(1.1)对原始姿态行人图片数据集中所有行人的姿态进行评估，得到每个原始姿态行人图片对应的姿态热力图谱，由原始姿态行人图片以及原始姿态行人图片对应的姿态热力图谱构成标准训练数据集；(1.2)定义任意姿态行人图片生成网络模型，所述网络模型由生成器和判别器组成，其中生成器包括编码器和解码器，编码器由N层卷积神经网络和姿态注意力迁移网络组成，解码器由N层反卷积网络组成，用于完成对图像特征编码的上采样生成特定姿态图片；判别器由外貌一致性判别器和姿态一致性判别器组成，分别用于处理图像特征和姿态特征；(1.3)将标准训练数据集中的原始姿态行人图片以及原始姿态行人图片对应的姿态热力图谱输入生成器来生成姿态迁移行人图片，然后将生成的姿态迁移行人图片和标准训练数据集中的目标姿态行人图片分别作为“假图片”和“真图片”输入至多重判别器中，得到对应的一致性得分；设计相应的损失函数，通过对抗训练分别训练生成器和判别器，得到任意姿态行人图片生成网络模型；(2)利用上述训练好的网络模型对给定的原始姿态行人图片进行目标姿态人物图片生成：向训练好的网络模型的生成器输入给定原始姿态行人图片以及该行人的姿态热力图谱，并输入目标姿态的热力图谱，生成器的输出即为合成的目标姿态行人图片。...

【技术特征摘要】
1.一种任意姿态行人图片生成方法，其特征在于，所述方法包括下述步骤：(1)训练任意姿态行人图片生成网络模型，包括如下子步骤：(1.1)对原始姿态行人图片数据集中所有行人的姿态进行评估，得到每个原始姿态行人图片对应的姿态热力图谱，由原始姿态行人图片以及原始姿态行人图片对应的姿态热力图谱构成标准训练数据集；(1.2)定义任意姿态行人图片生成网络模型，所述网络模型由生成器和判别器组成，其中生成器包括编码器和解码器，编码器由N层卷积神经网络和姿态注意力迁移网络组成，解码器由N层反卷积网络组成，用于完成对图像特征编码的上采样生成特定姿态图片；判别器由外貌一致性判别器和姿态一致性判别器组成，分别用于处理图像特征和姿态特征；(1.3)将标准训练数据集中的原始姿态行人图片以及原始姿态行人图片对应的姿态热力图谱输入生成器来生成姿态迁移行人图片，然后将生成的姿态迁移行人图片和标准训练数据集中的目标姿态行人图片分别作为“假图片”和“真图片”输入至多重判别器中，得到对应的一致性得分；设计相应的损失函数，通过对抗训练分别训练生成器和判别器，得到任意姿态行人图片生成网络模型；(2)利用上述训练好的网络模型对给定的原始姿态行人图片进行目标姿态人物图片生成：向训练好的网络模型的生成器输入给定原始姿态行人图片以及该行人的姿态热力图谱，并输入目标姿态的热力图谱，生成器的输出即为合成的目标姿态行人图片。2.如权利要求1所述的任意姿态行人图片生成方法，其特征在于，所述步骤(1.2)中的编码器由N层卷积神经网络和姿态注意力迁移网络组成，姿态注意力迁移网络由完全相同的T个姿态注意力迁移模块连接成的序列组成；N层卷积神经网络用于将原始姿态行人图片Pc处理成图像特征图将原始姿态热力图谱Sc和目标姿态热力图谱St处理为姿态特征图之后的T个姿态注意力迁移模块引入姿态注意力机制，每一个姿态注意力迁移模块中都有两个由conv1-BN-ReLU-conv2-BN组成的小型神经网络convs用于分别处理图像特征和姿态特征。3.如权利要求1所述的任意姿态行人图片生成方法，其特征在于，在所述姿态注意力迁移模块中采用sigmoid函数转化姿态特征图中的值使其范围为0到1，由此得到了姿态注意力权重Wt。4.如权利要求1或2所述的任意姿态行人图片生成方法，其特征在于，所述步骤(1.2)中的判别器由两个部分组成：外貌一致性判别器和姿态一致性判别器，分别用于处理图像特征和姿态特征；两个判别器采用相同的网络结构：在下采样的2层卷积网络之后，后接3个残差模块，并不采用所有的dropout模块，将ReLu激活函数换成负数区域激活值值为0.2的LeakyReLu，最后后接softmax层，用于将得到的特征图谱转换为一致性得分。5.如权利要求1或2所述的任意姿态行人图片生成方法，其特征在于，所述步骤(1.3)中将标准训练数据集中的原始姿态行人图片以及原始姿态行人图片对应的原始姿态热力图谱输入生成器来生成姿态迁移行人图片，具体包括：将原始姿态行人图片Pc作为生成器的输入，经过N层卷积神经网络得到了行人图像特征图将原始姿态热力图谱Sc和目标姿态热力图谱St在深度的维度上进行串接得到新的特征图，将该特征图输入N层卷积层得到将上述特征图输入姿态注意力迁移网络，姿态注意力迁移网络将以上两个特征分别处理，该姿态注意力迁移网络由T个完全一样的姿态注意力迁移模块组成，在每个姿态注意力迁移模块中，先分别将和输入到由conv1-BN-ReLU-conv2-BN组成的小型卷积网络convs中，得到两个输出特征图以及将代表姿态信息的特征图经过sigmoid函数，使其值的范围为0到1，由此得到了姿态注意力权重Wt；将Wt和行人图像特征图进行点积操作，得到注意力机制进行局部增强之后的特征图，之后再...

【专利技术属性】
技术研发人员：白翔，朱臻，黄腾腾，石葆光，周漾，高宇哲，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42