人体姿态迁移方法及装置制造方法及图纸

本发明专利技术公开了一种人体姿态迁移方法及装置，其中方法包括：获取目标人物图像和目标姿态；对目标人物图像进行处理得到原始姿态对应的人体骨骼关节点描述子和人体部位描述子；根据原始姿态对应的人体骨骼关节点描述子对目标姿态对应的人体骨骼关节点进行调整，以得到调整后的人体骨骼关节点描述子，以及将原始姿态对应的人体部位描述子和目标姿态输入到解析生成器以得到目标姿态对应的人体部位描述子；最后将目标人物图像、调整后的人体骨骼关节点描述子和目标姿态对应的人体部位描述子输入到姿态迁移网络以得到生成图像；由此，采用多属性对原姿态和目标姿态下的人体进行描述，并对目标姿态下的人体进行形态自适应，从而提升生成图像的视觉效果。而提升生成图像的视觉效果。而提升生成图像的视觉效果。

【技术实现步骤摘要】
人体姿态迁移方法及装置


[0001]本专利技术涉及图像合成
，特别涉及一种人体姿态迁移方法、一种计算机设备以及一种人体姿态迁移装置。

技术介绍

[0002]人体姿态迁移是一种条件式的图像合成任务，通过给定包含人物的图像以及固定的人物姿态从而生成该人物做出指定姿态的图像，同时保留人物的外观细节；人体姿态迁移在现实中有广泛的应用场景，包括动画制作、电影制作、虚拟换衣等场景；若将该项技术真正应用到这些实际场景中，将节省人力劳动，从而降低时间成本和经济成本；因此人体姿态迁移越来越受到研究者的关注。
[0003]相关技术中，目前人体姿态迁移方法大多集中在理论研究及实验室场景中，尚缺乏现实场景下的一套完整的姿态迁移系统；同时，现有姿态迁移方法在对人体进行描述时往往仅使用骨骼关节点这一描述子，其包含的信息量较少，无法满足现实场景下的用户体验要求；另外，尽管现有的姿态迁移方法在关节姿态方面有很好的生成效果，但是现有方法往往没有考虑到高矮胖瘦等形态外观方面的特征，使得生成图片在形态特征上难以达到现实场景的要求。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种人体姿态迁移方法，无需用户提供成对的输入图像，更符合现实场景下的要求；同时采用多属性对原姿态和目标姿态下的人体进行描述，并对目标姿态下的人体进行人体形态自适应，从而提升生成图像的视觉效果。
[0005]本专利技术的第二个目的在于提出一种计算机设备。
[0006]本专利技术的第三个目的在于提出一种人体姿态迁移装置。
[0007]为达到上述目的，本专利技术第一方面实施例提出了一种人体姿态迁移方法，包括以下步骤：获取目标人物图像和目标姿态；对所述目标人物图像进行处理，以得到所述目标人物图像在原始姿态下的人体骨骼关节点描述子和人体部位描述子；根据所述目标人物图像在原始姿态下的人体骨骼关节点描述子对所述目标姿态对应的人体骨骼关节点进行调整，以得到目标姿态下的人体骨骼关节点描述子，以及将所述目标人物图像在原始姿态下的人体部位描述子和所述目标姿态输入到解析生成器以得到目标姿态下的人体部位描述子；将所述目标人物图像、所述原始姿态下的人体骨骼关节点描述子、所述原始姿态下的人体部位描述子、所述目标姿态下的人体骨骼关节点描述子和所述目标姿态下的人体部位描述子输入到训练好的姿态迁移网络以得到迁移后的目标姿态人物图像。
[0008]根据本专利技术实施例的人体姿态迁移方法，首先获取目标人物图像和目标姿态；然后对目标人物图像进行处理，以得到目标人物图像在原始姿态下的人体骨骼关节点描述子和人体部位描述子；接着根据目标人物图像在原始姿态下的人体骨骼关节点描述子对目标
姿态对应的人体骨骼关节点进行调整，以得到目标姿态下的人体骨骼关节点描述子，以及将目标人物图像在原始姿态下的人体部位描述子和目标姿态输入到解析生成器以得到目标姿态下的人体部位描述子；最后将目标人物图像、原始姿态下的人体骨骼关节点描述子、原始姿态下的人体部位描述子、目标姿态下的人体骨骼关节点描述子和目标姿态下的人体部位描述子输入到训练好的姿态迁移网络以得到迁移后的目标姿态人物图像；由此，无需用户提供成对的输入图像，更符合现实场景下的要求；同时采用多属性对原姿态和目标姿态下的人体进行描述，并对目标姿态下的人体进行人体形态自适应，从而提升生成图像的视觉效果。
[0009]另外，根据本专利技术上述实施例提出的人体姿态迁移方法还可以具有如下附加的技术特征：
[0010]可选地，对所述目标人物图像进行处理，以得到所述目标人物图像在原始姿态下的人体骨骼关节点描述子和人体部位描述子，包括：将所述目标人物图像输入到训练好的关节点检测器以得到所述目标人物图像在原始姿态下的人体骨骼关节点描述子；将所述目标人物图像输入到训练好的人体分割器以得到所述目标人物图像在原始姿态下的人体部位描述子。
[0011]可选地，根据所述目标人物图像在原始姿态下的人体骨骼关节点描述子对所述目标姿态对应的人体骨骼关节点进行调整，以得到目标姿态下的人体骨骼关节点描述子，包括：根据所述目标人物图像在原始姿态下的人体骨骼关节点描述子计算相邻人体骨骼关节点之间的距离，以得到对应的各个人体部位比例和头身比例；根据所述各个人体部位比例在数据集中获取与目标姿态最为接近的人体姿态图像对应的人体骨骼关节点；根据所述头身比例对所述人体姿态图像对应的人体骨骼关节点进行调整，以得到目标姿态下的人体骨骼关节点描述子。
[0012]可选地，将所述目标人物图像在原始姿态下的人体部位描述子和所述目标姿态输入到解析生成器以得到目标姿态下的人体部位描述子，包括：将所述目标人物图像在原始姿态下的人体部位描述子和所述目标姿态输入编码器，以得到嵌入后的潜在特征；将所述潜在特征输入到门控卷积模块，以得到空间变形后的人体解析特征；将所述变形人体解析特输入到解码器，以得到所述目标姿态下的人体部位描述子。
[0013]可选地，所述人体姿态迁移方法还包括：采用人体图像爬虫接口周期性增量爬取网站上浏览量高的人体姿态图像，并更新到自建数据库的数据集中。
[0014]可选地，将所述目标人物图像输入到训练好的关节点检测器以得到所述目标人物图像在原始姿态下的人体骨骼关节点描述子，包括：采用训练好的关节点检测器提取多个人体骨骼关节点，并将所述多个人体骨骼关节点作为所述目标人物图像在原始姿态下的人体骨骼关节点描述子，其中，所述多个人体骨骼关节点包括鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀部、右脚踝、右关节、左臀部、左脚踝、左关节、右眼、左眼、右耳、左耳。
[0015]可选地，将所述目标人物图像输入到训练好的人体分割器以得到所述目标人物图像在原始姿态下的人体部位描述子，包括：采用训练好的人体分割器分割多个人体部位，并将所述多个人体部位作为所述目标人物图像在原始姿态下的人体部位描述子，其中，所述多个人体部位包括头发、上衣、连衣裙、裤子、脸、手臂、大腿、背景。
[0016]可选地，所述姿态迁移网络为GAN生成对抗网络，采用编码器
‑
解码器结构。
[0017]为达到上述目的，本专利技术第二方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的人体姿态迁移方法。
[0018]根据本专利技术实施例的计算机设备，通过存储器对计算机程序进行存储，以使得处理器在执行该人体姿态迁移程序时实现如上述的人体姿态迁移方法，由此，无需用户提供成对的输入图像，更符合现实场景下的要求；同时采用多属性对原姿态和目标姿态下的人体进行描述，并对目标姿态下的人体进行人体形态自适应，从而提升生成图像的视觉效果。
[0019]为达到上述目的，本专利技术第三方面实施例提出了一种人体姿态迁移装置，包括：获取模块，所述获取模块用于获取目标人物图像和目标姿态；多属性描述模块，所述多属性描述模块用于对所述目标人物图像进行处理，以得到所述目标人物图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体姿态迁移方法，其特征在于，包括以下步骤：获取目标人物图像和目标姿态；对所述目标人物图像进行处理，以得到所述目标人物图像在原始姿态下的人体骨骼关节点描述子和人体部位描述子；根据所述目标人物图像在原始姿态下的人体骨骼关节点描述子对所述目标姿态对应的人体骨骼关节点进行调整，以得到目标姿态下的人体骨骼关节点描述子，以及将所述目标人物图像在原始姿态下的人体部位描述子和所述目标姿态输入到解析生成器以得到目标姿态下的人体部位描述子；将所述目标人物图像、所述原始姿态下的人体骨骼关节点描述子、所述原始姿态下的人体部位描述子、所述目标姿态下的人体骨骼关节点描述子和所述目标姿态下的人体部位描述子输入到训练好的姿态迁移网络以得到迁移后的目标姿态人物图像。2.如权利要求1所述的人体姿态迁移方法，其特征在于，对所述目标人物图像进行处理，以得到所述目标人物图像在原始姿态下的人体骨骼关节点描述子和人体部位描述子，包括：将所述目标人物图像输入到训练好的关节点检测器以得到所述目标人物图像在原始姿态下的人体骨骼关节点描述子；将所述目标人物图像输入到训练好的人体分割器以得到所述目标人物图像在原始姿态下的人体部位描述子。3.如权利要求2所述的人体姿态迁移方法，其特征在于，根据所述目标人物图像在原始姿态下的人体骨骼关节点描述子对所述目标姿态对应的人体骨骼关节点进行调整，以得到目标姿态下的人体骨骼关节点描述子，包括：根据所述目标人物图像在原始姿态下的人体骨骼关节点描述子计算相邻人体骨骼关节点之间的距离，以得到对应的各个人体部位比例和头身比例；根据所述各个人体部位比例在数据集中获取与目标姿态最为接近的人体姿态图像对应的人体骨骼关节点；根据所述头身比例对所述人体姿态图像对应的人体骨骼关节点进行调整，以得到目标姿态下的人体骨骼关节点描述子。4.如权利要求2所述的人体姿态迁移方法，其特征在于，将所述目标人物图像在原始姿态下的人体部位描述子和所述目标姿态输入到解析生成器以得到目标姿态下的人体部位描述子，包括：将所述目标人物图像在原始姿态下的人体部位描述子和所述目标姿态输入编码器，以得到嵌入后的潜在特征；将所述潜在特征输入到门控卷积模块，以得到空间变形后的人体解析特征；将所述变形人体解析特输入到解码器，以得到所述目标姿态下的人体部位描述子。5.如权利要求3所述的人体姿态迁移方法，其特征在于，所述人体姿态迁移方法还包括：采用人体图像爬虫接口周期性增量爬取...

【专利技术属性】
技术研发人员：高志斌，林昀浩，方孝轩，张盛，黄联芬，林和志，林英，吴波，黄继翔，戴成，
申请(专利权)人：福建联迪商用设备有限公司，
类型：发明
国别省市：