一种从单视点图片生成完整人体纹理贴图的方法技术

本发明专利技术公开一种从单视点图片生成完整人体纹理贴图的方法。该方法包括：随机生成人体姿态和体型参数，得到不同姿态和体型的人体模型，将人体模型和对应的纹理贴图在不同光照、不同视点下渲染生成二维图片；将图片上可见的人体像素映射到模型纹理坐标空间，得到部分人体纹理图；用部分纹理图和对应的完整纹理图做训练数据，训练神经网络将部分纹理图补全为完整的纹理图；输入单视图人体图片，重建人体三维模型，根据可见的像素得到部分纹理图，然后使用训练好的神经网络将其补全为完整的人体纹理图。本发明专利技术通过将图片上的像素映射到人体模型统一的纹理坐标空间，然后用神经网络进行纹理补全，能够从单张人体图片得到三维人体模型的完整纹理贴图。

A Method for Generating Complete Texture Mapping of Human Body from Single View Pictures

【技术实现步骤摘要】
一种从单视点图片生成完整人体纹理贴图的方法
本专利技术属于计算机视觉领域，具体地说，本专利技术涉及一种基于深度学习的从单视点图片生成包含完整纹理贴图的人体三维模型的方法。
技术介绍
三维人体模型在动画制作、影视制作、虚拟现实、人机交互等方面有广泛的应用。传统的三维重建通常需要复杂的采集设备和繁琐的操作流程，如多视点采集系统和激光扫描仪等。而从单张图片中恢复人体三维模型具有速度快、成本低、操作简单等优势，近年来吸引了研究者的广泛关注。目前，从单张图片重建人体三维模型的方法可以分为两大类：第一类是使用参数化人体模型做先验，然后从图片获得模型参数，进而得到人体三维模型。例如，FedericaBogo等人(BogoF,KanazawaA,LassnerC,etal.KeepitSMPL:Automaticestimationof3Dhumanposeandshapefromasingleimage[C]//EuropeanConferenceonComputerVision.Springer,Cham,2016:561-578)提出，首先检测图片上的人体关键点位置，然后用最优化的方法，通过使人体模型上的关键点投影到图片之后与检测到的关键点之间距离尽可能接近，得到人体SMPL(SkinnedMulti-PersonLinearModel)模型的参数。AngjooKanazawa等人(KanazawaA,BlackMJ,JacobsDW,etal.End-to-endrecoveryofhumanshapeandpose[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2018:7122-7131)提出使用图片上标记的人体关键点位置的真值，通过加入对抗损失限制人体姿态参数，直接训练神经网络输出人体SMPL模型参数和相机参数。在AngjooKanazawa等人工作的基础上，HaoZhu等人(ZhuH,ZuoX,WangS,etal.DetailedHumanShapeEstimationfromaSingleImagebyHierarchicalMeshDeformation[J].arXivpreprintarXiv:1904.10506,2019)提出通过神经网络预测人体模型的形变，使其与图片上人的轮廓更好地匹配。另一类方法是使用神经网络直接预测非参数化的人体模型。例如，GulVarol等人(VarolG,RomeroJ,MartinX,etal.Learningfromsynthetichumans[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2017:109-117)提出直接使用神经网络，从图片预测表示为深度图形式的人体模型。AaronS.Jackson等人(JacksonAS,ManafasC,TzimiropoulosG.3dhumanbodyreconstructionfromasingleimageviavolumetricregression[C]//ProceedingsoftheEuropeanConferenceonComputerVision(ECCV).2018:0-0)将人体模型表示为立体像素(Voxel)的形式，使用3D卷积网络预测立体像素的值。但是上述两类方法至少存在以下缺陷：只考虑了恢复出的人体三维模型的形状与图片相匹配，而不包含完整的纹理贴图。由于完整的纹理贴图是逼真的模型不可或缺的一部分，因此现有方法的应用领域受到了限制。
技术实现思路
为了从单张图片生成逼真的人体三维模型，本专利技术提供了一种基于深度学习的根据单视点图片生成人体模型完整纹理贴图的方法。为了实现上述专利技术目的，本专利技术方法采用的技术方案如下：一种从单视点图片生成完整人体纹理贴图的方法，包括如下步骤：S1：随机生成参数化人体模型的姿态和体型参数，得到不同姿态和体型的人体模型；将人体模型和对应的纹理贴图在不同光照和不同视点下渲染生成二维图片；其中，人体模型的参数要满足先验分布，即不会产生不真实的三维人体模型且应涵盖各种常见人体姿态和体型；S2：将步骤S1中渲染生成的二维图片上可见的人体像素映射到人体模型纹理坐标空间，得到部分人体纹理图Iraw，作为神经网络的训练数据；S3：以部分人体纹理图Iraw为输入，以对应的真实纹理图Igt为真值，训练神经网络预测像素流，然后按像素流采样部分纹理图得到粗糙的完整纹理图Iflow；S4：以所述粗糙的完整纹理图Iflow为输入和以对应的真实纹理图Igt为真值训练另一个神经网络，生成纹理图中像素流采样无法得到的部分，得到最终的完整纹理图Ifinal；S5：输入单视图人体图片，使用基于最优化或深度学习的方法从单张图片中获得对应的没有纹理的人体三维模型，根据人体可见部分的像素得到部分纹理图，然后使用步骤S3和S4中训练好的两个神经网络将部分纹理图补全为完整的人体纹理图。进一步地，所述步骤S1中，不同姿态和体型的人体模型由同一个参数化模型生成，因此人体模型面片拓扑和纹理坐标位置都是一致的；对每一个人体模型，通过旋转矩阵实现虚拟视点的变化，通过改变光源方向和强度实现光照的变化。进一步地，所述步骤S2中，部分人体纹理图Iraw的获取方法为：根据对应的视点位置参数和人体模型，检测当前视点下可见的模型面片索引；之后遍历所有可见的面片，根据每个面片三个顶点的纹理坐标，计算纹理图上在三角形内的所有纹理像素的重心坐标；根据重心坐标和面片三个顶点投影到图片上的位置，获得纹理像素投影到图片上的位置；最后将图片上对应位置的像素值赋给所述纹理像素；在遍历所有可见的面片的过程中，在每个面片纹理坐标三角形内的像素视为可见像素，得到一个二值的掩膜M。进一步地，所述步骤S3中，部分纹理图Iraw和表示像素可见性的掩膜M在通道维度上拼接在一起作为网络的输入；网络预测的像素流表示为与纹理图同样大小的两通道图，每个点储存该像素在部分纹理图Iraw上的采样坐标位置；通过神经网络中可导的双线性采样层，网络可以使用输出纹理图与真实纹理图之间的L1范数做损失端到端的训练，网络的损失函数Lflow为：Lflow＝||Igt-Iflow||1。进一步地，所述步骤S4中，神经网络的输入为步骤S3中得到的粗糙的完整纹理图、左右对称翻转之后的粗糙的完整纹理图和掩膜M三者在通道维度上拼接在一起组成的张量；训练过程中的损失包括L1损失对抗损失Ladv、感知损失Lperc和风格损失Lstyle，网络的损失函数为：其中，G表示生成最终完整纹理图的网络，D表示判别器网络；λadv、λperc和λstyle分别是对抗损失、感知损失和风格损失的权重。进一步地，所述步骤S5中，图片对应的人体三维模型与训练阶段使用的模型由同一个参数化模型生成，有相同的面片拓扑和纹理坐标。本专利技术通过将单视点人体图片上的像素映射到人体模型统一的纹理坐标空间，使输入神经网络的部分纹理图具有一致的结构。然后用两个级联的神经网络由粗到精补全部分纹理图，第一个网络预测像素流，通过采样部分纹理图得到粗本文档来自技高网...

【技术保护点】
1.一种从单视点图片生成完整人体纹理贴图的方法，其特征在于，包括如下步骤：S1：随机生成参数化人体模型的姿态和体型参数，得到不同姿态和体型的人体模型；将人体模型和对应的纹理贴图在不同光照和不同视点下渲染生成二维图片；其中，人体模型的参数要满足先验分布，即不会产生不真实的三维人体模型且应涵盖各种常见人体姿态和体型；S2：将步骤S1中渲染生成的二维图片上可见的人体像素映射到人体模型纹理坐标空间，得到部分人体纹理图Iraw，作为神经网络的训练数据；S3：以部分人体纹理图Iraw为输入，以对应的真实纹理图Igt为真值，训练神经网络预测像素流，然后按像素流采样部分纹理图得到粗糙的完整纹理图Iflow；S4：以所述粗糙的完整纹理图Iflow为输入和以对应的真实纹理图Igt为真值训练另一个神经网络，生成纹理图中像素流采样无法得到的部分，得到最终的完整纹理图Ifinal；S5：输入单视图人体图片，使用基于最优化或深度学习的方法从单张图片中获得对应的没有纹理的人体三维模型，根据人体可见部分的像素得到部分纹理图，然后使用步骤S3和S4中训练好的两个神经网络将部分纹理图补全为完整的人体纹理图。

【技术特征摘要】
1.一种从单视点图片生成完整人体纹理贴图的方法，其特征在于，包括如下步骤：S1：随机生成参数化人体模型的姿态和体型参数，得到不同姿态和体型的人体模型；将人体模型和对应的纹理贴图在不同光照和不同视点下渲染生成二维图片；其中，人体模型的参数要满足先验分布，即不会产生不真实的三维人体模型且应涵盖各种常见人体姿态和体型；S2：将步骤S1中渲染生成的二维图片上可见的人体像素映射到人体模型纹理坐标空间，得到部分人体纹理图Iraw，作为神经网络的训练数据；S3：以部分人体纹理图Iraw为输入，以对应的真实纹理图Igt为真值，训练神经网络预测像素流，然后按像素流采样部分纹理图得到粗糙的完整纹理图Iflow；S4：以所述粗糙的完整纹理图Iflow为输入和以对应的真实纹理图Igt为真值训练另一个神经网络，生成纹理图中像素流采样无法得到的部分，得到最终的完整纹理图Ifinal；S5：输入单视图人体图片，使用基于最优化或深度学习的方法从单张图片中获得对应的没有纹理的人体三维模型，根据人体可见部分的像素得到部分纹理图，然后使用步骤S3和S4中训练好的两个神经网络将部分纹理图补全为完整的人体纹理图。2.根据权利要求1所述的一种从单视点图片生成完整人体纹理贴图的方法，其特征在于，所述步骤S1中，不同姿态和体型的人体模型由同一个参数化模型生成，因此人体模型面片拓扑和纹理坐标位置都是一致的；对每一个人体模型，通过旋转矩阵实现虚拟视点的变化，通过改变光源方向和强度实现光照的变化。3.根据权利要求1所述的一种从单视点图片生成完整人体纹理贴图的方法，其特征在于，所述步骤S2中，部分人体纹理图Iraw的获取方法为：根据对应的视点位置参数和人体模型，检测当前视点下可见的模型面...

【专利技术属性】
技术研发人员：曹汛，杨皓天，朱昊，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32