当前位置: 首页 > 专利查询>南京大学专利>正文

一种从单视点图片生成完整人体纹理贴图的方法技术

技术编号:22078116 阅读:67 留言:0更新日期:2019-09-12 14:58
本发明专利技术公开一种从单视点图片生成完整人体纹理贴图的方法。该方法包括:随机生成人体姿态和体型参数,得到不同姿态和体型的人体模型,将人体模型和对应的纹理贴图在不同光照、不同视点下渲染生成二维图片;将图片上可见的人体像素映射到模型纹理坐标空间,得到部分人体纹理图;用部分纹理图和对应的完整纹理图做训练数据,训练神经网络将部分纹理图补全为完整的纹理图;输入单视图人体图片,重建人体三维模型,根据可见的像素得到部分纹理图,然后使用训练好的神经网络将其补全为完整的人体纹理图。本发明专利技术通过将图片上的像素映射到人体模型统一的纹理坐标空间,然后用神经网络进行纹理补全,能够从单张人体图片得到三维人体模型的完整纹理贴图。

A Method for Generating Complete Texture Mapping of Human Body from Single View Pictures

【技术实现步骤摘要】
一种从单视点图片生成完整人体纹理贴图的方法
本专利技术属于计算机视觉领域,具体地说,本专利技术涉及一种基于深度学习的从单视点图片生成包含完整纹理贴图的人体三维模型的方法。
技术介绍
三维人体模型在动画制作、影视制作、虚拟现实、人机交互等方面有广泛的应用。传统的三维重建通常需要复杂的采集设备和繁琐的操作流程,如多视点采集系统和激光扫描仪等。而从单张图片中恢复人体三维模型具有速度快、成本低、操作简单等优势,近年来吸引了研究者的广泛关注。目前,从单张图片重建人体三维模型的方法可以分为两大类:第一类是使用参数化人体模型做先验,然后从图片获得模型参数,进而得到人体三维模型。例如,FedericaBogo等人(BogoF,KanazawaA,LassnerC,etal.KeepitSMPL:Automaticestimationof3Dhumanposeandshapefromasingleimage[C]//EuropeanConferenceonComputerVision.Springer,Cham,2016:561-578)提出,首先检测图片上的人体关键点位置,然后用最优化的方法,通过使本文档来自技高网...

【技术保护点】
1.一种从单视点图片生成完整人体纹理贴图的方法,其特征在于,包括如下步骤:S1:随机生成参数化人体模型的姿态和体型参数,得到不同姿态和体型的人体模型;将人体模型和对应的纹理贴图在不同光照和不同视点下渲染生成二维图片;其中,人体模型的参数要满足先验分布,即不会产生不真实的三维人体模型且应涵盖各种常见人体姿态和体型;S2:将步骤S1中渲染生成的二维图片上可见的人体像素映射到人体模型纹理坐标空间,得到部分人体纹理图Iraw,作为神经网络的训练数据;S3:以部分人体纹理图Iraw为输入,以对应的真实纹理图Igt为真值,训练神经网络预测像素流,然后按像素流采样部分纹理图得到粗糙的完整纹理图Iflow;S...

【技术特征摘要】
1.一种从单视点图片生成完整人体纹理贴图的方法,其特征在于,包括如下步骤:S1:随机生成参数化人体模型的姿态和体型参数,得到不同姿态和体型的人体模型;将人体模型和对应的纹理贴图在不同光照和不同视点下渲染生成二维图片;其中,人体模型的参数要满足先验分布,即不会产生不真实的三维人体模型且应涵盖各种常见人体姿态和体型;S2:将步骤S1中渲染生成的二维图片上可见的人体像素映射到人体模型纹理坐标空间,得到部分人体纹理图Iraw,作为神经网络的训练数据;S3:以部分人体纹理图Iraw为输入,以对应的真实纹理图Igt为真值,训练神经网络预测像素流,然后按像素流采样部分纹理图得到粗糙的完整纹理图Iflow;S4:以所述粗糙的完整纹理图Iflow为输入和以对应的真实纹理图Igt为真值训练另一个神经网络,生成纹理图中像素流采样无法得到的部分,得到最终的完整纹理图Ifinal;S5:输入单视图人体图片,使用基于最优化或深度学习的方法从单张图片中获得对应的没有纹理的人体三维模型,根据人体可见部分的像素得到部分纹理图,然后使用步骤S3和S4中训练好的两个神经网络将部分纹理图补全为完整的人体纹理图。2.根据权利要求1所述的一种从单视点图片生成完整人体纹理贴图的方法,其特征在于,所述步骤S1中,不同姿态和体型的人体模型由同一个参数化模型生成,因此人体模型面片拓扑和纹理坐标位置都是一致的;对每一个人体模型,通过旋转矩阵实现虚拟视点的变化,通过改变光源方向和强度实现光照的变化。3.根据权利要求1所述的一种从单视点图片生成完整人体纹理贴图的方法,其特征在于,所述步骤S2中,部分人体纹理图Iraw的获取方法为:根据对应的视点位置参数和人体模型,检测当前视点下可见的模型面...

【专利技术属性】
技术研发人员:曹汛杨皓天朱昊
申请(专利权)人:南京大学
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1