基于可变形神经辐射场的三维头部模型重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于可变形神经辐射场的三维头部模型重建方法及装置，该方法包括：对输入视频逐帧进行分割和人脸关键点检测，逐帧拟合参数化模型；对输入视频逐帧提取语义信息，主要包括头发标签和脸部标签；在参数化模型和语义信息的引导下，在输入视频上利用可变形神经辐射场渲染的方式对刚性注册编码、非刚性形变编码和纹理编码、形变量估计模型、拓扑估计模型、带符号距离场估计模型、颜色估计模型和语义信息估计模型进行优化，从而得到逐帧高质量的三维头部模型。高质量的三维头部模型。高质量的三维头部模型。

【技术实现步骤摘要】
基于可变形神经辐射场的三维头部模型重建方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种基于可变形神经辐射场的三维头部模型重建方法及装置。

技术介绍

[0002]近年来，随着计算机技术和通信技术的发展，基于人工智能的数字人表示越来越多的受到人们的关注，其中逼真的头部表示对虚拟数字人的可信度有着非常重要的作用。更进一步，人的头部作为一个人身体中最具代表性的部分，可以提供丰富的信息，比如：人的性别、年龄、情绪、种族、健康状况和性格等等。高质量三维头部重建一直是计算机视觉和图形学领域的研究热点，它在人体数字化和动画等场景中都具有广泛的应用。因此，研究如何获得高质量的三维头部模型具有重要和现实的研究意义。
[0003]在过去，高质量三维头部模型的获取主要有四种渠道：人体扫描，通过借助扫描设备对真实的人进行扫描采集数据，这一方法可以直接获取人的三维信息，但这一类方法所需要的扫描设备价格昂贵，且一般无法对头发进行建模，扫描得到的数据也伴随有缺失和噪声，仍然需要后续的数据处理过程；基于多张图像的重建，从多视角或多光照下采集的图像来进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可变形神经辐射场的三维头部模型重建方法，其特征在于，包括以下步骤：S1：对输入视频逐帧进行头部区域分割和人脸关键点检测，逐帧拟合参数化模型；S2：对输入视频逐帧进行语义信息提取；S3：在参数化模型和语义信息的引导下，在输入视频上利用可变形神经辐射场渲染的方式对刚性注册编码、非刚性形变编码和纹理编码、形变量估计模型、拓扑估计模型、带符号距离场估计模型、颜色估计模型和语义信息估计模型进行优化，得到逐帧三维头部模型。2.根据权利要求1所述的基于可变形神经辐射场的三维头部模型重建方法，其特征在于，步骤S1中，根据头部区域分割结果和人脸关键点，对输入视频逐帧拟合参数化模型，所述参数化模型的系数包括身份、表情、纹理和姿态。3.根据权利要求1所述的基于可变形神经辐射场的三维头部模型重建方法，其特征在于，步骤S2中，逐帧提取的语义信息包括头发标签和脸部标签，所述脸部标签包括眉毛标签、眼睛标签、鼻子标签、嘴巴标签和其余脸部标签。4.根据权利要求1所述的基于可变形神经辐射场的三维头部模型重建方法，其特征在于，步骤S3包括：根据刚性注册编码建立当前帧所对应的空间和基准空间之间的刚性注册关系，得到刚性注册后的三维空间点的位置；将非刚性形变编码作为条件，利用形变量估计模型学习非刚性偏移量，得到基准空间下点的位置；将非刚性形变编码作为条件，利用拓扑估计模型学习当前帧所对应的空间到基准空间的拓扑变化特征；在拓扑变化特征的条件下，利用带符号距离场估计模型学习基准空间下点的带符号距离场和全局几何性质；以视线方向、全局几何性质和纹理编码作为条件，根据基准空间下点的位置和法向，利用颜色估计模型学习沿视线方向每个采样点的颜色值；根据每个采样点上的带符号距离值计算得到采样点密度，根据采样点密度和颜色值得到头部区域的渲染结果。5.根据权利要求4所述的基于可变形神经辐射场的三维头部模型重建方法，其特征在于，利用...

【专利技术属性】
技术研发人员：王雪莹，郭玉东，张举勇，
申请(专利权)人：杭州像衍科技有限公司，
类型：发明
国别省市：