基于可变形神经辐射场的三维头部模型重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于可变形神经辐射场的三维头部模型重建方法及装置，该方法包括：对输入视频逐帧进行分割和人脸关键点检测，逐帧拟合参数化模型；对输入视频逐帧提取语义信息，主要包括头发标签和脸部标签；在参数化模型和语义信息的引导下，在输入视频上利用可变形神经辐射场渲染的方式对刚性注册编码、非刚性形变编码和纹理编码、形变量估计模型、拓扑估计模型、带符号距离场估计模型、颜色估计模型和语义信息估计模型进行优化，从而得到逐帧高质量的三维头部模型。高质量的三维头部模型。高质量的三维头部模型。

【技术实现步骤摘要】
基于可变形神经辐射场的三维头部模型重建方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种基于可变形神经辐射场的三维头部模型重建方法及装置。

技术介绍

[0002]近年来，随着计算机技术和通信技术的发展，基于人工智能的数字人表示越来越多的受到人们的关注，其中逼真的头部表示对虚拟数字人的可信度有着非常重要的作用。更进一步，人的头部作为一个人身体中最具代表性的部分，可以提供丰富的信息，比如：人的性别、年龄、情绪、种族、健康状况和性格等等。高质量三维头部重建一直是计算机视觉和图形学领域的研究热点，它在人体数字化和动画等场景中都具有广泛的应用。因此，研究如何获得高质量的三维头部模型具有重要和现实的研究意义。
[0003]在过去，高质量三维头部模型的获取主要有四种渠道：人体扫描，通过借助扫描设备对真实的人进行扫描采集数据，这一方法可以直接获取人的三维信息，但这一类方法所需要的扫描设备价格昂贵，且一般无法对头发进行建模，扫描得到的数据也伴随有缺失和噪声，仍然需要后续的数据处理过程；基于多张图像的重建，从多视角或多光照下采集的图像来进行三维重建，这一方法仍然需要特定的采集设备的搭建，或者是光照条件的设定，在数据采集上仍然具有一定的难度和成本，并且这一方法通常需要复杂的优化过程来保证几何精度；基于单张图像的重建，从采集的单张图像中来进行三维重建，这一方法大大简化了数据采集的过程，使得数据的获取变得方便快捷，但由于单张图像所包含的信息过于单一，所以由单张图像重建出的三维几何可能包含歧义性，仍然不利于投入使用；基于视频序列的重建，从一个人的一段视频中重建出其对应的三维头部模型，随着便携电子设备的采集，一段视频的采集变得越来越快捷，这一方法通常借助于人脸或头部参数化模型，通过拟合每一帧来进行三维重建，这样做的好处是可以得到很好的几何结构信息，但由于受到参数化模型表达能力的限制，这一类方法的几何精度较低，并且无法对头发进行表示。
[0004]而隐式神经辐射场一方面通过隐式函数将显示的三维模型表示转换为空间中点的几何性质，一般是带符号距离场，来对三维几何进行表示，一定程度上提高了三维几何的精度，相比较于传统的显示表示方法更加灵活；另一方面，基于神经辐射场的渲染方式将原本的基于显示模型的渲染方式替换为了模拟真实成像的隐式函数，通过沿视线方向估计图片的颜色和密度特征来进行渲染，从而可以得到与原图非常一致的重建结果。但隐式神经辐射场通常只可以应用在静态场景的重建中，所以为了能够从视频序列中进行三维重建，本专利技术引入变形场。变形场可以将任意帧所对应的空间变形到基准空间下，建立每一帧和基准空间的对应关系，通过对基准空间的进一步建模与渲染就可以得到目标三维模型。

技术实现思路

[0005]本专利技术的目的是提供一种基于可变形神经辐射场的三维头部模型重建方法及装置，以解决上述传统三维头部模型重建技术中所存在的问题。
[0006]本专利技术的目的是通过以下技术方案实现的：根据本专利技术的第一方面，提供一种基于可变形神经辐射场的三维头部模型重建方法，该方法包括以下步骤：S1：对输入视频逐帧进行头部区域分割和人脸关键点检测，逐帧拟合参数化模型；S2：对输入视频逐帧进行语义信息提取；S3：在参数化模型和语义信息的引导下，在输入视频上利用可变形神经辐射场渲染的方式对刚性注册编码、非刚性形变编码和纹理编码、形变量估计模型、拓扑估计模型、带符号距离场估计模型、颜色估计模型和语义信息估计模型进行优化，得到逐帧三维头部模型。
[0007]进一步地，步骤S1中，根据头部区域分割结果和人脸关键点，对输入视频逐帧拟合参数化模型，所述参数化模型的系数包括身份、表情、纹理和姿态。
[0008]进一步地，步骤S2中，逐帧提取的语义信息包括头发标签和脸部标签，所述脸部标签包括眉毛标签、眼睛标签、鼻子标签、嘴巴标签和其余脸部标签。
[0009]进一步地，步骤S3包括：根据刚性注册编码建立当前帧所对应的空间和基准空间之间的刚性注册关系，得到刚性注册后的三维空间点的位置；将非刚性形变编码作为条件，利用形变量估计模型学习非刚性偏移量，得到基准空间下点的位置；将非刚性形变编码作为条件，利用拓扑估计模型学习当前帧所对应的空间到基准空间的拓扑变化特征；在拓扑变化特征的条件下，利用带符号距离场估计模型学习基准空间下点的带符号距离场和全局几何性质；以视线方向、全局几何性质和纹理编码作为条件，根据基准空间下点的位置和法向，利用颜色估计模型学习沿视线方向每个采样点的颜色值；根据每个采样点上的带符号距离值计算得到采样点密度，根据采样点密度和颜色值得到头部区域的渲染结果。
[0010]进一步地，利用语义信息进行引导，以全局几何性质作为条件，利用语义信息估计模型学习每个采样点的语义概率，根据语义概率和采样点密度得到头部区域语义信息的分布情况。
[0011]进一步地，利用参数化模型进行引导，在参数化模型上进行采样，经过以刚性注册编码为条件的刚性注册和以非刚性形变编码为条件的形变量估计模型后得到基准空间下的采样点；经过以非刚性形变编码为条件的拓扑估计模型后得到拓扑变化特征；以拓扑变化特征作为条件，通过带符号距离场估计模型对基准空间下的采样点估计带符号距离场。
[0012]进一步地，根据图像真实度损失函数、语义一致性损失函数和带符号距离正则损失函数，反向传播更新刚性注册编码、非刚性形变编码和纹理编码、形变量估计模型、拓扑估计模型、带符号距离场估计模型、颜色估计模型和语义信息估计模型。
[0013]进一步地，根据可变形神经辐射场渲染得到的图像和原图像计算图像真实度损失函数；根据交叉熵函数计算估计出的语义信息与提取出的语义信息的语义一致性损失函数；根据参数化模型的带符号距离场计算带符号距离正则损失函数。
[0014]进一步地，所述形变量估计模型、拓扑估计模型、带符号距离场估计模型、颜色估计模型和语义信息估计模型均为神经网络模型，均依次包括输入层、非线性层、全连接层和输出层。
[0015]根据本专利技术的第二方面，提供一种基于可变形神经辐射场的三维头部模型重建装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述基于可变形神经辐射场的三维头部模型重建方法。
[0016]本专利技术的有益效果是：1）刚性注册编码的使用为不同姿态下的空间对齐提出了一种很自然的解决方案，同时形变量估计模型的使用解决了非刚性形变的问题；2）隐式神经辐射场用带符号距离场来表示头部几何，解决了参数化模型表达能力不够丰富的问题，提高了三维头部模型重建的精度，同时基于神经辐射场的渲染方式可以得到与输入图像高度一致的渲染结果；3）参数化模型和语义信息的使用为优化过程提供了一定的引导，为高质量三维头部模型的重建提供了先验。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图做简单的介绍，显而易见得，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可变形神经辐射场的三维头部模型重建方法，其特征在于，包括以下步骤：S1：对输入视频逐帧进行头部区域分割和人脸关键点检测，逐帧拟合参数化模型；S2：对输入视频逐帧进行语义信息提取；S3：在参数化模型和语义信息的引导下，在输入视频上利用可变形神经辐射场渲染的方式对刚性注册编码、非刚性形变编码和纹理编码、形变量估计模型、拓扑估计模型、带符号距离场估计模型、颜色估计模型和语义信息估计模型进行优化，得到逐帧三维头部模型。2.根据权利要求1所述的基于可变形神经辐射场的三维头部模型重建方法，其特征在于，步骤S1中，根据头部区域分割结果和人脸关键点，对输入视频逐帧拟合参数化模型，所述参数化模型的系数包括身份、表情、纹理和姿态。3.根据权利要求1所述的基于可变形神经辐射场的三维头部模型重建方法，其特征在于，步骤S2中，逐帧提取的语义信息包括头发标签和脸部标签，所述脸部标签包括眉毛标签、眼睛标签、鼻子标签、嘴巴标签和其余脸部标签。4.根据权利要求1所述的基于可变形神经辐射场的三维头部模型重建方法，其特征在于，步骤S3包括：根据刚性注册编码建立当前帧所对应的空间和基准空间之间的刚性注册关系，得到刚性注册后的三维空间点的位置；将非刚性形变编码作为条件，利用形变量估计模型学习非刚性偏移量，得到基准空间下点的位置；将非刚性形变编码作为条件，利用拓扑估计模型学习当前帧所对应的空间到基准空间的拓扑变化特征；在拓扑变化特征的条件下，利用带符号距离场估计模型学习基准空间下点的带符号距离场和全局几何性质；以视线方向、全局几何性质和纹理编码作为条件，根据基准空间下点的位置和法向，利用颜色估计模型学习沿视线方向每个采样点的颜色值；根据每个采样点上的带符号距离值计算得到采样点密度，根据采样点密度和颜色值得到头部区域的渲染结果。5.根据权利要求4所述的基于可变形神经辐射场的三维头部模型重建方法，其特征在于，利用...

【专利技术属性】
技术研发人员：王雪莹，郭玉东，张举勇，
申请(专利权)人：杭州像衍科技有限公司，
类型：发明
国别省市：