基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法技术

本发明专利技术公开了一种基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法。基于网格blendshape基底重建输入的RGB视频；通过求解逆向渲染问题，得到表情系数和相机参数；将每一帧人头部分分割出来，得到头部语义分割图；用每一帧的表情系数组合神经辐射场基底，得到多分辨率哈希表，令采样点在多分辨率哈希表上进行查询得到体素特征，用多层感知机将体素特征转换为采样点RGB和体密度，通过体渲染得到渲染图像；在采样过程中使用密度格阵记录空间中的密度信息来指导采样，并采用考虑表情系数的密度格阵更新策略，充分考虑人脸各表情所能达到的最大范围。通过对基底以及多层感知机的优化训练，最终得到高质量个性化的神经辐射场人头参数化模型。经辐射场人头参数化模型。经辐射场人头参数化模型。

【技术实现步骤摘要】
基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法。

技术介绍

[0002]3D人脸/头部表示是计算机视觉和计算机图形学中的一个重要研究问题，在AR/VR、数字游戏和电影行业有着广泛的应用。如何表示动态人头场景并从单目RGB视频中保真地重建人头模型是一个重要且具有挑战性的研究课题。用低维系数表达人头的参数化头部模型，如blendshape基底，已经被研究和改进了很长时间。Blendshape基底用表情系数线性组合人头表情基底来生成人脸几何。它的优点有两个：一是这是一种语义参数化，表情系数的大小可以表征特定某一表情基对最终组合结果的影响。二是blendshape基底构建了一个合理的低维变形空间，可以降低用户编辑人脸表情的难度。
[0003]目前的如FaceWarehouse和FLAME等显式的blendshape基底旨在对具有不同表情的不同个体进行建模，因此可能会忽略很多个性化的几何和纹理细节。为了构建个性化的blendshape基底，传统的基于网格的方法通常采用变形迁移(deformation transfer)或构建多线性张量的人脸三维模型。然而，这些方法通常具有以下缺点。第一，基于网格的参数化显式模型很难表示非面部部分，如头发和牙齿。第二，如果要使用RGB监督，必须使用近似可微渲染技术来缓解不可微问题。第三，由于表示能力有限，变形迁移不能真实地重建表情。最后，面部表情受年龄以及肌肉运动等许多因素有关，而这些因素很难被一个泛化的显式blendshape基底模型表达。
[0004]最近，基于神经辐射场(NeRF)的方法使得合成逼真的头部图像成为可能。一些工作将神经辐射场与生成对抗网络结合。然而，这种生成模型将表情与身份耦合在一起，带来了表情编辑任务的困难。HeadNeRF提出了一种策略来解耦人头神经辐射场的不同的语义属性，但是受限于其本身泛化模型的容量，很难精确建模个性化的人脸细节还有人脸动态规律。AD
‑
NeRF和NerFACE可以生成高度个性化的面部动画，他们的一人一训的策略使得模型可以学习到更多个性化的面部细节。然而，由于其使用了傅里叶编码以及张量拼接(concatenate)的策略，他们往往需要很长时间才能训练出一个合理的动态人头场。尽管已经有不少方法来加速静态神经辐射场的训练和推理，但如何实现对动态场景(例如复杂的头部变形)的快速训练仍然是一个问题。

技术实现思路

[0005]本专利技术针对现有技术的不足，提出了一种新型的个性化人头参数化模型——神经辐射场基底(英文名NeRF blendshape)并给出了这种模型的高效的重建方法。神经辐射场基底是一种在多层级体素场上定义的个性化人头基底，它具有快速收敛的性质，大约10
‑
20分钟内构建一个逼真的个性化人头基底。它具有很强的表达能力，不仅从网格blendshape
基底继承了良好的语义性，而且还可以学习到更多的个性化细节，包括非线性变形(脸颊褶皱、额头皱纹)，用户特定的属性(痣、胡须)，以及非面部的人头特征。与传统的网格blendshape基底相比，本专利技术提出的神经辐射场基底可以从单目RGB视频构建得到。本专利技术技术方案可以解决虚拟现实技术中的人头跨身份驱动、新视角合成等问题。
[0006]本专利技术的目的通过以下技术方案实现：一种基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法，包括：
[0007]基于网格blendshape基底重建输入的RGB视频；通过求解逆向渲染问题，得到表情系数和相机参数；将每一帧人头部分分割出来，得到头部语义分割图；
[0008]用每一帧的表情系数组合神经辐射场基底，得到表情系数对应的多分辨率哈希表，令人头场景空间的采样点在多分辨率哈希表上进行查询得到体素特征，用多层感知机将体素特征转换为采样点RGB和体密度，通过体渲染得到渲染图像。
[0009]进一步地，所述神经辐射场基底的每个基底都是一个由多层级体素场表达的辐射场，所述多层级体素场是一个L层的特征存储结构，每一层均为一个体素场，每一个体素块存储长度为F的特征，使用多分辨率哈希表来压缩存储多层级体素场，多分辨率哈希表h是一个大小为L
×
T
×
F的特征表，T为哈希表大小。
[0010]进一步地，人头表示写为：
[0011][0012]其中，I是最终渲染的图像，θ表示多层感知机可学习的权重，表示采样、采样点特征访问以及体渲染，C是相机内外参，h0∈R
L
×
T
×
F
表示平均脸的多分辨率哈希表，H＝{h1，h2，...，h
K
}，h
i
∈R
L
×
T
×
F
表示不同表情偏移量的多分辨率哈希表，K是基底个数，w＝{w1，w2，...，w
K
}∈R
K
是表情系数；表情系数对应的多分辨率哈希表的组合方式是：
[0013]进一步地，在采样过程中，使用密度格阵记录空间中的密度信息来指导采样，并采用考虑表情系数的密度格阵更新策略，充分考虑人脸各表情所能达到的最大范围。
[0014]进一步地，针对密度格阵更新策略，每个基底所对应的哈希表
[0015][0016][0017]其中，N是视频的总帧数，为第j帧表情系数的第i维元素，h0表示平均脸的多分辨率哈希表，h
i
表示不同表情偏移量的多分辨率哈希表；取所有对应的密度格阵的逐元素最大值，来得到最终的密度格阵。
[0018]进一步地，基于一个密度格阵进行光线采样的方法具体为：先从视点处开始采样，每个采样点都到密度格阵中查询密度值，若高于阈值，则继续采样，若低于阈值，则直接跳转至该光线与格阵下一体素交点处采样。
[0019]进一步地，对于空间中的任一点x，计算其在多分辨率哈希表上存储特征的方法具体为：先计算x在每一层上的对角点索引，将其输入给哈希函数得到哈希值，利用哈希值在哈希表上查找特征，再通过线性插值查找得到的特征，从而得到x对应的体素特征。
[0020]进一步地，用多层感知机g
θ
将采样点x的体素特征转换为采样点RGB和体密度，表
示为：
[0021]g
θ
：(η(x；h)，γ(d))
→
(σ，c)
[0022]其中，c，σ分别表示采样点RGB和体密度，η(x；h)表示采样点x在哈希表h上查询得到的体素特征，γ(d)表示对视角向量d的位置编码。
[0023]进一步地，通过体渲染得到渲染图像，渲染单条光线RGB的计算式为：
[0024][0025][0026]其中，I(r)表示光线r对应的颜色，t，s为光线参数化变量，c(r(t))为光线上点r(t)对应的RGB，σ(r(s)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法，其特征在于，包括：基于网格blendshape基底重建输入的RGB视频；通过求解逆向渲染问题，得到表情系数和相机参数；将每一帧人头部分分割出来，得到头部语义分割图；用每一帧的表情系数组合神经辐射场基底，得到表情系数对应的多分辨率哈希表，令人头场景空间的采样点在多分辨率哈希表上进行查询得到体素特征，用多层感知机将体素特征转换为采样点RGB和体密度，通过体渲染得到渲染图像。2.根据权利要求1所述的一种基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法，其特征在于，所述神经辐射场基底的每个基底都是一个由多层级体素场表达的辐射场，所述多层级体素场是一个L层的特征存储结构，每一层均为一个体素场，每一个体素块存储长度为F的特征，使用多分辨率哈希表来压缩存储多层级体素场，多分辨率哈希表h是一个大小为L
×
T
×
F的特征表，T为哈希表大小。3.根据权利要求2所述的一种基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法，其特征在于，人头表示写为：其中，I是最终渲染的图像，θ表示多层感知机可学习的权重，表示采样、采样点特征访问以及体渲染，C是相机内外参，h0∈R
L
×
T
×
F
表示平均脸的多分辨率哈希表，H＝{h1,h2,
…
,h
K
},h
i
∈R
L
×
T
×
F
表示不同表情偏移量的多分辨率哈希表，K是基底个数，w＝{w1,w2,
…
,w
K
}∈R
K
是表情系数；表情系数对应的多分辨率哈希表的组合方式是：4.根据权利要求1所述的一种基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法，其特征在于，在采样过程中，使用密度格阵记录空间中的密度信息来指导采样，并采用考虑表情系数的密度格阵更新策略，充分考虑人脸各表情所能达到的最大范围。5.根据权利要求4所述的一种基于多层级哈希编码的个性化人头神经辐射场基底表示与重建方法，其特征在于，针对密度格阵更新策略，每个基底所对应的哈希表与...

【专利技术属性】
技术研发人员：高玄，郭玉东，张举勇，
申请(专利权)人：杭州像衍科技有限公司，
类型：发明
国别省市：