基于集成神经辐射场的人脸视频表情迁移模型构建方法及表情迁移方法和系统技术方案

本发明专利技术属于人工智能技术领域，特别涉及一种基于集成神经辐射场的人脸视频表情迁移模型构建方法及表情迁移方法和系统，通过构建集成神经辐射场人脸表情迁移模型，其中，所述迁移模型中包含：集成渲染生成器，其由n个用于查询采样帧图像空间密度和颜色的子生成器组成；及用于对n个子生成器进行加权求和的权重控制器；根据人物类别收集视频数据，将视频数据分解为若干张帧图像，按时间顺序将若干张帧图像均分n份，利用均分的帧图像集构建样本数据，训练优化子生成器，以样本数据中的表情向量为权重控制器的输入，利用权重控制器调整子生成器的输出权重以获取最终训练优化后的迁移模型。本发明专利技术在面部重现的重建质量、身份保持、表情和姿态转换等方面都有更加稳定和优越的表现，具有较好的应用前景。具有较好的应用前景。具有较好的应用前景。

【技术实现步骤摘要】
基于集成神经辐射场的人脸视频表情迁移模型构建方法及表情迁移方法和系统


[0001]本专利技术属于人工智能
，特别涉及一种基于集成神经辐射场的人脸视频表情迁移模型构建方法及表情迁移方法和系统。

技术介绍

[0002]基于集成神经辐射场的人脸视频表情迁移旨在根据驱动图像中人物的表情控制源图像中人物的表情，是深度合成领域中广受关注的困难问题。引起表情控制困难的原因主要包括对于人脸建模的精度不足、无法对眼镜等面部遮挡建模等。这些问题主要来源于传统方法对于面部建模时采用的中间形式多为面部关键点、三维人脸参数等，限制了建模的精度和多样性，严重影响了表情控制的效果。现有的人脸表情迁移方法大致可以分为基于风格迁移的方法、基于标签驱动的方法和基于潜在空间控制的方法这三种。其中，(1)基于风格迁移的人脸表情迁移方法将面部身份视为风格，面部表情视为内容，利用深度学习领域中风格迁移相关的模型来实现内容保持下的风格变换，如使用条件输入实现图像到图像翻译的通用方案，即pix2pix模型。应用在表情控制领域，则可以用表情图像作为条件图像，训练生成器产出特定身份的表情对应图像，又如，利用CycleGAN实现了目标人物头部姿态和面部表情的控制，并利用马尔科夫判别器来提高视频生成的质量；或，引入时空约束并提出RecycleGAN。RecycleGAN在生成器GX、GY的基础上引入下一帧预测器PX、PY，并通过循环损失引入时间约束。上述基于风格迁移的方法利用现有风格迁移领域的成果，但需要增强对于人脸的针对性设计，从而增强稳定性和保真度。(2)基于标签驱动的人脸表情迁移方法使用面部动作单元、one
‑
hot向量等作为标签对表情信息进行压缩，并驱动转换模型控制人脸从而生成期望的表情，如，用于面部表情合成的条件差分对抗式自动编码器(CDAAE)，通过学习生成同一个人但具有不同面部表情的图像的低层特征之间的差异来处理由于身份和面部表情引起的变化的消除歧义问题；又如，仅使用一个模型对多个域执行图像到图像的转换方法，即StarGAN。该方法使用n维独热向量(n
‑
dimensional one
‑
hot vector)表示标签从而实现气愤、害怕、悲伤等8种不同面部表情，并通过定性和定量的实验证明了在面部属性转移和面部表情合成任务上的有效性。基于标签驱动的方法标签能够一定程度的引导表情的变化，但其无法覆盖所有的表情空间，存在控制精度问题。(3)基于潜在空间控制的人脸表情迁移方法通过编码器或者反演来获取特定面部在生成器潜在空间中的向量，改变向量信息后通过生成器进一步得到表情变化后的人脸。如，基于几何引导解纠缠的高保真任意面部操纵，首先引入一种新的附加高斯混合假设，该假设在结构潜在空间中具有无监督的聚类机制，从而赋予了更好的解纠缠度并增强了具有外部记忆的多模态表示。为解决GAN网络稳定性问题，基于风格的StyleGAN生成器架构主要利用自适应实力规范化、多层信息嵌入以及逐层训练生成最高达百万像素的稳定人脸图像。但同时此模型训练代价较大，并且图像随机生成。此类方法解决了生成图像不稳定的问题，但容易出现生成图像身份泄露的问题，即输出无法较好的保持原图像的原始身份。

技术实现思路

[0003]为此，本专利技术提供一种基于集成神经辐射场的人脸视频表情迁移模型构建方法及表情迁移方法和系统，提升表情迁移中在面部重现的泛化性、身份保持以及表情和姿态控制等方面的稳定性。
[0004]按照本专利技术所提供的设计方案，提供一种基于集成神经辐射场的人脸视频表情迁移模型构建方法，包含如下内容：
[0005]构建集成神经辐射场人脸表情迁移模型，其中，所述迁移模型中包含：集成渲染生成器，该集成渲染生成器由n个用于查询采样帧图像空间密度和颜色的子生成器组成；及用于对集成渲染生成器中的n个子生成器进行加权求和的权重控制器；
[0006]根据人物类别收集视频数据，将视频数据分解为若干张帧图像，并按时间顺序将若干张帧图像均分为互不交叉的n份帧图像集，利用该n份帧图像集构建子生成器和权重控制器训练用的样本数据；
[0007]利用样本数据中的n份帧图像集对应训练优化集成渲染生成器中对应的子生成器，并以样本数据中的表情向量为权重控制器的输入，利用权重控制器并依据表情向量自适应调整子生成器的输出权重，利用该输出权重来获取最终训练优化后的迁移模型。
[0008]作为本专利技术中基于集成神经辐射场的人脸视频表情迁移模型构建方法，进一步地，迁移模型中的每个子生成器，将输入的表情向量和位置向量作为条件变量，利用神经辐射场网络沿观察视角对空间点进行查询采样，并结合背景图像通过立体渲染来获取二维图像输出。
[0009]作为本专利技术中基于集成神经辐射场的人脸视频表情迁移模型构建方法，进一步，第i个子生成器对空间中密度σ
i
和颜色c
i
的查询采样过程表示为：(c
i
,σ
i
)＝Subgenerator
i
(x,d,δ,γ),i＝1,2
…
,n，其中，x为坐标位置，d为观察方向，δ为表情向量，γ为可学习代码。
[0010]作为本专利技术中基于集成神经辐射场的人脸视频表情迁移模型构建方法，进一步，迁移模型中，针对输入的帧图像，首先利用Face2Face来捕捉输入帧图像特征，通过估计每帧头部刚性姿态和表情来获取包含位置和表情数据的空间映射，并利用高频函数将位置和表情数据映射到高维空间来获取位置向量和表情向量。
[0011]作为本专利技术基于集成神经辐射场的人脸视频表情迁移模型构建方法，进一步地，迁移模型中的权重控制器采用四层全连接网络，该四层全连接网络中的前三层全连接层分别接ReLU函数，最后一层全连接层连接softmax函数。
[0012]作为本专利技术基于集成神经辐射场的人脸视频表情迁移模型构建方法，进一步地，利用样本数据对子生成器进行训练优化中，利用分层体积采样方法对每个子生成器的神经辐射场网络依次进行第一阶段粗糙优化和第二阶段精细优化，其中，第一阶段粗糙优化中，对输入帧图像空间进行均匀查询采样，并在第二阶段精细优化中，使用全部样本数据并利用第一阶段粗糙优化的输出来调整神经辐射场网络参数。
[0013]作为本专利技术基于集成神经辐射场的人脸视频表情迁移模型构建方法，进一步地，各子生成器第一阶段粗糙优化的损失函数表示为：其中，为第i个子生成器的训练总损失，M
i
为第i个子生成器样本数据的数量，M
i
＝N/n，N为样本数据总数，coarse为粗
糙优化标识参数，fine为精细优化标识参数，L
j
(θ)为像素级的L2损失函数；第二阶段精细优化损失函数表示为：优化损失函数表示为：
[0014]作为本专利技术基于集成神经辐射场的人脸视频表情迁移模型构建方法，进一步地，根据人物类别收集视频数据中，选取单个视频中场景固定、身份不变的人脸图像作为构建样本数据的视频数据。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于集成神经辐射场的人脸视频表情迁移模型构建方法，其特征在于，包含如下内容：构建集成神经辐射场人脸表情迁移模型，其中，所述迁移模型中包含：集成渲染生成器，该集成渲染生成器由n个用于查询采样帧图像空间密度和颜色的子生成器组成；及用于对集成渲染生成器中的n个子生成器进行加权求和的权重控制器；根据人物类别收集视频数据，将视频数据分解为若干张帧图像，并按时间顺序将若干张帧图像均分为互不交叉的n份帧图像集，利用该n份帧图像集构建子生成器和权重控制器训练用的样本数据；利用样本数据中的n份帧图像集对应训练优化集成渲染生成器中对应的子生成器，并以样本数据中的表情向量为权重控制器的输入，利用权重控制器并依据表情向量自适应调整子生成器的输出权重，利用该输出权重来获取最终训练优化后的迁移模型。2.根据权利要求1所述的基于集成神经辐射场的人脸视频表情迁移模型构建方法，其特征在于，迁移模型中的每个子生成器，将输入的表情向量和位置向量作为条件变量，利用神经辐射场网络沿观察视角对空间点进行查询采样，并结合背景图像通过立体渲染来获取二维图像输出。3.根据权利要求1或2所述的基于集成神经辐射场的人脸视频表情迁移模型构建方法，其特征在于，第i个子生成器对空间中密度σ
i
和颜色c
i
的查询采样过程表示为：(c
i
,σ
i
)＝Subgenerator
i
(x,d,δ,γ),i＝1,2
…
,n，其中，x为坐标位置，d为观察方向，δ为表情向量，γ为可学习代码。4.根据权利要求1所述的基于集成神经辐射场的人脸视频表情迁移模型构建方法，其特征在于，迁移模型中，针对输入的帧图像，首先利用Face2Face来捕捉输入帧图像特征，通过估计每帧头部刚性姿态和表情来获取包含位置和表情数据的空间映射，并利用高频函数将位置和表情数据映射到高维空间来获取位置向量和表情向量。5.根据权利要求1所述的基于集成神经辐射场的人...

【专利技术属性】
技术研发人员：陈健，杨帅，闫镔，乔凯，梁宁宁，王林元，石舒豪，杨杰，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：