一种虚拟头部化身构造方法技术

本发明专利技术实施例提供了一种虚拟头部化身构造方法

【技术实现步骤摘要】
一种虚拟头部化身构造方法、装置、电子设备和存储介质


[0001]本专利技术涉及计算机图像处理
，特别是涉及一种虚拟头部化身构造方法
、
一种虚拟头部化身构造装置
、
一种电子设备和一种存储介质
。

技术介绍

[0002]近年来，随着元宇宙
、
虚拟数字人等技术的发展，创建可控的人类化身逐渐被应用于各类场景中，比如
AR(
增强现实
)/VR(
虚拟现实
)
，虚拟试穿
、
虚拟主播等
。
传统意义上，创建高质量的
avatar(
数字形象
)
需要很多专业的硬件设备，包括相机阵列
、
深度传感器等
。
但目前针对单目视频下
avatar
的重建，外观和动作上都缺乏细节实现，细节实现不够精细，高频细节的丢失导致
avatar
外观模糊
。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种虚拟头部化身构造方法
、
一种虚拟头部化身构造装置
、
一种电子设备和一种存储介质
。
[0004]为了解决上述问题，在本专利技术的第一个方面，本专利技术实施例公开了一种虚拟头部化身构造方法，包括：
[0005]获取单目图像数据；
[0006]基于所述单目图像数据，生成相机位姿参数和三维脸部模型参数，所述相机位姿参数包括顶点位移；
[0007]依据所述顶点位移，生成局部特征；
[0008]基于所述局部特征与所述三维人脸模型参数，生成虚拟头部化身
。
[0009]可选地，所述基于所述单目图像数据，生成相机位姿参数和三维脸部模型参数，所述相机位姿参数包括顶点位移的步骤包括：
[0010]获取预设三维形状模型；
[0011]将所述单目图像数据的单帧图像输入至所述预设三维形状模型；得到所述相机位姿参数和所述三维脸部模型参数
。
[0012]可选地，所述依据所述顶点位移，生成局部特征的步骤包括：
[0013]依据所述顶点位移，生成输出特征图；
[0014]对所述输出特征图基于预设网格顶点进行采样，生成所述局部特征
。
[0015]可选地，所述依据所述顶点位移，生成输出特征图的步骤包括：
[0016]获取预设卷积神经网络模型；
[0017]将所述顶点位移输入至所述预设卷积神经网络模型，得到所述输出特征图；
[0018]其中，所述顶点位移为：
[0019]D
i
＝
V
i
(
ψ
i
,
θ
i
)
‑
V
neutral
(0,0)
；
[0020]D
i
为顶点位移，
V
i
为顶点，
i
为帧数，
ψ
i
为表情，
θ
i
为姿势，
V
neutral
为中间顶点
。
[0021]可选地，所述基于所述局部特征与所述三维人脸模型参数，生成虚拟头部化身的步骤包括：
[0022]基于所述局部特征中的任一目标顶点，从所述三维人脸模型参数中匹配与所述目标顶点对应的邻近顶点；
[0023]结合所述目标顶点和所述邻近顶点，生成顶点特征；
[0024]将所述局部特征和所述顶点特征结合，生成所述目标顶点对应构造数据；
[0025]将全部目标顶点对应构造数据进行体渲染，生成所述虚拟头部化身；
[0026]其中，所述局部特征和所述顶点特征结合包括：
[0027][0028][0029][0030]i
表示帧数，
j
表示顶点数，
z
j
表示某一顶点的特征，
F0则表示结合函数
。
[0031]可选地，所述获取通过单目图像数据的步骤包括：
[0032]获取单个移动终端采集的三原色图像数据；
[0033]确定所述三原色图像数据为所述单目图像数据
。
[0034]可选地，所述方法还包括：
[0035]对所述单目图像数据进行预处理
。
[0036]在本专利技术的第二个方面，本专利技术实施例公开一种虚拟头部化身构造装置，包括：
[0037]获取模块，用于获取单目图像数据；
[0038]第一生成模块，用于基于所述单目图像数据，生成相机位姿参数和三维脸部模型参数，所述相机位姿参数包括顶点位移；
[0039]第二生成模块，用于依据所述顶点位移，生成局部特征；
[0040]第三生成模块，用于基于所述局部特征与所述三维人脸模型参数，生成虚拟头部化身
。
[0041]在本专利技术的第三个方面，本专利技术实施例公开了一种电子设备，包括处理器
、
存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的虚拟头部化身构造方法的步骤
。
[0042]在本专利技术的第四个方面，本专利技术实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的虚拟头部化身构造方法的步骤
。
[0043]本专利技术实施例包括以下优点：
[0044]本专利技术实施例通过获取单目图像数据；基于所述单目图像数据，生成相机位姿参数和三维脸部模型参数，所述相机位姿参数包括顶点位移；依据所述顶点位移，生成局部特征；基于所述局部特征与所述三维人脸模型参数，生成虚拟头部化身；通过将几何先验与隐式表示相结合，从而获得更大的表示能力，增强虚拟头部化身的重建效果，通过局部特征和三维人脸模型参数相结合来编码局部的神经辐射场，从而达到通过顶点控制神经辐射场，从而控制表情，实现更为精细的虚拟形象重建效果，为虚拟数字形象的实现提供更优的选择
。
附图说明
[0045]图1是本专利技术的一种虚拟头部化身构造方法实施例的步骤流程图；
[0046]图2是本专利技术的另一种虚拟头部化身构造方法实施例的步骤流程图；
[0047]图3是本专利技术的一种虚拟头部化身构造装置实施例的结构框图；
[0048]图4是本专利技术实施例提供的一种电子设备的结构框图；
[0049]图5是本专利技术实施例提供的一种存储介质的结构框图
。
具体实施方式
[0050]为使本专利技术的上述目的
、
特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明
。
[005本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种虚拟头部化身构造方法，其特征在于，包括：获取单目图像数据；基于所述单目图像数据，生成相机位姿参数和三维脸部模型参数，所述相机位姿参数包括顶点位移；依据所述顶点位移，生成局部特征；基于所述局部特征与所述三维人脸模型参数，生成虚拟头部化身
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述单目图像数据，生成相机位姿参数和三维脸部模型参数的步骤包括：获取预设三维形状模型；将所述单目图像数据的单帧图像输入至所述预设三维形状模型；得到所述相机位姿参数和所述三维脸部模型参数
。3.
根据权利要求1所述的方法，其特征在于，所述依据所述顶点位移，生成局部特征的步骤包括：依据所述顶点位移，生成输出特征图；对所述输出特征图基于预设网格顶点进行采样，生成所述局部特征
。4.
根据权利要求3所述的方法，其特征在于，所述依据所述顶点位移，生成输出特征图的步骤包括：获取预设卷积神经网络模型；将所述顶点位移输入至所述预设卷积神经网络模型，得到所述输出特征图；其中，所述顶点位移为：
D
i
＝
V
i
(
ψ
i
,
θ
i
)
‑
V
neutral
(0,0)
；
D
i
为顶点位移，
V
i
为顶点，
i
为帧数，
ψ
i
为表情，
θ
i
为姿势，
V
neutral
为中间顶点
。5.
根据权利要求1所述的方法，其特征在于，所述基于所述局部特征与所述三维人脸模型参数，生成虚拟头部化身的步...

【专利技术属性】
技术研发人员：刘鑫，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：