神经辐射场数字人生成方法、系统及装置制造方法及图纸

本发明专利技术公开了一种神经辐射场数字人生成方法、系统及装置，包括：S1、构建动作和纹理编辑的神经辐射场模型；S2、训练动作和纹理编辑的神经辐射场模型；S3、基于训练好的动作和纹理编辑的神经辐射场模型得到动作和纹理编辑的定制数字人二维图像。本发明专利技术可以实现神经辐射场数字人生成方法、系统及装置。系统及装置。系统及装置。

【技术实现步骤摘要】
神经辐射场数字人生成方法、系统及装置


[0001]本专利技术涉及数字人生成领域，尤其是涉及一种神经辐射场数字人生成方法、系统及装置。

技术介绍

[0002]数字孪生是计算机视觉领域的重要研究方向，尤其是在数字人物相关技术中具有重要意义。它利用数字技术将现实世界中的人物生成为计算机图像，并且可以对其进行相应的编辑。在短视频场景中，用户希望能够编辑短视频的观看视角；在虚拟主播场景中，工作人员需要对虚拟主播的动作进行编辑。然而，现有的数字人技术在满足用户需求方面还存在一定的局限性。
[0003]目前，数字人物的创建和编辑主要采用符号距离场(Signed Distance Function)、生成对抗网络(Generative Adversarial Networks，简称GANs)和神经辐射场(Neural Radiance Field)等方法。然而，这些方法都存在一些限制和缺陷。符号距离场算法依赖于三维数据信息，但是获取三维数据集需要昂贵的专业设备和人力资源，并且生成的数字人物具有较低的分辨率，并且可能缺失人体表面的轮廓性。生成对抗网络算法虽然只需要二维图像，并且能够生成较高分辨率的数字人物，但是在面对非常见信息时，往往会生成与现实世界不符的效果。此外，该方法的视角编辑能力有限，并且模型训练过程中难以达到理想的收敛效果。神经辐射场是通过训练一系列二维图像的神经网络来实现的，它具有强大的拟合能力，能够生成具有一定复杂性场景的新视角图像。神经辐射场算法能够生成较高分辨率的数字人物，并且具备视角编辑能力。然而，目前存在的相关算法只能生成离散的动作编辑数字人，无法生成动作流畅且高分辨率的数字人物。

技术实现思路

[0004]本专利技术的目的在于提供一种神经辐射场数字人生成方法、系统及装置，旨在解决。
[0005]本专利技术提供一种神经辐射场数字人生成方法，包括：
[0006]S1、构建动作和纹理编辑的神经辐射场模型；
[0007]S2、训练动作和纹理编辑的神经辐射场模型；
[0008]S3、基于训练好的动作和纹理编辑的神经辐射场模型得到动作和纹理编辑的定制数字人二维图像。
[0009]本专利技术还提供一种神经辐射场数字人生成系统，包括：
[0010]构建模块：用于构建动作和纹理编辑的神经辐射场模型；
[0011]训练模块，用于训练动作和纹理编辑的神经辐射场模型；
[0012]应用模块：用于基于训练好的动作和纹理编辑的神经辐射场模型得到动作和纹理编辑的定制数字人二维图像。
[0013]本专利技术实施例还提供一种神经辐射场数字人生成装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器
执行时实现上述方法的步骤。
[0014]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述方法的步骤。
[0015]采用本专利技术实施例，可以实现神经辐射场数字人生成。
[0016]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0017]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术实施例的神经辐射场数字人生成方法的流程图；
[0019]图2是本专利技术实施例的神经辐射场数字人生成方法的具体流程图；
[0020]图3是本专利技术实施例的神经辐射场数字人生成系统的示意图；
[0021]图4是本专利技术实施例的神经辐射场数字人生成装置的示意图。
具体实施方式
[0022]下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]方法实施例
[0024]根据本专利技术实施例，提供了一种神经辐射场数字人生成方法，图1是本专利技术实施例的神经辐射场数字人生成方法的流程图，如图1所示，具体包括：
[0025]S1、构建动作和纹理编辑的神经辐射场模型；
[0026]S2、训练动作和纹理编辑的神经辐射场模型；
[0027]S3、基于训练好的动作和纹理编辑的神经辐射场模型得到动作和纹理编辑的定制数字人二维图像。
[0028]S1具体包括：S1具体包括：给定空间中的采样点位置，通过输入人体动作信息p来对由神经辐射场表示的T姿态的数字人进行动作的编辑，结合输入的人体纹理编码，计算采样点的颜色c和体密度σ，定制生成数字人的动作和纹理，其定义如下：
[0029]F(x,d,p,α)＝(c,σ)
[0030]其中，x为采样点的三维坐标，d为相机参数或视角参数，p为人体动作信息，α为纹理编码；预测采样点的颜色c和体密度σ之后利用传统体渲染方法生成数字人的二维图像；
[0031]数字人动作的编辑具体包括：对采样点进行基于线性混合蒙皮算法的变换，即：
[0032][0033]其中，K为骨骼数量，w
i
为第i块骨骼的骨骼权重，(R
i
,t
i
)为动作基，即变形矩阵M
i
，变形矩阵由人体动作信息p计算获得；骨骼权重w
i
由一个三维卷积神经网络进行表示，对于采样点x可以在三维卷积神经网络对应的空间位置中进行采样得到骨骼权重；通过人体动作信息p对点x在空间上进行基于动作的变换，使得T姿态的数字人变换到指定的动作姿态；
[0034]纹理的编辑具体包括：将具有特定纹理的人体照片与一个对应的纹理编码α进行绑定，其中，每种纹理对应一个唯一的纹理编码，通过输入不同的纹理编码，对数字人的纹理进行编辑；
[0035]经过动作和纹理编辑后的数字人定义如下：
[0036]F(T
s
(x,p),d,α)＝(c,σ)
[0037]V(F(T
s
(x,p),d,α))＝I
[0038]其中T
s
(x,p)为动作编辑；通过神经辐射场预测颜色c和体密度σ，V为传统体渲染方法，生成经过动作和纹理编辑的数字人二维图像I。
[0039]S2具体包括：给定输入的图片、人体动作信息p、纹理编码α和视角d
i
(i＝1
…
N)，通过优化以下方程实现动作和纹理可编辑的神经辐射场的训练，优化公式如下：
[0040本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经辐射场数字人生成方法，其特征在于，包括：S1、构建动作和纹理编辑的神经辐射场模型；S2、训练动作和纹理编辑的神经辐射场模型；S3、基于训练好的动作和纹理编辑的神经辐射场模型得到动作和纹理编辑的定制数字人二维图像。2.根据权利要求1所述的方法，其特征在于，所述S1具体包括：给定空间中的采样点位置，通过输入人体动作信息p来对由神经辐射场表示的T姿态的数字人进行动作的编辑，结合输入的人体纹理编码，计算采样点的颜色c和体密度σ，定制生成数字人的动作和纹理，其定义如下：F(x,d,p,α)＝(c,σ)其中，x为采样点的三维坐标，d为相机参数或视角参数，p为人体动作信息，α为纹理编码；预测采样点的颜色c和体密度σ之后利用传统体渲染方法生成数字人的二维图像；数字人动作的编辑具体包括：对采样点进行基于线性混合蒙皮算法的变换，即：其中，K为骨骼数量，w
i
为第i块骨骼的骨骼权重，(R
i
,t
i
)为动作基，即变形矩阵M
i
，变形矩阵由人体动作信息p计算获得；骨骼权重w
i
由一个三维卷积神经网络进行表示，对于采样点x可以在三维卷积神经网络对应的空间位置中进行采样得到骨骼权重；通过人体动作信息p对点x在空间上进行基于动作的变换，使得T姿态的数字人变换到指定的动作姿态；纹理的编辑具体包括：将具有特定纹理的人体照片与一个对应的纹理编码α进行绑定，其中，每种纹理对应一个唯一的纹理编码，通过输入不同的纹理编码，对数字人的纹理进行编辑；经过动作和纹理编辑后的数字人定义如下：F(T
s
(x,p),d,α)＝(c,σ)V(F(T
s
(x,p),d,α))＝I其中T
s
(x,p)为动作编辑；通过神经辐射场预测颜色c和体密度σ，V为传统体渲染方法，生成经过动作和纹理编辑的数字人二维图像I。3.根据权利要求2所述的方法，其特征在于，所述S2具体包括：给定输入的图片、人体动作信息p、纹理编码α和视角d
i
(i＝1,
…
,N)，通过优化以下方程实现动作和纹理可编辑的神经辐射场的训练，优化公式如下：其中N是输入的图片数目，损失函数，V体渲染，I
i
为输入的特定d
i
视角下的图片，p为人体动作信息，α为纹理编码。4.根据权利要求3所述的方法，其特征在于，所述S3具体包括：输入的定制动作信息p和纹理编码α生成经过动作和纹理编辑的定制数字人二维图像。5.一种神经辐射场数字人生成系统，其特征在于，包括：构建模块：用于构建动作和纹理编辑的神经辐射场模型；
训练模块，用于训练动作和纹理编辑的神经辐射场模型；应用模块：用于基于训练好的动...

【专利技术属性】
技术研发人员：彭伟龙，杨志豪，汪洋涛，谭恒良，唐可可，方美娥，
申请(专利权)人：广州大学，
类型：发明
国别省市：