本公开涉及一种三维数字人生成方法及装置、电子设备和存储介质。该方法包括：对待处理人脸图像进行关键点检测，得到第一特定关键点数据；确定所述待处理人脸图像对应的第一人脸特征向量；根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。因此，可以提高确定目标三维数字人的效率和正确率。确率。确率。
【技术实现步骤摘要】
三维数字人生成方法及装置、电子设备和存储介质
[0001]本公开涉及动画制作领域，尤其涉及一种三维数字人生成方法及装置、电子设备和存储介质。
技术介绍
[0002]在工业界面、电影、游戏等多个行业应用场景中，都有建立三维数字人的需求。
[0003]通常，工程师先进行三维数字人脸重建，再将三维数字人脸与三维数字人体对接。由于二维图像质量参差不齐，所以三维数字人脸的准确性不高。因此还需要人工手动捏脸，准确性较低。且，降低了生成三维数字人的效率。
技术实现思路
[0004]有鉴于此，本公开提出了一种三维数字人生成方案，可以提升生成三维数字人的准确性和效率。
[0005]根据本公开的一方面，提供了一种三维数字人生成方法，包括：对待处理人脸图像进行关键点检测，得到第一特定关键点数据；确定所述待处理人脸图像对应的第一人脸特征向量；根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。
[0006]在一种可能的实现方式中，所述第一特定关键点数据包括：第一特定关键点的坐标，所述初始数字人脸数据包括：初始三维人脸关键点的坐标，所述利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据，包括：使用所述第一特定关键点的坐标替换掉与所述第一特定关键点对应的初始三维人脸关键点的坐标，得到所述三维数字人脸数据。
[0007]在一种可能的实现方式中，所述确定所述待处理人脸图像对应的第一人脸特征向量，包括：对所述待处理人脸图像进行第一分割操作，获得第一人脸分割结果；在所述第一人脸分割结果中，确定所述第一人脸特征向量。
[0008]在一种可能的实现方式中，所述第一人脸特征向量包括：第一反射特征向量、第一细节特征向量，第一姿势特征向量、第一表情特征向量，所述方法还包括：根据所述第一细节特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到法线贴图；根据所述第一反射特征向量，得到纹理贴图。
[0009]在一种可能的实现方式中，所述第一人脸特征向量还包括：第一形状特征向量，所述根据所述第一人脸特征向量，生成初始数字人脸数据，包括：根据所述第一形状特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到所述初始数字人脸数据。
[0010]在一种可能的实现方式中，所述利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人，包括：基于所述三维数字人脸数据中关键点的坐标，对标准三维数字人的脸部关键点的坐标进行调整，得到目标三维数字人的脸部关键点的第一坐
标；基于所述第一坐标，将所述纹理贴图和/或法线贴图，与所述目标三维数字人进行渲染，确定所述目标三维数字人。
[0011]在一种可能的实现方式中，所述方法应用于第一神经网络，所述第一神经网络的训练过程，包括：对图像样本进行第一下采样操作，确定第三潜在特征向量；对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像；对所述图像样本进行第二下采样操作，确定图像样本的第三细节特征向量，所述第三细节特征向量表征图像样本人脸的细节关键点的坐标；对所述第三细节特征向量、第三潜在特征向量进行第二上采样操作，确定第四人脸图像；基于所述图像样本与所述第三人脸图像的第一差异、所述图像样本与所述第四人脸图像的第二差异，调节所述第一神经网络的参数。
[0012]在一种可能的实现方式中，所述第三潜在特征向量包括：图像样本的第三相机特征向量、第三反射特征向量、第三光线特征向量、第三形状特征向量、第三姿势特征向量、第三表情特征向量，所述对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像，包括：对所述第三反射特征向量进行第三上采样操作，确定样本纹理贴图，所述样本纹理贴图表征图像样本中各人脸关键点的颜色；对所述第三光线特征向量进行第四上采样操作，确定图像样本的光线信息，所述光线信息表征图像样本入射光线强度；对所述第三形状特征向量、所述第三姿势特征向量、所述第三表情特征向量进行第五上采样操作，确定第四人脸关键点的坐标、第四人脸关键点的反射光强度；将所述第三相机特征向量、所述光线信息、所述样本纹理贴图、所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度进行渲染，获得所述第三人脸图像；所述对所述第三细节特征向量、第三潜在特征向量进行上采样操作，确定第四人脸图像，包括：对所述第三细节特征向量、第三姿势特征向量、第三表情特征向量进行第六上采样操作进行上采样操作，确定样本法线贴图，所述样本法线贴图表征图像样本中各细节关键点的反射光线强度；将所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度、所述样本纹理贴图、所述样本法线贴图进行渲染，确定所述第四人脸图像。
[0013]根据本公开的另一方面，提供了一种三维数字人生成装置，包括：
[0014]关键点检测单元，用于对待处理人脸图像进行关键点检测，得到第一特定关键点数据；
[0015]第一人脸特征向量确定单元，用于确定所述待处理人脸图像对应的第一人脸特征向量；
[0016]三维数字人脸数据确定单元，用于根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；
[0017]目标三维数字人生成单元，用于利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。
[0018]在一种可能的实现方式中，所述第一特定关键点数据包括：第一特定关键点的坐标，所述初始数字人脸数据包括：初始三维人脸关键点的坐标，所述三维数字人脸数据确定单元，包括：
[0019]坐标替换单元，用于使用所述第一特定关键点的坐标替换掉与所述第一特定关键点对应的初始三维人脸关键点的坐标，得到所述三维数字人脸数据。
[0020]在一种可能的实现方式中，所述第一人脸特征向量确定单元，包括：
[0021]分割单元，用于对所述待处理人脸图像进行第一分割操作，获得第一人脸分割结果；
[0022]第一人脸特征确定子单元，用于在所述第一人脸分割结果中，确定所述第一人脸特征向量。
[0023]在一种可能的实现方式中，所述第一人脸特征向量包括：第一反射特征向量、第一细节特征向量，第一姿势特征向量、第一表情特征向量，所述装置还包括：
[0024]法线贴图生成单元，用于根据所述第一细节特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到法线贴图；
[0025]纹理贴图生成单元，用于根据所述第一反射特征向量，得到纹理贴图。
[0026]在一种可能的实现方式中，所述第一人脸特征向量还包括：第一形状特征向量，所述三维数字人脸数据确定单元，包括：
[0027]初始数字人脸数据生成单元，用于根据所述第一形状特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到所述初始数字人脸数据。
[0028]在一种本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维数字人生成方法，其特征在于，包括：对待处理人脸图像进行关键点检测，得到第一特定关键点数据；确定所述待处理人脸图像对应的第一人脸特征向量；根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。2.根据权利要求1所述的方法，其特征在于，所述第一特定关键点数据包括：第一特定关键点的坐标，所述初始数字人脸数据包括：初始三维人脸关键点的坐标，所述利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据，包括：使用所述第一特定关键点的坐标替换掉与所述第一特定关键点对应的初始三维人脸关键点的坐标，得到所述三维数字人脸数据。3.根据权利要求1所述的方法，其特征在于，所述确定所述待处理人脸图像对应的第一人脸特征向量，包括：对所述待处理人脸图像进行第一分割操作，获得第一人脸分割结果；在所述第一人脸分割结果中，确定所述第一人脸特征向量。4.根据权利要求1所述的方法，其特征在于，所述第一人脸特征向量包括：第一反射特征向量、第一细节特征向量，第一姿势特征向量、第一表情特征向量，所述方法还包括：根据所述第一细节特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到法线贴图；根据所述第一反射特征向量，得到纹理贴图。5.根据权利要求4所述的方法，其特征在于，所述第一人脸特征向量还包括：第一形状特征向量，所述根据所述第一人脸特征向量，生成初始数字人脸数据，包括：根据所述第一形状特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到所述初始数字人脸数据。6.根据权利要求4所述的方法，其特征在于，所述利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人，包括：基于所述三维数字人脸数据中关键点的坐标，对标准三维数字人的脸部关键点的坐标进行调整，得到目标三维数字人的脸部关键点的第一坐标；基于所述第一坐标，将所述纹理贴图和/或法线贴图，与所述目标三维数字人进行渲染，确定所述目标三维数字人。7.根据权利要求1所述的方法，其特征在于，所述第一人脸特征向量或所述初始数字人脸数据由第一神经网络生成，所述第一神经网络的训练过程，包括：利用所述第一神经网络对图像样本进行第一下采样操作，确定第三潜在特征向量；对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像；利用所述第一神经网络对所述图像样本进行第二下采样操作，确定图像样本的第三细节特征向量，所述第三细节特征向量表征图...
【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。