面部关键点信息生成、神经网络训练和三维面部重建方法技术

技术编号:36778527 阅读:15 留言:0更新日期:2023-03-08 22:08
本公开提供了一种面部关键点信息生成、神经网络训练和三维面部重建方法,涉及人工智能技术领域,尤其涉及增强现实、虚拟现实、计算机视觉、深度学习等技术领域,可应用于元宇宙、虚拟数字人等场景。实现方案为:获取二维风格化面部图像,二维风格化面部图像包括经风格化处理的面部区域;生成与二维风格化面部图像中的面部区域对应的三维点云数据;基于三维点云数据,确定面部关键点的三维位置信息;以及将三维位置信息转换成二维位置信息,二维位置信息指示面部关键点在二维风格化面部图像中的位置。置。置。

【技术实现步骤摘要】
面部关键点信息生成、神经网络训练和三维面部重建方法


[0001]本公开涉及人工智能
,尤其涉及增强现实、虚拟现实、计算机视觉、深度学习等
,可应用于元宇宙、虚拟数字人等场景,具体涉及一种面部关键点信息生成、神经网络训练和三维面部重建的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]近年来,随着元宇宙、虚拟数字人等技术的逐渐兴起,在这些场景下所使用的面部关键点信息生成、神经网络训练和三维面部重建方法也不断更新迭代。风格化三维面部重建一直受到相关样本少,精度不够等因素限制,难以大幅度推广。因此如何低成本生成大量风格化配对的训练图像和关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面部关键点信息生成方法,包括:获取二维风格化面部图像,其中,所述二维风格化面部图像包括经风格化的面部区域;生成与所述二维风格化面部图像中的所述面部区域对应的三维点云数据;基于所述三维点云数据,确定面部关键点的三维位置信息;以及将所述三维位置信息转换成二维位置信息,其中,所述二维位置信息指示所述面部关键点在所述二维风格化面部图像中的位置。2.根据权利要求1所述的方法,其中,所述生成与所述二维风格化面部图像中的所述面部区域对应的三维点云数据,包括:生成与所述二维风格化面部图像中的所述面部区域对应的三维形状系数;基于所述三维形状系数和预先获取的基础三维面部特征,生成与所述面部区域对应的三维风格化面部模型;以及生成对应于所述三维风格化面部模型的所述三维点云数据。3.根据权利要求2所述的方法,其中,所述基于所述三维形状系数和预先获取的基础三维面部特征,生成与所述面部区域对应的三维风格化面部模型,包括:对所述三维形状系数和所述预先获取的基础三维面部特征进行线性求和,以构建所述三维风格化面部模型。4.根据权利要求1至3中任一项所述的方法,其中,所述基于所述三维点云数据,确定面部关键点的三维位置信息,包括:基于所述面部关键点的索引号,从所述三维点云数据中确定与所述索引号对应的所述面部关键点的三维坐标。5.根据权利要求4所述的方法,其中,所述面部关键点的所述索引号是基于预先获取的基础三维面部模型被标定的。6.根据权利要求1至5中任一项所述的方法,其中,所述将所述三维位置信息转换成二维位置信息,包括:对由所述三维位置信息表示的三维坐标进行正交投影,以获得由所述二维位置信息表示的二维坐标。7.一种神经网络训练方法,包括:基于样本二维风格化面部图像,执行根据权利要求1至6中任一项所述的面部关键点信息生成方法,以生成面部关键点在所述样本二维风格化面部图像中的样本二维位置信息;以及基于所述样本二维风格化面部图像和所述面部关键点在所述样本二维风格化面部图像中的所述样本二维位置信息,训练用于三维风格化面部重建的神经网络。8.根据权利要求7所述的方法,其中,所述基于所述样本二维风格化面部图像和所述面部关键点在所述样本二维风格化面部图像中的样本二维位置信息,训练用于三维风格化面部重建的神经网络,包括:将所述样本二维风格化面部图像作为训练数据,并且将所述面部关键点在所述样本二维风格化面部图像中的样本二维位置信息作为所述训练数据的标签,以训练所述用于三维风格化面部重建的神经网络。9.一种三维面部重建方法,包括:
获取根据权利要求7或8所述的神经网络训练方法训练的用于三维风格化面部重建的神经网络;以及将二维风格化面部图像输入至所述用于三维风格化面部重建的神经网络,以生成对应于所述二维风格化面部图像的三维风格化面部模型。10.一种面部关键点信息生成装置,包括:图像获取单元,被配置为获取二维风格化面部图像,其中,所述二维风格化面部图像包括经风格化的面部区域;数据生成单元,被配置为生成与所述二维风格化面部图像中的所述面部区域对应的三维点云数据;位置确定单元,被配置为基于所述三维点云数据,确定面部关键点的三维位置信息;以及信息转换单...

【专利技术属性】
技术研发人员:王迪赵晨陈睿智
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1