【技术实现步骤摘要】
本专利技术涉及虚拟数字人领域，特别是一种3d卡通数字人的制作方法。
技术介绍
1、目前，随着人工智能的蓬勃发展，虚拟数字人也应运而生。虚拟数字人是指通过人工智能、3d建模和计算机图形学技术创造出能够模拟人类的外貌、语言和行为的虚拟人物。虚拟数字人的前景十分广阔，随着相关技术的不断更新，虚拟数字人的应用也将越来越多样化，并对人们的生活产生巨大影响。例如，在元宇宙的构建过程中，虚拟数字人的制作就扮演着关键角色。虚拟数字人可以使人们通过数字形象进行与真人类似的交流沟通，也可以通过交互形式完成虚拟形象与虚拟世界的互动。随着虚拟数字人技术的逐渐发展，也必将形成与该技术相结合的更具吸引力的产业赛道。
2、虚拟数字人作为一个新概念，已经受到了各大商业机构、研究院所领域专家学者的广泛关注和研究。与此同时，市场上也涌现出一些与之相关的产品。例如，角色扮演类游戏、虚拟主播和短视频领域。目前，市场上关于虚拟数字人的产品从技术角度主要可以分别两大类别：真人风格数字人和手工预制风格数字人。其中，真人风格数字人完全模拟真实人物特征，可以在一定程度反应用户的真实形象。然而，这种方法无法对数字人进行一定程度的风格变换，缺乏相应的娱乐性，使其难以应用到具有特定风格的娱乐场景中。手工预制的数字人虽然可以根据特定场景来制作不同的风格形象，但是需要专业设计师进行设计，而且该方法难以对所有用户都进行个性化设计，存在技术复杂、耗时长、风格单一缺点。因此，针对不同用户如何快速地生成具有一定风格的3d卡通数字人是一个亟需解决的问题。
技
1、本专利技术的目的是为了解决上述问题，设计了一种3d卡通数字人的制作方法。
2、实现上述目的本专利技术的技术方案为，一种3d卡通数字人的制作方法，包括以下步骤：
3、步骤s1：获取真人用户图像；
4、步骤s2：将用户正脸图像输入到人脸检测识别模块，对其进行关键点检测和图像预处理；
5、步骤s3：将人脸检测识别模块输出的图像输入到人脸重建模块，通过深度学习模型得到人脸特征系数，并通过特征系数对用户人脸进行三维重建；
6、步骤s4：通过3d建模软件制作中性人脸模型和其对应的卡通风格人脸模型；
7、步骤s5：将预制人脸模块输出的中性人脸模型输入到变形模块，通过三维可变形技术将中性人脸三维模型变形到人脸重建模块输出的用户三维人脸模型；
8、步骤s6：将卡通风格模板变形为同时具有用户特征和预制卡通风格的三维人脸模型；
9、步骤s7：将相机采集模块得到的用户正脸图像输入到装饰分类模块，对用户的装饰进行检测分类；
10、步骤s8：将变形模块输出的卡通人脸模型和装饰分类模块输出的装饰分类类别分别输入到融合模块。通过模型融合对卡通人脸模型和头部模型融合补全，通过装饰分类结果将手工预制的装饰与卡通模型相匹配，最后对卡通模型进行渲染得到最终结果；
11、所述步骤s1中：用户置于一个较好的光照环境中，并保持正脸面向相机；
12、通过相机拍摄用户的正脸图像。
13、所述步骤s2中：人脸检测识别模块包含人脸关键点检测和图像预处理两部分功能；
14、步骤s2中：的人脸关键点检测：使用深度学习模型对输入图像的人脸和人脸关键点进行检测，得到人脸的5个关键点位置坐标信息；
15、步骤s2中：中图像预处理：将开源数据bfm人脸模型作为底模，获取bfm模型三维人脸5个关键点位置坐标。将所述步骤s2中的人脸关键点与bfm人脸模型关键点进行最小二乘法计算得到图像的放缩参数和裁剪参数。根据放缩参数和裁剪参数对输入图像进行预处理，从而得到大小为224×224的图像。
16、所述步骤s3中的特征系数方法：使用人脸特征系数深度学习模型对输入图像推导出该用户图像的特征系数。
17、在所述人脸特征系数深度学习模型对输入图像进行推理之前，所述方法还包括：
18、人脸特征系数模型训练：使用生成对抗网络生成一定数量的亚洲人脸图像，将该图像与开源人脸数据集ffhq进行混合来构成本方法的数据集；数据集预处理：将数据集使用68点人脸关键点检测器进行检测，得到每张图像的68个关键点坐标；将数据集使用基于皮肤注意力的高斯混合模型进行处理，得到每张图像的掩膜。将处理后的数据集按一定比例划分为训练集、验证集和测试集。利用所划分的训练集和验证集对人脸特征系数模型进行训练，将测试集图像输入到训练后的人脸特征系数模型进行模型评估，最终得到本方法使用的人脸特征系数深度学习模型；
19、所述s3中的人脸三维重建：人脸特征系数与bfm模型进行矩阵运算，得到该用户图像的三维人脸模型。
20、所述s4中的中性人脸模型：该模型为进行真人风格人脸变形的底模；所述s4中的卡通风格人脸模型：该模型为所述中性人脸模型按照一定风格制作的卡通风格人脸模型。对于不同的生成风格要求，需要制作不同的卡通模型；。
21、所述s5中变形模块：分别获取预制人脸模块输出的中性人脸三维模型的位置坐标和人脸重建模块输出的用户人脸三维模型的位置坐标，将中性人脸三维模型的位置坐标进行坐标变换以变换到用户人脸三维模型的位置坐标，并记录这种映射变换关系。
22、所述步骤s6中将卡通风格模板根据所述映射变换关系进行变换，得到该用户的卡通风格人脸形象。对于同一种生成风格，该卡通模型只需要制作一次。
23、所述步骤s7中的分类检测方法：使用深度学习分类模型对用户图像的装饰进行检测和分类，具体包括眼镜、发型、眉毛和肤色；
24、在所述深度学习分类模型对用户装饰进行检测分类之前，所述方法还包括：
25、深度学习分类模型训练：采集具有不同装饰的人物图像；标注数据集，所需标注信息为人物图像装饰的类别；将标注后的数据集划分为训练集、验证集和测试集；利用划分后的训练集和验证集对人物装饰分类模型进行训练，将测试集输入到训练后的装饰分类模型得到装饰类别分类结果，通过标签和预测的分类结果对模型进行评估，然后得到装饰分类模型；
26、所述步骤s8中的融合模块：将卡通人脸模型和预制头部模型对齐，然后将对齐后的模型进行网格拓扑匹配；为保证模型融合后的边界过渡平滑，使用优化算法对连接处的网格进行优化处理以达到平滑过渡效果；
27、所述步骤s8的装饰匹配模块：获取所述s7中的装饰分类结果，通过该分类结果将手工预制的装饰与融合后的3d卡通数字人相匹配。
28、所述步骤s8中的模型渲染模块：使用渲染引擎对所述s8中的卡通模型进行渲染，得到最终的3d卡通数字人形象。
29、利用本专利技术的技术方案制作的一种3d卡通数字人的制作方法，主要采用深度学习和计算机图形学结合的方法，通过深度学习训练出可以生成真人风格的3d人脸ai模型，然后通过三维可变形技术将生成的人脸模型变换到具有该用户特征的3d卡通风格数字人模型，随后对输入用户图像的发型、眉毛、眼镜附属装扮进本文档来自技高网...
【技术保护点】
1.一种3D卡通数字人的制作方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述步骤S1中：用户置于一个较好的光照环境中，并保持正脸面向相机；
3.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述步骤S2中：人脸检测识别模块包含人脸关键点检测和图像预处理两部分功能；
4.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述步骤S3中的特征系数方法：使用人脸特征系数深度学习模型对输入图像推导出该用户图像的特征系数；
5.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述S4中的中性人脸模型：该模型为进行真人风格人脸变形的底模；
6.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述S5中变形模块：分别获取预制人脸模块输出的中性人脸三维模型的位置坐标和人脸重建模块输出的用户人脸三维模型的位置坐标，将中性人脸三维模型的位置坐标进行坐标变换以变换到用户人脸三维模型的位置坐标，并记录这种映射变换关系。
7
8.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述步骤S7中的分类检测方法：使用深度学习分类模型对用户图像的装饰进行检测和分类，具体包括眼镜、发型、眉毛和肤色；
9.根据权利要求1所述的一种3D卡通数字人的制作方法，其特征在于，所述步骤S8中的融合模块：将卡通人脸模型和预制头部模型对齐，然后将对齐后的模型进行网格拓扑匹配；为保证模型融合后的边界过渡平滑，使用优化算法对连接处的网格进行优化处理以达到平滑过渡效果；
...【技术特征摘要】
1.一种3d卡通数字人的制作方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种3d卡通数字人的制作方法，其特征在于，所述步骤s1中：用户置于一个较好的光照环境中，并保持正脸面向相机；
3.根据权利要求1所述的一种3d卡通数字人的制作方法，其特征在于，所述步骤s2中：人脸检测识别模块包含人脸关键点检测和图像预处理两部分功能；
4.根据权利要求1所述的一种3d卡通数字人的制作方法，其特征在于，所述步骤s3中的特征系数方法：使用人脸特征系数深度学习模型对输入图像推导出该用户图像的特征系数；
5.根据权利要求1所述的一种3d卡通数字人的制作方法，其特征在于，所述s4中的中性人脸模型：该模型为进行真人风格人脸变形的底模；
6.根据权利要求1所述的一种3d卡通数字人的制作方法，其特征在于，所述s5中变形模块：分别获取预制人脸模块输出的中性人脸三维模型的位置坐标和...
【专利技术属性】
技术研发人员：兰勇，王治国，郭庆，李朋，邹伯宜，
申请(专利权)人：信华信大连软件服务股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。