用于形成个性化的制造技术

电子装置执行一种使用主体

【技术实现步骤摘要】
【国外来华专利技术】用于形成个性化的3D头部和面部模型的方法和系统
[0001]相关申请的交叉引用
[0002]本申请是
2021
年3月
15
日提交的申请号为
17/202,121、
专利技术名称为“用于形成个性化的
3D
头部和面部模型的方法和系统
(METHODS AND SYSTEMS FOR FORMING PERSONALIZED 3D HEAD AND FACIAL MODELS)”的美国专利申请的继续申请，并且要求其优先权，该美国专利申请的全部内容通过引用并入本申请中


[0003]本公开总体上涉及图像技术，更具体地涉及图像处理和头部
/
面部模型形成方法和系统
。

技术介绍

[0004]带有多个传感器
(
例如，多视图摄像头
、
深度传感器等
)
的商用面部捕获系统用于获得具有或不具有显式标记的人的精确三维
(3D)
面部模型
。
这些工具从多个传感器捕获人本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种使用主体的二维
(2D)
面部图像定制虚拟角色的标准面部的方法，其特征在于，包括：识别
2D
面部图像中的一组主体关键点；将所述一组主体关键点变换成与虚拟角色相关联的一组虚拟角色关键点；通过将关键点到参数
(K2P)
神经网络模型应用于所述一组虚拟角色关键点，生成用于标准面部的一组面部控制参数，所述一组面部控制参数中的每个参数分别与所述标准面部的多个面部特征中的一个面部特征相关；以及通过将所述一组面部控制参数应用于所述标准面部，调整所述标准面部的多个面部特征
。2.
根据权利要求1所述的方法，其特征在于，所述
K2P
神经网络模型通过以下方式进行训练：获得主体的多个训练
2D
面部图像；为所述多个训练
2D
面部图像中的每个图像生成与所述虚拟角色相关联的一组训练虚拟角色关键点；将每组训练虚拟角色关键点提交到所述
K2P
神经网络模型中，以获得一组面部控制参数；将所述一组面部控制参数提交到预先训练的参数到关键点
(P2K)
神经网络模型中，以获得与所述一组训练虚拟角色关键点相对应的一组预测虚拟角色关键点；以及通过减小所述一组训练虚拟角色关键点与所述对应的一组预测虚拟角色关键点之间的差值，更新所述
K2P
神经网络模型
。3.
根据权利要求2所述的方法，其特征在于，所述预先训练的
P2K
神经网络模型被配置为：接收包括与所述虚拟角色相关联的骨骼参数或滑块参数的一组面部控制参数；以及根据所述一组面部控制参数预测所述虚拟角色的一组虚拟角色关键点
。4.
根据权利要求3所述的方法，其特征在于，所述一组训练虚拟角色关键点与所述对应的一组预测虚拟角色关键点之间的差值，是所述一组训练虚拟角色关键点与所述对应的一组预测虚拟角色关键点之间的均方误差的总和
。5.
根据权利要求3所述的方法，其特征在于，所述训练后的
K2P
神经网络模型和所述预先训练的
P2K
神经网络模型与游戏相关联
。6.
根据权利要求1所述的方法，其特征在于，所述
2D
面部图像中的所述一组主体关键点与所述
2D
面部图像中的所述主体的面部特征相对应
。7.
根据权利要求1所述的方法，其特征在于，根据不同主体的面部图像，将所述虚拟角色的标准面部定制为游戏的不同角色
。8.
根据权利要求1所述的方法，其特征在于，调整后的虚拟角色的标准面部是所述主体的卡通风格面部
。9.
根据权利要求1所述的方法，其特征在于，调整后的虚拟角色的标准面部是所述主体的真实风格面部
。10.
根据权利要求1所述的方法，其特征在于，所述将所述一组主体关键点变换成一组虚拟角色关键点，包括：
将所述一组主体关键点归一化到规范空间；使所述归一化的一组主体关键点对称化；以及根据与所述虚拟角色相关联的预定义风格，调整所述对称化的一组主体关键点，以获得所述一组虚拟角色关键点
。11.
根据权利要求
10
所述的方法，其特征在于，所述将所述一组主体关键点归一化到规范空间，包括：将所述一组主体关键点缩放到所述规范空间中；以及根据所述一组主体关键点在所述
2D
面部图像中的方位，旋转缩放后的一组主体关键点
。12.
根据权利要求
10
所述的方法，其特征在于，所述将所述一组主体关键点变换成所述一组虚拟角色关键点，进一步包括：使所述对称化的一组主体关键点平滑化，以满足预定义的凸曲线或凹曲线要求
。13.
根据权利要求
10
所述的方法，其特征在于，根据与所述虚拟角色相关联的预定义风格，调整所述对称化的一组主体关键点，包括面部长度...

【专利技术属性】
技术研发人员：杨博，刘松润，王博，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：