一种数字虚拟对象的表情数据处理方法和装置制造方法及图纸

本发明专利技术涉及一种数字虚拟对象的表情数据处理方法和装置，其中，该方法包括：实时获取数字虚拟对象的面部表情数据；构建并初始化面部表情数据的顶点对角线矩阵；构建并初始化面部表情数据的顶点矩阵；对初始化后的所述顶点对角线矩阵和所述顶点矩阵进行乘法运算生成的面部表情数据矩阵，从面部表情数据矩阵中取出面部表情数据的各表情顶点的最优值作为新的面部表情数据；利用新的面部表情数据对面部表情数据进行更新，按照更新后的面部表情数据渲染新的表情，能够在线实时的、快速的、大规模的修复虚拟对象的表情，并使表情的表现更加自然。然。然。

【技术实现步骤摘要】
一种数字虚拟对象的表情数据处理方法和装置


[0001]本专利技术涉及云计算
，具体涉及一种数字虚拟对象的表情数据处理方法和装置。

技术介绍

[0002]本部分向读者介绍可能与专利技术实施例的各个方面相关的
技术介绍
，相信能够向读者提供有用的背景信息，从而有助于读者更好地理解本专利技术实施例的各个方面。因此，可以理解，本部分的说明是用于上述目的，而并非构成对现有技术的承认。
[0003]近年来，元宇宙概念席卷全球，随着元宇宙的蓬勃发展，国内各大企业加速赛道布局，通过元宇宙为不同的应用场景的相关内容生态进行赋能。元宇宙（Metaverse），是人类运用数字技术构建的，由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界，具备新型社会体系的数字生活空间。现实中的人可以在元宇宙拥有自己的个性化虚拟形象。人类与虚拟世界的交互方式也在不断改变。通常会通过人脸重建技术获得用户的人脸三维模型，然后应用到游戏、社交、影视等领域，提升人们的娱乐体验。
[0004]现有方式中以捏脸制作人脸三维模型最为主流，所谓捏脸，指应用中提供大量人物脸部部位可调参数滑竿，用户通过操作滑竿，实现对应数字虚拟对象的脸部五官形状、位置、细节调整，使用该方法可以满足用户精确操作人物五官，如眼角、鼻尖、脸型等特征，实现个性化的数字虚拟对象创建。但捏脸后的数字虚拟对象的表情跟标准表情之间的吻合度较低，进行表情驱动时会出现表情缺陷，导致表情的表现不太自然。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术提供一种数字虚拟对象的表情数据处理方法和装置，可以在线实时的、快速的、大规模的修复虚拟对象的表情，并使表情的表现更加自然。
[0006]第一方面，本专利技术提供了一种数字虚拟对象的表情数据处理方法，包括：实时获取数字虚拟对象的面部表情数据；构建并初始化面部表情数据的顶点对角线矩阵；构建并初始化面部表情数据的顶点矩阵；对初始化后的所述顶点对角线矩阵和所述顶点矩阵进行乘法运算生成的面部表情数据矩阵，从面部表情数据矩阵中取出面部表情数据的各表情顶点的最优值作为新的面部表情数据；利用新的面部表情数据对面部表情数据进行更新，按照更新后的面部表情数据渲染新的表情。
[0007]第二方面，本专利技术实施例还提供一种数字虚拟对象的表情数据处理的装置，包括：信息获取单元，用以实时获取数字虚拟对象的面部表情数据；顶点对角线矩阵初始化单元，用以构建并初始化面部表情数据的顶点对角线矩阵；
第二矩阵初始化单元，用以构建并初始化面部表情数据的顶点矩阵；数据运算单元，用以对初始化后的所述顶点对角线矩阵和所述顶点矩阵进行乘法运算生成面部表情数据矩阵，从所述面部表情数据矩阵中取出面部表情数据的各表情顶点的最优值作为新的面部表情数据；渲染单元，用以利用新的面部表情数据对面部表情数据进行更新，按照更新后的面部表情数据渲染新的表情。
[0008]由上述技术方案可知，本专利技术实施例提供的一种数字虚拟对象的表情数据处理方法和装置，与现有技术相比，解决传统的捏脸等表情变形的应用中表情驱动修复存在效率低下问题，通过对面部表情数据的数据顶点进行数据变换，确定出面部表情数据的各表情顶点的最优值作为新的面部表情数据，按照该新的面部表情数据渲染表情，可以在线实时的、快速的、大规模的修复虚拟对象的表情，并使表情的表现更加自然。
附图说明
[0009]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0010]图1为本专利技术一个实施例中数字虚拟对象的表情数据处理方法的流程示意图；图2为本专利技术一个实施例中数字虚拟对象的表情数据处理装置的结构示意图；图3为本专利技术一个实施例中电子设备的硬件结构示意图。
具体实施方式
[0011]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是所有的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0012]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0013]本申请实施例提供的数字虚拟对象的表情数据处理方法可以由各种电子设备实施，例如，可以由终端单独实施，也可以由云服务器单独实施，也可以由终端和云服务器协同实施。例如云服务器独自执行本申请实施例提供的数字虚拟对象的表情数据处理方法，或者，终端向云服务器发送针对虚拟对象的表情数据处理请求，云服务器根据接收的表情数据处理请求执行本申请实施例提供的数字虚拟对象的表情数据处理方法。本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
[0014]如图1所示，本申请实施例提供的数字虚拟对象的表情数据处理方法可以在线实时的、快速的、大规模的修复虚拟对象的表情，使表情的表现更加自然。该方法具体包括：S1、实时获取数字虚拟对象的面部表情数据；在本专利技术实施例中，所述面部表情数据包括：表情顶点数据和接邻三角形数据，表
情顶点数据包括移动顶点数据、固定顶点数据以及未标记的其它顶点数据等。表情顶点是在数字虚拟对象建模时面部模型网格中涉及到表情的顶点，表情顶点数据的变化反映数字虚拟对象的面部表情的变化。为了精细调整修复表情，动画变化过程中数据变化幅度相对比较大顶点标记为移动顶点；动画变化过程中数据变化幅度相对比较小的顶点标记为固定顶点。所述面部表情数据可以是其它软件输入虚幻引擎的，例如通过外部DCC软件（如maya等）输入。
[0015]S2、构建并初始化面部表情数据的顶点对角线矩阵；S3、构建并初始化面部表情数据的顶点矩阵；S4、对初始化后的所述顶点对角线矩阵和所述顶点矩阵进行乘法运算生成面部表情数据矩阵，从所述面部表情数据矩阵中取出面部表情数据的各表情顶点的最优值作为新的面部表情数据；在本专利技术实施例中，面部表情数据矩阵中各个位置的元素值为对应表情顶点在三维坐标系中相应坐标的坐标值，各个坐标的坐标值组成表情顶点在三维坐标系中的位置坐标，从面部表情数据矩阵中可以获得各个顶点的位置坐标，该位置坐标即为对应表情顶点的位置坐标的最优值（也即表情顶点的最优值）。具体可以通过多线程技术对初始化后的顶点对角线矩阵和顶点矩阵进行分布式矩阵乘法运算，从而在欧几里得空间中求得各个表情顶点的位置坐标的最优取值作为新的面部表情数据。
[0016]S5、利用新的面部表情数据对面部表情数据进行更新，按照更新后的面部表情数据渲染新的表情。
[0017]在本专利技术实施例中，需要使用新的面部表情数据（也即各个表情顶点的位置坐标的最优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字虚拟对象的表情数据处理方法，其特征在于，包括：实时获取数字虚拟对象的面部表情数据；构建并初始化面部表情数据的顶点对角线矩阵；构建并初始化面部表情数据的顶点矩阵；对初始化后的所述顶点对角线矩阵和所述顶点矩阵进行乘法运算生成面部表情数据矩阵，从所述面部表情数据矩阵中取出面部表情数据的各表情顶点的最优值作为新的面部表情数据；利用新的面部表情数据对面部表情数据进行更新，按照更新后的面部表情数据渲染新的表情。2.根据权利要求1所述的方法，其特征在于，所述构建并初始化面部表情数据的顶点对角线矩阵包括：构建大小为M
×
M的顶点对角线矩阵并赋值，M为所述面部表情数据中表情顶点的数量；按照所述面部表情数据中固定顶点的数量值在所述顶点对角线矩阵的末尾追加扩展形成第二矩阵并赋值；按照所述面部表情数据中移动顶点的数量值在所述第二矩阵的末尾追加扩展形成第三矩阵并赋值；对所述第三矩阵进行转置操作完成顶点对角线矩阵初始化。3.根据权利要求2所述的方法，其特征在于，所述构建大小为M
×
M的顶点对角线矩阵并赋值包括：构建大小为M
×
M的对角线矩阵；将所述对角线矩阵中对角线位置的元素值设置为1，对于所述对角线矩阵中除对角线位置外的其它每一个位置，确定该位置对应的表情顶点，根据由所述表情顶点确定的接邻边所属的接邻边三角形的数量确定该位置的元素值。4.根据权利要求2所述的方法，其特征在于，所述按照所述面部表情数据中固定顶点的数量值在所述顶点对角线矩阵的末尾追加扩展形成第二矩阵并赋值包括：按照所述面部表情数据中固定顶点的数量值在所述顶点对角线矩阵的末尾追加扩展形成第二矩阵；对于所述第二矩阵中新增的每一个位置，若该位置对应的两个表情顶点相同，则将该位置的元素值设置为1，或若该位置对应的两个表情顶点不相同，则将该位置的元素值设置为0，其中，新增的位置为所述第二矩阵相较于所述顶点对角线矩阵增加的位置。5.根据权利要求2所述的方法，其特征在于，所述按照所述面部表情数据中移动顶点的数量值在所述第二矩阵的末尾追加扩展形成第三矩阵并赋值包括：按照所述面部表情数据中移动顶点的数量值在所述第二矩阵的末尾追加扩展形成第三矩阵；对于所述第三矩阵中新增的每一个位置，若该位置对应的两个表情顶点相同，则将该位置的元素值设置为1，或若该位置对应的两个...

【专利技术属性】
技术研发人员：吴岚雄，
申请(专利权)人：安徽海马云科技股份有限公司，
类型：发明
国别省市：