一种提升表情基表达能力的方法、装置、设备及介质制造方法及图纸

本申请提供了一种提升表情基表达能力的方法、装置、设备及介质，该方法包括：基于初始表情参数化模型提取每一帧三维重建数据的初始语义参数，并通过初始语义参数对应的第一表情基驱动预设的面部模型生成初始参数化结果；将每一第一表情基下的初始参数化结果和三维重建数据进行对比，确定初始参数化结果和三维重建数据是否匹配；若不匹配，则根据初始参数化结果和三维重建数据的误差信息，生成表情残差数据；使用表情残差数据调整初始表情参数化模型，得到调整后的第二参数化模型，通过第二参数化模型确定的第二表情基驱动面部模型生成与三维重建数据相匹配的第二参数化结果。本申请不需要人工进行外部数据的输入，提高了效率。率。率。

【技术实现步骤摘要】
一种提升表情基表达能力的方法、装置、设备及介质


[0001]本申请涉及计算机动画
，具体而言，涉及一种提升表情基表达能力的方法、装置、设备及介质。

技术介绍

[0002]传统的人脸动画采用多视角三维重建的人脸表情直接驱动人脸模型的方式，这种方式会占用大量的内存，同时也不便于动画师进行编辑操作。随着计算机技术的飞速发展，重建人脸表情源数据通过转化为参数化的表情序列的形式来降低内存。
[0003]目前，较多使用通用的Blendshape模型对重建的人脸表情进行参数化转化。使用通用的Blendshape模型对重建的人脸表情得到参数，在不同人脸上会存在表达精度不足的问题，为了提高Blendshape模型的表达精度，现有技术主要通过引进外部采集到的特定人脸表情，这里的采集方式主要包括对特定演员配合进行拍摄采集，或者通过人工刻画。上述提高Blendshape模型精度的方式都需要额外的人工操作，效率较低。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种提升表情基表达能力的方法、装置、设备及介质，在不需要人工外部输入数据的情况下，能够自动表情基的表达效果进行提升，降低了人工成本，提高了处理效率。
[0005]第一方面，本申请实施例提供了一种提升表情基表达能力的方法，所述方法包括：
[0006]基于初始表情参数化模型提取连续多帧三维重建数据中每一帧三维重建数据的初始语义参数，并通过所述初始语义参数对应的第一表情基驱动预设的面部模型生成初始参数化结果；
[0007]将每一第一表情基下的初始参数化结果和三维重建数据进行对比，确定该第一表情基下的初始参数化结果和三维重建数据是否匹配；
[0008]若不匹配，则根据该第一表情基下初始参数化结果和三维重建数据的误差信息，生成表情残差数据；
[0009]使用所述表情残差数据调整所述初始表情参数化模型，并基于调整后的第二参数化模型提取所述连续多帧三维重建数据中每一帧三维重建数据的第二语义参数向量，并通过所述第二语义参数向量对应的第二表情基驱动所述面部模型生成与三维重建数据相匹配的第二参数化结果。
[0010]第二方面，本申请实施例提供了一种提升表情基表达能力的装置，所述装置包括：
[0011]提取模块，用于基于初始表情参数化模型提取连续多帧三维重建数据中每一帧三维重建数据的初始语义参数，并通过所述初始语义参数对应的第一表情基驱动预设的面部模型生成初始参数化结果；
[0012]误差分析模块，用于将每一第一表情基下的初始参数化结果和三维重建数据进行对比，确定该第一表情基下的初始参数化结果和三维重建数据是否匹配；
[0013]生成模块，用于若不匹配，则根据该第一表情基下初始参数化结果和三维重建数据的误差信息，生成表情残差数据；
[0014]调整模块，用于使用所述表情残差数据调整所述初始表情参数化模型，并基于调整后的第二参数化模型提取所述连续多帧三维重建数据中每一帧三维重建数据的第二语义参数向量，并通过所述第二语义参数向量对应的第二表情基驱动所述面部模型生成与三维重建数据相匹配的第二参数化结果。
[0015]第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的提升表情基表达能力的方法的步骤。
[0016]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的提升表情基表达能力的方法的步骤。
[0017]本申请的实施例提供的技术方案可以包括以下有益效果：
[0018]本申请方法包括：基于初始表情参数化模型提取连续多帧三维重建数据中每一帧三维重建数据的初始语义参数，并通过所述初始语义参数对应的第一表情基驱动预设的面部模型生成初始参数化结果；将每一第一表情基下的初始参数化结果和三维重建数据进行对比，确定该第一表情基下的初始参数化结果和三维重建数据是否匹配；若不匹配，则根据该第一表情基下初始参数化结果和三维重建数据的误差信息，生成表情残差数据；使用所述表情残差数据调整所述初始表情参数化模型，并基于调整后的第二参数化模型提取所述连续多帧三维重建数据中每一帧三维重建数据的第二语义参数向量，并通过所述第二语义参数向量对应的第二表情基驱动所述面部模型生成与三维重建数据相匹配的第二参数化结果。本申请能够对通过初始表情参数化模型得到的第一表情基进行分析，确定出该第一表情基下初始参数化结果和三维重建数据的误差信息，进而生成表情残差数据；使用表情残差数据对初始表情参数化模型进行调整，得到第二参数化模型；通过第二参数化模型能够得到的表达效果更好的第二表情基；不需要人工进行外部数据的输入，提高了效率。
[0019]为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0020]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0021]图1示出了本申请实施例所提供的一种提升表情基表达能力的方法的流程示意图；
[0022]图2示出了本申请实施例所提供的一种第一关键点的示意图；
[0023]图3示出了本申请实施例所提供的一种提升表情基表达能力的装置示意图；
[0024]图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0025]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
[0026]另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
[0028]传统的人脸动画本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提升表情基表达能力的方法，其特征在于，所述方法包括：基于初始表情参数化模型提取连续多帧三维重建数据中每一帧三维重建数据的初始语义参数，并通过所述初始语义参数对应的第一表情基驱动预设的面部模型生成初始参数化结果；将每一第一表情基下的初始参数化结果和三维重建数据进行对比，确定该第一表情基下的初始参数化结果和三维重建数据是否匹配；若不匹配，则根据该第一表情基下初始参数化结果和三维重建数据的误差信息，生成表情残差数据；使用所述表情残差数据调整所述初始表情参数化模型，并基于调整后的第二参数化模型提取所述连续多帧三维重建数据中每一帧三维重建数据的第二语义参数向量，并通过所述第二语义参数向量对应的第二表情基驱动所述面部模型生成与三维重建数据相匹配的第二参数化结果。2.根据权利要求1所述的方法，其特征在于，所述三维重建数据中包含有预设数量的第一关键点；所述将每一第一表情基下的初始参数化结果和三维重建数据进行对比，包括：根据所述第一表情基下三维重建数据中包含的所述第一关键点，在该第一表情基的初始参数化结果中，确定出与所述第一关键点表征同一位置的第二关键点；将所述第一关键点的位置与对应所述第二关键点的位置进行对比。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过对比所述第一关键点的位置与对应所述第二关键点的位置，得到所述第一表情基下初始参数化结果和三维重建数据的误差信息；所述方法通过以下方式确定所述第一表情基下的展示表情图像和三维重建数据是否匹配：若所述误差信息大于等于第一误差阈值，所述第一表情基下的展示表情图像和三维重建数据不匹配；若所述误差信息小于第一误差阈值，所述第一表情基下的展示表情图像和三维重建数据匹配。4.根据权利要求1所述的方法，其特征在于，所述根据第一表情基下初始参数化结果和三维重建数据的误差信息，生成表情残差数据，包括：根据所述第一表情基下初始参数化结果和三维重建数据的误差信息，从所述第一表情基中，选择出目标表情基；根据所述目标表情基下初始参数化结果和三维重建数据的误差信息和预设的中性表情模型，生成表情残差数据。5.根据权利要求1所述的方法，其特征在于，所述根据第一表情基下初始参数化结果和三维重建数据的误差信息，生成表情残差数据，包括：根据所述第一表情基包含的表情，对所述第一表情基进行分类，得到不同类型的所述第一表情基；根据所述第一表情基下初始参数化结果和三...

【专利技术属性】
技术研发人员：沈成泽，林杰，林传杰，侯杰，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：