模型训练方法及装置制造方法及图纸

本申请公开了一种模型训练方法及装置，属于人工智能领域。其中，该方法包括：获取第一脸部信息和多个第一样本图像；第一脸部信息包括：平均脸信息、脸型基信息和表情基信息；将第一脸部信息和第一样本图像输入至第一重建模型，输出第一预测图像；根据第一损失值，调节第一重建模型中的训练参数，直至第二损失值小于第一阈值，得到第二重建模型，第一损失值根据第一样本图像和第一预测图像确定，第二损失值根据第二重建模型输出的第二预测图像确定；根据第三损失值，调节第二重建模型中的训练参数和第一脸部信息，直至第四损失值满足预设收敛条件，得到目标重建模型。得到目标重建模型。得到目标重建模型。

【技术实现步骤摘要】
模型训练方法及装置


[0001]本申请属于人工智能领域，具体涉及一种模型训练方法及装置。

技术介绍

[0002]随着人工智能技术的发展，人脸重建技术已经应用在了多个实际场景中，比如影视场景和动漫场景中。
[0003]目前，脸部信息的表达能力会决定重建模型生成的重建图像的上限，而高质量的脸部信息需要大量的样本数据，在实际的使用场景中，往往难以采集大量的样本数据，因此会导致训练得到的重建模型的拟合能力差。

技术实现思路

[0004]本申请实施例的目的是提供一种模型训练方法及装置，能够解决训练得到的重建模型的拟合能力差的问题。
[0005]第一方面，本申请实施例提供了一种模型训练方法，该方法包括：
[0006]获取第一脸部信息和多个第一样本图像；第一脸部信息包括：平均脸信息、脸型基信息和表情基信息；
[0007]将第一脸部信息和第一样本图像输入至第一重建模型，输出第一预测图像；
[0008]根据第一损失值，调节第一重建模型中的训练参数，直至第二损失值小于第一阈值，得到第二重建模型，第一损失值根据第一样本图像和第一预测图像确定，第二损失值根据第二重建模型输出的第二预测图像确定；
[0009]根据第三损失值，调节第二重建模型中的训练参数和第一脸部信息，直至第四损失值满足预设收敛条件，得到目标重建模型；其中，第三损失值根据第一样本图像和第二预测图像确定，第四损失值根据目标重建模型输出的第三预测图像确定。
[0010]第二方面，本申请实施例提供了一种模型训练装置，该方法包括：
[0011]获取模块，用于获取第一脸部信息和多个第一样本图像；第一脸部信息包括：平均脸信息、脸型基信息和表情基信息；
[0012]输入模块，用于将第一脸部信息和第一样本图像输入至第一重建模型，输出第一预测图像；
[0013]第一调节模块，用于根据第一损失值，调节第一重建模型中的训练参数，直至第二损失值小于第一阈值，得到第二重建模型，第一损失值根据第一样本图像和第一预测图像确定，第二损失值根据第二重建模型输出的第二预测图像确定；
[0014]第二调节模块，用于根据第三损失值，调节第二重建模型中的训练参数和第一脸部信息，直至第四损失值满足预设收敛条件，得到目标重建模型；其中，第三损失值根据第一样本图像和第二预测图像确定，第四损失值根据目标重建模型输出的第三预测图像确定。
[0015]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，
所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0016]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0017]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0018]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0019]在本申请的实施例中，通过获取第一脸部信息和多个第一样本图像；第一脸部信息包括：平均脸信息、脸型基信息和表情基信息；将第一脸部信息和第一样本图像输入至第一重建模型，输出第一预测图像；根据第一损失值，调节第一重建模型中的训练参数，直至第二损失值小于第一阈值，得到第二重建模型，第一损失值根据第一样本图像和第一预测图像确定，第二损失值根据第二重建模型输出的第二预测图像确定；这里，能够不断缩小第一样本图像和第一重建模型输出的预测图像的差距，提升第一重建模型从第一样本图像中学习细节信息的能力，以及增强第一重建模型的细节拟合能力，直至第二损失值小于第一阈值，得到第二重建模型。然后，根据第三损失值，调节第二重建模型中的训练参数和第一脸部信息，直至第四损失值满足预设收敛条件，得到目标重建模型；其中，第三损失值根据第一样本图像和第二预测图像确定，第四损失值根据目标重建模型输出的第三预测图像确定，这里，将第一脸部信息作为第二重建模型中的可学习的训练参数，由于第一脸部信息中包括脸型基信息和表情基信息，通过调节脸型基信息和表情基信息，相当于将非线性拟合引入第一脸部信息，使得第二重建模型输出的第二预测图像摆脱脸部区域的整体约束，能够提升第一脸部信息的表达能力。由此，通过本申请实施例训练得到的目标重建模型可以基于调节后的第一脸部信息和输入的原始图像快速生成细节拟合强的重建图像。
附图说明
[0020]图1是本申请实施例提供的一种模型训练方法的流程图；
[0021]图2是本申请实施例提供的一种基于第二样本图像的模型训练方法的流程图；
[0022]图3是本申请实施例提供的一种基于第三样本图像的模型训练方法的流程图；
[0023]图4是本申请实施例提供的一种模型训练装置的结构图；
[0024]图5是本申请实施例的电子设备的硬件结构示意图之一；
[0025]图6是本申请实施例的电子设备的硬件结构示意图之二。
具体实施方式
[0026]下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0027]本申请的说明书和权利要求书的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，
以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0028]本申请实施例提供的模型训练方法至少可以应用于下述应用场景中，下面进行说明。
[0029]目前，3D人脸重建是人像理解的重要部分，3D人脸重建是指利用各种形式的人脸信息，比如：RGB图像、RGB深度图像(RGB Depth Map，RGB
‑
D)数据或者光场相机扫描数据等，生成三维形式人脸的过程。
[0030]三维可变形人脸模型(3D Morphable Models，3DMM)，是一种广泛采用的人脸统计模型，其可将任意人脸表示为一系列基准人脸的线性组合，这样就可将人脸重建任务转化为系数回归任务。
[0031]完整的人脸基包含平均脸脸型基(S)和表情基(ε)三部分，通过如下组合生可成任意人脸：
[0032][0033]公式(1)中，β和ψ分别代表脸型和表情系数，此时就可将人脸重建任务转化为系数预测任务，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取第一脸部信息和多个第一样本图像；所述第一脸部信息包括：平均脸信息、脸型基信息和表情基信息；将所述第一脸部信息和所述第一样本图像输入至第一重建模型，输出第一预测图像；根据第一损失值，调节所述第一重建模型中的训练参数，直至第二损失值小于第一阈值，得到第二重建模型，所述第一损失值根据所述第一样本图像和所述第一预测图像确定，所述第二损失值根据所述第二重建模型输出的第二预测图像确定；根据第三损失值，调节所述第二重建模型中的所述训练参数和所述第一脸部信息，直至第四损失值满足预设收敛条件，得到目标重建模型；其中，所述第三损失值根据所述第一样本图像和所述第二预测图像确定，所述第四损失值根据所述目标重建模型输出的第三预测图像确定。2.根据权利要求1所述的方法，其特征在于，所述获取第一脸部信息和多个第一样本图像，包括：获取目标样本图像、多个第二样本图像、多个表情信息和所述多个第一样本图像，所述第二样本图像包括无表情的脸部区域；基于所述目标样本图像调整所述第二样本图像，得到第一脸部矩阵；根据所述第一脸部矩阵和所述多个表情信息，确定所述第一脸部信息。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标样本图像调整所述第二样本图像，得到第一脸部矩阵，包括：基于预设拓扑信息，分别对所述第二样本图像进行格式转换，得到多个第一图像；分别对所述第一图像进行配准处理，得到多个第二图像，以用于所述第二图像与所述目标样本图像相匹配；根据所述目标样本图像和所述第二图像，分别确定第五损失值，所述第五损失值包括：图像点损失值、第二平滑损失值和关键点损失值；根据所述第五损失值，分别调节所述第五损失值对应的所述第二图像，直至第六损失值小于第二阈值，得到所述第一脸部矩阵，其中，所述第六损失值根据所述目标样本图像和调节后的所述第二图像确定。4.根据权利要求1所述的方法，其特征在于，所述获取第一脸部信息和多个第一样本图像，包括：获取表情系数、脸型系数、L个第三样本图像和所述多个第一样本图像，所述第三样本图像包括N个样本对象的脸部区域，每个所述样本对象对应的第三样本图像包括所述样本对象做出M种表情得到的图像，所述L为所述M和所述N之积，所述L、所述M和所述N均为正整数；根据所述L个第三样本图像，确定第二脸部矩阵；根据所述第二脸部矩阵、所述表情系数和所述脸型系数，得到所述第一脸部信息。5.根据权利要求1所述的方法，其特征在于，在所述根据第三损失值，调节所述第二重建模型中的所述训练参数和所述第一脸部信息，直至第四损失值满足预设收敛条件，得到目标重建模型之后，所述方法还包括：获取原始图像，所述原始图像包括脸部区域；
将所述原始图像输入至所述目标重建模型，得到目标预测系数，所述目标重建模型的模型参数中包括目标脸部信息；根据所述目标预测系数和所述目...

【专利技术属性】
技术研发人员：姬聪，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：