【技术实现步骤摘要】
模型训练方法、图像生成方法、装置、设备和介质
[0001]本公开涉及计算机视觉与图像处理领域，尤其涉及一种模型训练方法、图像生成方法、装置、设备和介质。
技术介绍
[0002]近年来，随着科技的进步，虚拟数字人的生成技术日趋成熟。虚拟数字人主要有两种呈现方式：自动播报式(如新闻主播等)和交互式(如情感数字人、虚拟机器人以及各种交互助手等)。在虚拟数字人的生成过程中，数字人的图像生成是比较重要的一个环节。
[0003]现有的图像生成方法基本为两种：一种是基于传统方法进行人脸拉伸与变换，该方法对于多面点非刚性的真实人像，处理效果较差；另一种是现有的基于模型学习的方式，实现人脸之间的生成与变换，但是该方法对于图像细节生成效果较差，尤其是针对人像生成中的眉毛、口型等细节很难达到逼真的效果，从而导致最终生成的数字人图像的效果较差。
技术实现思路
[0004]为了解决上述技术或者至少部分地解决上述技术问题，本公开提供了一种模型训练方法、图像生成方法、装置、设备和介质，可以根据第一训练样本对第一网络模型进行训练，得...
【技术保护点】
【技术特征摘要】
1.一种图像生成模型训练方法，其特征在于，所述方法包括：基于第一训练样本对第一网络模型进行训练，得到训练后的第一目标模型，所述第一训练样本包括第一人脸图像、所述第一人脸图像对应的人脸关键点图像、目标图像、所述目标图像对应的目标人脸关键点图像以及所述目标图像的人脸关键点数据；基于第二训练样本对第二网络模型和所述第一目标模型进行训练，得到训练后的图像生成模型，所述第二训练样本包括所述第一目标模型生成的第二人脸图像和所述目标图像。2.根据权利要求1所述的方法，其特征在于，所述第一网络模型包括第一生成对抗网络模型，所述第一生成对抗网络模型包括第一生成器和第一判别器；相应的，所述基于第一训练样本对第一网络模型进行训练，得到训练后的第一目标模型，包括：将所述第一训练样本中的第一人脸图像、所述人脸关键点图像以及所述目标图像的人脸关键点数据输入所述第一生成器，得到第一预测图像；将所述第一人脸图像和所述第一预测图像输入所述第一判别器，得到第一判别结果；基于预设损失函数，根据所述第一预测图像、所述目标图像以及所述第一判别结果，对所述第一生成器进行训练，得到所述第一生成器训练后的第一目标模型。3.根据权利要求2所述的方法，其特征在于，所述基于预设损失函数，根据所述第一预测图像、所述目标图像以及所述第一判别结果，对所述第一生成器进行训练，得到所述第一生成器训练后的第一目标模型，包括：基于第一预设损失函数，根据所述第一预测图像和所述目标图像，确定所述第一生成器对应的第一损失值；基于第二预设损失函数，根据所述第一判别结果，确定所述第一判别器对应的第二损失值；根据所述第一损失值和所述第二损失值，调整所述第一生成器的参数，直至所述第一生成器收敛，得到所述第一生成器训练后的第一目标模型。4.根据权利要求1所述的方法，其特征在于，所述第一网络模型包括第一生成对抗网络模型，所述第二网络模型包括第二生成对抗网络模型，所述第二生成对抗网络模型包括第二生成器和第二判别器，所述第二生成对抗网络模型的结构与所述第一生成对抗网络模型的结构不同；相应的，所述基于第二训练样本对第二网络模型和所述第一目标模型进行训练，得到训练后的图像生成模型，包括：将所述第二训练样本中的第一目标模型生成的第二人脸图像输入所述第二生成器，得到第二预测图像；将所述第二预测图像和所述目标图像输入所述第二判别器，得到第二判别结果；基于目标损失函数，根据所述第二预测图像、所述目标图像以及所述第二判别结果，对所述第二生成器和所述第一目标模型进行训练，得到训练后的图像生成模型。5.根据权利要求4所述的方法，其特征在于，所述基于目标损失函数，根据所述第二预测图像、所述目标图像以及所述第二判别结果，对所述第二生成器和所述第一目标模型进行训练，得到训练后的图像生...
【专利技术属性】
技术研发人员：付爱国，杨善松，
申请(专利权)人：海信视像科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。