一种图像生成方法及装置、计算机可读存储介质、终端，所述方法包括：获取音频内容信息；根据所述音频内容信息得到N组系数，将所述N组系数代入通用函数以得到N个函数表达式，N为大于1的整数；根据所述N个函数表达式在空白图像中绘制N个唇部线条，得到唇形图像，所述N个唇部线条组合形成所述唇形图像中的唇形；将所述唇形图像和预设脸部图像输入至预先训练得到的图像融合模型，得到所述图像融合模型输出的目标脸部图像，其中，所述目标脸部图像中的唇形与所述唇形图像相适配。本申请提供的方案有利于使脸部图像中的唇形更加准确。利于使脸部图像中的唇形更加准确。利于使脸部图像中的唇形更加准确。
【技术实现步骤摘要】
图像生成方法及装置、计算机可读存储介质、终端
[0001]本申请涉及图像处理
，尤其涉及一种图像生成方法及装置、计算机可读存储介质、终端。
技术介绍
[0002]近年来，元宇宙相关技术的发展受到广泛关注，其中，虚拟现实技术是元宇宙相关技术中的重要一项。虚拟现实技术通过多种技术实时生成逼真的虚拟环境，用户可以通过特定的设备进入虚拟环境中并进行交互。在虚拟现实技术中，图像生成是最核心的任务之一。如何生成高质量的脸部图像是当下研究的热点之一。
技术实现思路
[0003]本申请实施例提供一种图像生成方法及装置、计算机可读存储介质、终端，有利于生成高质量的脸部图像。
[0004]为解决上述技术问题，本申请实施例提供一种图像生成方法，所述方法包括：获取音频内容信息；根据所述音频内容信息得到N组系数，将所述N组系数代入通用函数以得到N个函数表达式，N为大于1的整数；根据所述N个函数表达式在空白图像中绘制N个唇部线条，得到唇形图像，所述N个唇部线条组合形成所述唇形图像中的唇形；将所述唇形图像和预设脸部图像输入至预先训练得到的图像融合模型，得到所述图像融合模型输出的目标脸部图像，其中，所述目标脸部图像中的唇形与所述唇形图像相适配。
[0005]可选的，根据所述音频内容信息得到N组系数包括：将所述音频内容信息输入至预先训练得到的参数计算模型，得到所述参数计算模型输出的所述N组系数。
[0006]可选的，所述参数计算模型的训练方法包括：获取样本脸部图像和对应的样本音频内容信息，所述样本脸部图像具有预先标注的多个唇部关键点；
[0007]可选的，对所述多个唇部关键点进行曲线拟合，得到所述N组样本系数；将所述N组样本系数和所述对应的样本音频内容信息作为训练数据，对第一预设模型进行训练，直至模型收敛，得到所述参数计算模型。
[0008]可选的，所述多个唇部关键点包括：第一嘴角点和第二嘴角点，对多个唇部关键点进行曲线拟合，得到所述N组样本系数包括：对所述多个唇部关键点进行坐标变换，变换后的第一嘴角点和变换后的第二嘴角点均位于第一坐标轴上，且关于第二坐标轴对称；对变换后的多个唇部关键点进行曲线拟合，得到所述N组样本系数。
[0009]可选的，将所述唇形图像和预设脸部图像输入至预先训练得到的图像融合模型之前，所述方法还包括：确定所述唇形图像中唇形的中心点位置和旋转角度；对所述唇形图像中的唇形进行平移，和/或，对所述唇形图像中的唇形进行旋转，得到变换后的唇形图像；其中，所述变换后的唇形图像中唇形的中心点位置和所述预设脸部图像中唇部区域的中心点位置相匹配，且所述变换后的唇形图像中唇形的旋转角度和所述预设脸部图像中唇部区域的旋转角度相匹配。
[0010]可选的，所述唇形图像中的唇形包括：上唇线条和下唇线条，确定所述唇形图像中唇形的中心点位置和旋转角度包括：根据所述上唇线条和下唇线条对应的函数表达式，确定第一交点和第二交点；将所述第一交点和第二交点所在线段的中点作为所述中心点，以及将所述线段和所述第一坐标轴的夹角作为所述旋转角度。
[0011]可选的，将所述唇形图像和预设脸部图像输入至预先训练得到的图像融合模型，得到所述图像融合模型输出的目标脸部图像包括：将所述唇形图像和所述预设脸部图像在通道方向上进行拼接，得到拼接后图像；将所述拼接后图像输入至所述图像融合模型，得到所述目标脸部图像。
[0012]本申请实施例还提供一种图像生成装置，包括：获取模块，用于获取音频内容信息；函数确定模块，用于根据所述音频内容信息得到N组系数，将所述N组系数代入通用函数以得到N个函数表达式，N为大于1的整数；唇形生成模块，用于根据所述N个函数表达式在空白图像中绘制N个唇部线条，得到唇形图像，所述N个唇部线条组合形成所述唇形图像中的唇形；；图像融合模块，用于将所述唇形图像和预设脸部图像输入至预先训练得到的图像融合模型，得到所述图像融合模型输出的目标脸部图像，其中，所述目标脸部图像中的唇形与所述唇形图像相适配。
[0013]本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的图像生成方法的步骤。
[0014]本申请实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的图像生成方法的步骤。
[0015]与现有技术相比，本申请实施例的技术方案具有以下有益效果：
[0016]本申请实施例的方案中，获取音频内容信息，然后根据音频内容信息得到N组系数，将N组系数代入通用函数以得到N组函数表达式。进一步地，根据N个函数表达式绘制得到N个唇部线条，得到唇形图像，唇形图像中的唇形由N个唇部线条组合形成；然后将唇形图像和预设脸部图像输入至预先训练得到的图像融合模型，得到图像融合模型输出的目标脸部图像。
[0017]上述方案中，采用N个函数表达式表征唇部图像中的唇形，根据音频内容信息生成N组系数，将N组系数代入通用函数即可得到N个表达式。由于N组系数是基于音频内容信息生成的，因此基于N组系数得到的N个函数表达式刻画的唇形和音频内容信息相适配。最后将唇部图像和预设脸部输入图像融合模型，得到目标脸部图像。由于唇部图像中唇形与音频内容信息相适配，因此生成的目标脸部图像也和音频内容信息也相适配。本申请实施例的方案中，根据音频内容信息得到N个用于体现唇部形态的函数表达式，然后再基于N个函数表达式刻画的唇形图像生成目标脸部图像。因此，相较于直接基于音频内容直接生成脸部图像的方案，能够更加稳定地获取准确的唇形。
[0018]进一步，本申请实施例的方案中，将音频内容信息输入至预先训练得到的参数计算模型，得到参数计算模型输出的所述N组系数。采用基于深度学习算法训练模型学习音频内容信息和函数系数之间的关联，能够更加准确地计算函数表达式的系数，从而使得绘制得到的唇形图像更加准确。
[0019]进一步，本申请实施例的方案中，在训练参数计算模型的过程中，先对唇部关键点
进行坐标变换，使得变换后的第一嘴角点和变换后的第二嘴角点均位于第一坐标轴上，且关于第二坐标轴对称，然后对变换后的多个唇部关键点进行曲线拟合，得到N组样本系数，再采用N组样本系数作为训练数据的一部分进行训练。采用这样的方案，通过使训练数据中的样本系数更加标准化，得到的样本函数表达式仅用于刻画样本唇形，而不体现唇部的位置等噪声信息，使得参数计算模型能够更加准确地学习音频内容信息和函数系数之间的关联，从而在模型使用时得到的N组函数表达式能够准确地刻画与音频内容信息匹配的唇形。
附图说明
[0020]图1是本申请实施例中一种图像生成方法的流程示意图；
[0021]图2是本申请实施例中一种唇形图像的示意图；
[0022]图3是本申请实施例中一种参数计算模型的训练方法的流程示意图；
[0023]图4是本申请实施例中一种图像生成装置的结构示意图。
具体实施方式
[002本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：获取音频内容信息；根据所述音频内容信息得到N组系数，将所述N组系数代入通用函数以得到N个函数表达式，N为大于1的整数；根据所述N个函数表达式在空白图像中绘制N个唇部线条，得到唇形图像，所述N个唇部线条组合形成所述唇形图像中的唇形；将所述唇形图像和预设脸部图像输入至预先训练得到的图像融合模型，得到所述图像融合模型输出的目标脸部图像，其中，所述目标脸部图像中的唇形与所述唇形图像相适配。2.根据权利要求1所述的图像生成方法，其特征在于，根据所述音频内容信息得到N组系数包括：将所述音频内容信息输入至预先训练得到的参数计算模型，得到所述参数计算模型输出的所述N组系数。3.根据权利要求2所述的图像生成方法，其特征在于，所述参数计算模型的训练方法包括：获取样本脸部图像和对应的样本音频内容信息，所述样本脸部图像具有预先标注的多个唇部关键点；对所述多个唇部关键点进行曲线拟合，得到N组样本系数；将所述N组样本系数和所述对应的样本音频内容信息作为训练数据，对第一预设模型进行训练，直至模型收敛，得到所述参数计算模型。4.根据权利要求3所述的图像生成方法，其特征在于，所述多个唇部关键点包括：第一嘴角点和第二嘴角点，对多个唇部关键点进行曲线拟合，得到所述N组样本系数包括：对所述多个唇部关键点进行坐标变换，变换后的第一嘴角点和变换后的第二嘴角点均位于第一坐标轴上，且关于第二坐标轴对称；对变换后的多个唇部关键点进行曲线拟合，得到所述N组样本系数。5.根据权利要求1所述的图像生成方法，其特征在于，将所述唇形图像和预设脸部图像输入至预先训练得到的图像融合模型之前，所述方法还包括：确定所述唇形图像中唇形的中心点位置和旋转角度；对所述唇形图像中的唇形进行平移，和/或，对所述唇形图像中的唇形进行旋转，得到变换后的唇形图像；其中，所述变换后的唇形图像中唇形的中心点...
【专利技术属性】
技术研发人员：虞钉钉，
申请(专利权)人：华院计算技术上海股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。