图像生成方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种图像生成方法、装置、电子设备及存储介质。所述方法包括：获取人脸图像对应的多个人脸三角网格，其中，所述多个人脸三角网格包括目标人脸三角网格和多个局部人脸三角网格，多个局部人脸三角网格为基于人脸关键点从所述目标人脸三角网格中得到的每个人脸部位对应的人脸三角网格；获取所述多个人脸三角网格各自对应的多个采样点；分别将所述多个人脸三角网格各自对应的多个采样点、每个人脸三角网格对应的多个顶点以及预设向量输入到预先训练好的人脸生成模型中，获取所述人脸生模型输出的所述多个人脸三角网格各自对应的渲染图像；将所述多个人脸三角网格各自对应的渲染图像进行拼接，得到所述人脸图像对应的目标渲染图像。像对应的目标渲染图像。像对应的目标渲染图像。

【技术实现步骤摘要】
图像生成方法、装置、电子设备及存储介质


[0001]本申请属于图像处理
，具体涉及一种图像生成方法、装置、电子设备及存储介质。

技术介绍

[0002]随着计算机技术的发展，近年来图像处理领域技术也得到了长足的发展，其中合成不同视角下的虚拟对象领域是一个重要分支，低成本的编辑和合成不同视角下逼真的虚拟对象对于2D虚拟对象合成领域而言十分重要，3D虚拟对象合成是基于神经网络对虚拟对象对应的编码向量进行编辑的一种做法，在进行3D虚拟对象合成的过程中，需要保证多视角一致性和身份保持性，即保证虚拟对象在任意视角下都是同样的结构，且在不同视角下虚拟对象不发生变化。例如以人脸为例，要保证生成的人脸在任意视角下都是同样的结构，且在不同的视角下均是同一个人。但是目前的模型渲染生成3D虚拟对象的过程中，经常会出现视角不一致的问题，因此，如何解决视角不一致的问题，就成为技术人员亟待解决的问题。

技术实现思路

[0003]鉴于上述问题，本申请提出了一种图像生成方法、装置、电子设备以及存储介质，以实现改善上述问题。
[0004]第一方面，本申请实施例提供了一种图像生成方法，所述方法包括：获取人脸图像对应的多个人脸三角网格，其中，所述多个人脸三角网格包括目标人脸三角网格和多个局部人脸三角网格，所述多个局部人脸三角网格为基于人脸关键点从所述目标人脸三角网格中得到的每个人脸部位对应的人脸三角网格；获取所述多个人脸三角网格各自对应的多个采样点；分别将所述多个人脸三角网格各自对应的多个采样点、每个人脸三角网格对应的多个顶点以及预设向量输入到预先训练好的人脸生成模型中，获取所述人脸生模型输出的所述多个人脸三角网格各自对应的渲染图像，其中，所述预设向量为表征皮肤纹理的向量；将所述多个人脸三角网格各自对应的渲染图像进行拼接，得到所述人脸图像对应的目标渲染图像。
[0005]第二方面，本申请实施例提供了一种图像生成装置，所述装置包括：网格获取单元，用于获取人脸图像对应的多个人脸三角网格，其中，所述多个人脸三角网格包括目标人脸三角网格和多个局部人脸三角网格，所述多个局部人脸三角网格为基于人脸关键点从所述目标人脸三角网格中得到的每个人脸部位对应的人脸三角网格；采样单元，用于获取所述多个人脸三角网格各自对应的多个采样点；图像生成单元，用于分别将所述多个人脸三角网格各自对应的多个采样点、每个人脸三角网格对应的多个顶点以及预设向量输入到人脸生成模型中，获取所述人脸生模型输出的所述多个人脸三角网格各自对应的渲染图像，其中，所述预设向量为表征皮肤纹理的向量；拼接单元，用于将所述多个人脸三角网格各自对应的渲染图像进行拼接，得到所述人脸图像对应的目标渲染图像。
[0006]第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
[0007]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。
[0008]本申请实施例提供了一种图像生成方法、装置、电子设备及存储介质。首先获取人脸图像对应的多个人脸三角网格，其中，所述多个人脸三角网格包括目标人脸三角网格和多个局部人脸三角网格，所述多个局部人脸三角网格为基于人脸关键点从所述目标人脸三角网格中得到的每个人脸部位对应的人脸三角网格，然后获取多个人脸三角网格各自对应的多个采样点，并分别将多个人脸三角网格各自对应的多个采样点、每个人脸三角网格对应的多个顶点以及预设向量输入到预先训练好的人脸生成模型中，获取人脸生模型输出的多个人脸三角网格各自对应的渲染图像，其中，所述预设向量为表征皮肤纹理的向量，最后将多个人脸三角网格各自对应的渲染图像进行拼接，得到人脸图像对应的目标渲染图像。通过上述方法，分别通过局部人脸三角网格生成局部人脸部位对应的渲染图像，从而再将生成的局部人脸部位对应的渲染图像进行拼接得到目标渲染图像，可以使得生成的目标渲染图像与真实人脸分布对应，使得生成的目标渲染图像可以更接近真实图像，提高了生成图像的可控性和一致性。
附图说明
[0009]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0010]图1示出了本申请一实施例提出的一种图像生成方法的应用场景示意图；
[0011]图2示出了本申请一实施例提出的一种图像生成方法的应用场景示意图；
[0012]图3示出了本申请一实施例提出的一种图像生成方法的流程图；
[0013]图4示出了本申请另一实施例提出的一种图像生成方法的流程图；
[0014]图5示出了本申请又一实施例提出的一种图像生成方法的流程图；
[0015]图6示出了本申请实施例提出的一种图像生成装置的结构框图；
[0016]图7示出了本申请实施例提出的一种图像生成装置的结构框图；
[0017]图8示出了本申请实时中的用于执行根据本申请实施例的图像生成方法的电子设备或服务器的结构框图；
[0018]图9示出了本申请实时中的用于保存或者携带实现根据本申请实施例的图像生成方法的程序代码的存储单元。
具体实施方式
[0019]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
实施例，都属于本申请保护的范围。
[0020]随着计算机技术的发展，近年来图像处理领域技术也得到了长足的发展，其中合成不同视角下的虚拟对象领域是一个重要分支，低成本的编辑和合成不同视角下逼真的虚拟对象对于2D虚拟对象合成领域而言十分重要，3D虚拟对象合成是基于神经网络对虚拟对象对应的编码向量进行编辑的一种做法，在进行3D虚拟对象合成的过程中，需要保证多视角一致性和身份保持性，即保证虚拟对象在任意视角下都是同样的结构，且在不同视角下虚拟对象不发生变化。例如以人脸为例，要保证生成的人脸在任意视角下都是同样的结构，且在不同的视角下均是同一个人。
[0021]但是，专利技术人在对相关的图像生成方法的研究中发现，相关的图像生成方法在生成人脸图像时，依赖于音频、拼接人脸图像以及侧脸图像，但是，生成人脸图像时一般会希望生成的人脸是可控的，而且能够生成多角度一致性的人脸图像。即基于某个输入，可以大概知道生成的人脸图像是什么形状的，并且可以生成不同视角下具有高一致性的同一个ID的人脸图像。通过前述方法生成的人脸图像的可控性和一致性没办法保证。
[0022]因此，专利技术人提出了本申请中的图像生成方法、装置、电子设备及存储介质。首先本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，所述方法包括：获取人脸图像对应的多个人脸三角网格，其中，所述多个人脸三角网格包括目标人脸三角网格和多个局部人脸三角网格，所述多个局部人脸三角网格为基于人脸关键点从所述目标人脸三角网格中得到的每个人脸部位对应的人脸三角网格；获取所述多个人脸三角网格各自对应的多个采样点；分别将所述多个人脸三角网格各自对应的多个采样点、每个人脸三角网格对应的多个顶点以及预设向量输入到预先训练好的人脸生成模型中，获取所述人脸生模型输出的所述多个人脸三角网格各自对应的渲染图像，其中，所述预设向量为表征皮肤纹理的向量；将所述多个人脸三角网格各自对应的渲染图像进行拼接，得到所述人脸图像对应的目标渲染图像。2.根据权利要求1所述的方法，其特征在于，所述获取人脸图像对应的多个人脸三角网格，包括：将所述人脸图像输入到预先训练好的三维可变形人脸模型，获取所述三维可变形人脸模型输出的所述人脸图像对应的目标人脸三角网格；基于所述目标人脸三角网格，确定所述人脸图像所包括的人脸部位各自对应的人脸关键点；基于每个人脸部位对应的所述人脸关键点，从所述目标人脸三角网格中确定每个人脸部位对应的人脸三角网格，以得到所述多个局部人脸三角网格。3.根据权利要求2所述的方法，其特征在于，所述分别将所述多个人脸三角网格各自对应的多个采样点、每个人脸三角网格对应的多个顶点以及预设向量输入到预先训练好的人脸生成模型中，获取所述人脸生模型输出的所述多个人脸三角网格各自对应的渲染图像，包括：分别将所述多个人脸三角网格各自对应的多个采样点、每个人脸三角网格对应的多个顶点以及预设向量输入到预先训练好的人脸生成模型中，通过所述人脸生成模型对处于每个人脸部位之内的采样点或顶点进行渲染，获取所述人脸生模型输出的所述多个人脸三角网格各自对应的渲染图像。4.根据权利要求2所述的方法，其特征在于，所述基于所述目标人脸三角网格，确定所述人脸图像所包括的人脸部位各自对应的人脸关键点，包括：将所述目标人脸三角网格输入到预先训练好的人脸关键点检测模型中，获取所述人脸关键点检测模型输出的所述人脸图像所包括的人脸部位各自对应的人脸关键点。5.根据权利要求1所述的方法，其特征在于，每个人脸三角网格包括多个顶点，所述获取所述多个人脸三角网格各自对应的多个采样点，包括：分别获取所述多个人脸三角网格各自对应的多条线段，其中，每个人脸三角网格对应的多条线段为图像采...

【专利技术属性】
技术研发人员：沈伟，何苗，郭彦东，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：