一种图像生成方法、装置、电子设备和介质制造方法及图纸

本公开提供了一种图像生成方法、装置、电子设备和介质，涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。具体实现方案为：确定目标人物形象在目标图像中的第一面部特征，并根据第一面部特征生成目标人物形象的第一面部轮廓图像；确定样本人物形象在样本图像中的第二面部特征，并根据第二面部特征生成样本人物形象的第二面部轮廓图像；根据目标图像、第一面部轮廓图像和第二面部轮廓图像，生成包含目标人物形象的待展示图像。本公开能够提高根据样本图像生成包含目标人物形象的待展示图像的速度，减少了待展示图像生成所消耗的时间。生成所消耗的时间。生成所消耗的时间。

【技术实现步骤摘要】
一种图像生成方法、装置、电子设备和介质


[0001]本公开涉及人工智能
，具体为计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于元宇宙、虚拟数字人等场景，特别涉及一种图像生成方法、装置、电子设备和介质。

技术介绍

[0002]头肩驱动是指通过任意一段样本人物的样本视频，驱动一个已有目标人物的头肩部分，从而生成与样本人物在样本视频中相同的动作或面部表情的被驱动视频。
[0003]现有技术通常是通过三维人脸建模结合三维渲染的方式来实现头肩驱动的效果。

技术实现思路

[0004]本公开提供了一种用于提高生成包含目标人物形象的待展示图像速度的图像生成方法、装置、电子设备和介质。
[0005]根据本公开的一方面，提供了一种图像生成方法，包括：根据包含目标人物形象的目标图像，确定所述目标人物形象在所述目标图像中的第一面部特征，并根据所述第一面部特征生成所述目标人物形象的第一面部轮廓图像；根据包含样本人物形象的样本图像，确定所述样本人物形象在所述样本图像中的第二面部特征，并根据所述第二面部特征生成所述样本人物形象的第二面部轮廓图像；根据所述目标图像、所述第一面部轮廓图像和所述第二面部轮廓图像，生成包含所述目标人物形象的待展示图像。
[0006]根据本公开的另一方面，提供了一种图像生成装置，包括：第一面部轮廓图像确定模块，用于根据包含目标人物形象的目标图像，确定所述目标人物形象在所述目标图像中的第一面部特征，并根据所述第一面部特征生成所述目标人物形象的第一面部轮廓图像；第二面部轮廓图像确定模块，用于根据包含样本人物形象的样本图像，确定所述样本人物形象在所述样本图像中的第二面部特征，并根据所述第二面部特征生成所述样本人物形象的第二面部轮廓图像；待展示图像生成模块，用于根据所述目标图像、所述第一面部轮廓图像和所述第二面部轮廓图像，生成包含所述目标人物形象的待展示图像。
[0007]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开中任一项的方法。
[0008]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开中任一项的方法。
[0009]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开中任一项的方法。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是根据本公开实施例公开的一些图像生成方法的流程图；图2是根据本公开实施例公开的另一些图像生成方法的流程图；图3A是根据本公开实施例公开的另一些图像生成方法的流程图；图3B是根据本公开实施例公开的一些生成待展示图像的流程示意图；图3C是根据本公开实施例公开的一些第二面部轮廓图像优化的流程示意图；图4是根据本公开实施例公开的一些图像生成装置的结构示意图；图5是用来实现本公开实施例公开的图像生成方法的电子设备的框图。
具体实施方式
[0012]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0013]申请人发现，现有的图像驱动技术，通常是基于三维人脸建模和三维渲染，通过交换重建人脸之间的三维形变统计系数，得到同身份参数下不同头部姿态和表情的三维模型，并结合卷积神经网络进行全头带背景的生成。
[0014]然而由于三维渲染需要对三维数据进行处理，而三维数据的数据量通常很大，因此三维渲染过程对计算资源的消耗极大，导致被驱动图像的生成速度较慢，需要消耗较长的时间。
[0015]图1是根据本公开实施例公开的一些图像生成方法的流程图，本实施例可以适用于根据样本图像快速生成包含目标人物形象的待展示图像的情况。本实施例方法可以由本公开实施例公开的图像生成装置来执行，装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。
[0016]如图1所示，本实施例公开的图像生成方法可以包括：S101、根据包含目标人物形象的目标图像，确定目标人物形象在目标图像中的第一面部特征，并根据第一面部特征生成目标人物形象的第一面部轮廓图像。
[0017]S102、根据包含样本人物形象的样本图像，确定样本人物形象在样本图像中的第二面部特征，并根据第二面部特征生成样本人物形象的第二面部轮廓图像。
[0018]其中，目标人物形象表示被样本人物形象驱动的人物形象，即根据样本人物形象的面部动作和/或面部表情，目标人物形象相应做出同样的面部动作和/或面部表情。目标人物形象和样本人物形象既可以是真实人物形象，也可以是虚拟人物形象，本实施例并不对目标人物形象和样本人物形象的具体类型进行限定。例如，可以设置样本人物形象为真
实人物形象，目标人物形象为虚拟人物形象，从而可应用于人物形象虚拟化的场景。又例如，可以设置样本人物形象为真实人物形象，目标人物形象也为真实人物形象，从而可应用于人物特效换脸的场景。
[0019]目标图像表示至少包含目标人物形象面部的图像，而样本图像表示至少包括样本人物形象面部的图像。目标图像和样本图像既可以是单张图像，也可以是多张连续图像(即视频帧)。第一面部轮廓图像表示根据目标图像确定的目标人物形象的二维面部轮廓图像。第二面部轮廓图像表示根据样本图像确定的样本人物形象的二维面部轮廓图像。
[0020]第一面部特征表示目标人物形象在目标图像中的面部特征，第二面部特征表示样本人物形象在样本图像中的面部特征。第一面部特征包括第一面部形状特征、第一面部表情特征和第一面部位姿特征中的至少一种；第二面部特征包括第二面部形状特征、第二面部表情特征和第二面部位姿特征中的至少一种。面部形状特征又称geometry特征，用于描述人物面部的形状，例如瓜子脸、圆脸或者瓜子脸等等；面部表情特征又称expression特征，用于描述人物面部的表情，例如高兴、悲伤或愤怒等等；面部位姿特征又称pose特征，用于描述人物面部的动作，例如抬头或者低头等。
[0021]在一种实施方式中，对目标图像进行图像尺寸标准化，例如将目标图像的尺寸均调整为512*512，将尺寸调整后的目标图像输入至预先建立的三维重建网络中，获取目标人物形象在目标图像中的第一面部形状特征、第一面部表情特征和第一面部位姿特征。根据第一面部形状特征、第一面部表情特征和第一面部位姿特征，进行点云构建，生成目标人物形象的三维面部点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，包括：根据包含目标人物形象的目标图像，确定所述目标人物形象在所述目标图像中的第一面部特征，并根据所述第一面部特征生成所述目标人物形象的第一面部轮廓图像；根据包含样本人物形象的样本图像，确定所述样本人物形象在所述样本图像中的第二面部特征，并根据所述第二面部特征生成所述样本人物形象的第二面部轮廓图像；根据所述目标图像、所述第一面部轮廓图像和所述第二面部轮廓图像，生成包含所述目标人物形象的待展示图像。2.根据权利要求1所述的方法，其中，所述第二面部特征包括第二面部形状特征、第二面部表情特征和第二面部位姿特征中的至少一种；所述根据所述第二面部特征生成所述样本人物形象的第二面部轮廓图像，包括：根据所述第二面部形状特征、所述第二面部表情特征和所述第二面部位姿特征，生成所述样本人物形象的三维面部点云；确定所述三维面部点云中的三维面部关键点，并根据对所述三维面部关键点进行投影的投影结果，确定所述样本人物形象的二维面部关键点；根据所述二维面部关键点生成所述第二面部轮廓图像。3.根据权利要求2所述的方法，其中，所述根据所述第二面部形状特征、所述第二面部表情特征和所述第二面部位姿特征，生成所述样本人物形象的三维面部点云，包括：根据所述第一面部特征中的第一面部形状特征，对所述第二面部形状特征进行特征替换，生成替换面部形状特征；根据所述替换面部形状特征、所述第二面部表情特征和所述第二面部位姿特征，生成所述样本人物形象的三维面部点云。4.根据权利要求1所述的方法，其中，所述根据所述目标图像、所述第一面部轮廓图像和所述第二面部轮廓图像，生成包含所述目标人物形象的待展示图像，包括：将所述第一面部轮廓图像和所述目标图像作为训练样本，对待训练模型进行训练，生成图像翻译模型；根据所述第二面部轮廓图像和所述图像翻译模型，生成所述待展示图像；其中，所述待展示图像用于驱动所述目标人物形象。5.根据权利要求4所述的方法，其中，所述根据所述第二面部轮廓图像和所述图像翻译模型，生成所述待展示图像，包括：确定目标五官在所述第一面部轮廓图像中的第一五官图像，以及在所述第二面部轮廓图像中的第二五官图像；确定所述第一五官图像中第一关键点和第二关键点之间的第一坐标距离值，以及确定所述第二五官图像中所述第一关键点和所述第二关键点之间的第二坐标距离值；根据所述第一坐标距离值和所述第二坐标距离值，对所述第二五官图像进行缩放处理，并根据缩放处理结果生成缩放面部轮廓图像；根据所述缩放面部轮廓图像和所述图像翻译模型，生成所述待展示图像。6.根据权利要求5所述的方法，其中，所述根据所述第一坐标距离值和所述第二坐标距离值，对所述第二五官图像进行缩放处理，包括：根据所述第一坐标距离值和所述第二坐标距离值，确定坐标缩放系数，并根据所述坐
标缩放系数对所述第二五官图像进行缩放处理。7.根据权利要求5所述的方法，其中，所述根据所述缩放面部轮廓图像和所述图像翻译模型，生成所述待展示图像，包括：确定所述第二五官图像中第三关键点在缩放处理前的第一图像坐标，以及在缩放处理后的第二图像坐标，并根据所述第一图像坐标和所述第二图像坐标确定坐标相对位置；根据所述坐标相对位置对缩放处理后的所述第二五官图像进行平移处理，并根据平移处理结果生成优化面部轮廓图像；根据所述优化面部轮廓图像和所述图像翻译模型，生成所述待展示图像。8.一种图像生成装置，包括：第一面部轮廓图像确定模块，用于根据包含目标人物形象的目标图像，确定所述目标人物形象在所述目标图像中的第一面部特征，并根据所述第一面部特征生成所述目标人物形象的第...

【专利技术属性】
技术研发人员：周航，王凯思源，何栋梁，刘经拓，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：