用于生成图像的方法和装置制造方法及图纸

本公开的实施例公开了用于生成图像的方法和装置。该方法的一具体实施方式包括：获取待处理人脸图像和目标人脸图像，其中，该待处理人脸图像中包括第一人脸图像和第一人脸图像的人脸关键点信息；将该人脸关键点信息输入至预设的人脸姿态估计模型，生成人脸姿态信息，其中，该人脸姿态估计模型用于表征人脸关键点信息与人脸姿态信息之间的对应关系；根据该人脸姿态信息，确定人脸图像融合系数；基于该人脸图像融合系数对该目标人脸图像和该第一人脸图像进行融合，生成第二人脸图像。该实施方式实现了针对人脸不同姿态对图像融合的方式进行调整，从而提升图像融合的效果。

Methods and devices for generating images

Embodiments of the present disclosure disclose methods and devices for generating images. An embodiment of the method includes: acquiring the face image to be processed and the target face image, wherein, the face image to be processed includes the face key point information of the first face image and the first face image; inputting the face key point information to the preset face pose estimation model to generate the face pose information, wherein, the face pose estimation model is used to represent The corresponding relationship between face key point information and face pose information; according to the face pose information, determine the face image fusion coefficient; based on the face image fusion coefficient, fuse the target face image and the first face image to generate the second face image. The implementation realizes the adjustment of the image fusion mode according to the different pose of the face, so as to improve the effect of image fusion.

【技术实现步骤摘要】
用于生成图像的方法和装置
本公开的实施例涉及计算机
，具体涉及用于生成图像的方法和装置。
技术介绍
随着人工智能技术的飞速发展，在AR(AugmentedReality，增强现实)特效、视频类应用等领域出现了将不同人的人脸图像进行互换等的图像处理技术。相关的方式通常是通过人脸对齐技术生成模板人脸图像和底版人脸图像，然后将模板人脸图像贴到底版人脸图像上生成互换后的人脸图像。
技术实现思路
本公开的实施例提出了用于生成图像的方法和装置。第一方面，本公开的实施例提供了一种用于生成图像的方法，该方法包括：获取待处理人脸图像和目标人脸图像，其中，待处理人脸图像中包括第一人脸图像和第一人脸图像的人脸关键点信息；将人脸关键点信息输入至预设的人脸姿态估计模型，生成人脸姿态信息，其中，人脸姿态估计模型用于表征人脸关键点信息与人脸姿态信息之间的对应关系；根据人脸姿态信息，确定人脸图像融合系数；基于人脸图像融合系数对目标人脸图像和第一人脸图像进行融合，生成第二人脸图像。在一些实施例中，上述获取待处理人脸图像，包括：获取包括第一人脸图像的初始图像；基于初始图像，提取人脸关键点信息；根据人脸关键点信息和第一人脸图像，生成待处理人脸图像。在一些实施例中，上述人脸姿态估计模型通过如下步骤得到：获取基准人脸图像，其中，基准人脸图像中包括第一人脸的人脸正面图像和人脸正面图像的人脸关键点信息；根据基准人脸图像，建立包括三维人脸关键点信息的三维人脸模型；根据人脸正面图像的人脸关键点信息与三维人脸关键点信息之间的对应关系，生成映射转换系数；根据映射转换系数，生成人脸姿态估计模型。在一些实施例中，上述人脸姿态信息包括方位角信息；以及上述根据人脸姿态信息，确定人脸图像融合系数，包括：获取方位角阈值；根据方位角阈值和人脸姿态信息中的方位角信息，确定人脸图像融合系数。在一些实施例中，上述基于人脸图像融合系数对目标人脸图像和第一人脸图像进行融合，生成第二人脸图像，包括：基于目标人脸图像对第一人脸图像的替换，生成初始人脸替换图像；根据人脸图像融合系数所指示的比例对初始人脸替换图像和第一人脸图像中的像素值进行加权，生成第二人脸图像。在一些实施例中，上述基于目标人脸图像对第一人脸图像的替换，生成初始人脸替换图像，包括：基于第一人脸图像的人脸关键点信息进行三角剖分，生成第一人脸图像的剖分结果；根据三角剖分的方法，生成目标人脸图像的剖分结果；根据目标人脸图像的剖分结果所划分的三角形区域与第一人脸图像的剖分结果所划分的三角形区域之间的对应关系进行替换，生成初始人脸替换图像。第二方面，本公开的实施例提供了一种用于生成图像的装置，该装置包括：获取单元，被配置成获取待处理人脸图像和目标人脸图像，其中，待处理人脸图像中包括第一人脸图像和第一人脸图像的人脸关键点信息；信息生成单元，被配置成将人脸关键点信息输入至预设的人脸姿态估计模型，生成人脸姿态信息，其中，人脸姿态估计模型用于表征人脸关键点信息与人脸姿态信息之间的对应关系；确定单元，被配置成根据人脸姿态信息，确定人脸图像融合系数；图像生成单元，被配置成基于人脸图像融合系数对目标人脸图像和第一人脸图像进行融合，生成第二人脸图像。在一些实施例中，上述获取单元包括：第一获取模块，被配置成获取包括第一人脸图像的初始图像；提取模块，被配置成基于初始图像，提取人脸关键点信息；第一生成模块，被配置成根据人脸关键点信息和第一人脸图像，生成待处理人脸图像。在一些实施例中，上述人脸姿态估计模型通过如下步骤得到：获取基准人脸图像，其中，基准人脸图像中包括第一人脸的人脸正面图像和人脸正面图像的人脸关键点信息；根据基准人脸图像，建立包括三维人脸关键点信息的三维人脸模型；根据人脸正面图像的人脸关键点信息与三维人脸关键点信息之间的对应关系，生成映射转换系数；根据映射转换系数，生成人脸姿态估计模型。在一些实施例中，上述人脸姿态信息包括方位角信息；确定单元包括：第二获取模块，被配置成获取方位角阈值；确定模块，被配置成根据方位角阈值和人脸姿态信息中的方位角信息，确定人脸图像融合系数。在一些实施例中，上述图像生成单元包括：第二生成模块，被配置成基于目标人脸图像对第一人脸图像的替换，生成初始人脸替换图像；第三生成模块，被配置成根据人脸图像融合系数所指示的比例对初始人脸替换图像和第一人脸图像中的像素值进行加权，生成第二人脸图像。在一些实施例中，上述第二生成模块包括：第一生成子模块，被配置成基于第一人脸图像的人脸关键点信息进行三角剖分，生成第一人脸图像的剖分结果；第二生成子模块，被配置成根据三角剖分的方法，生成目标人脸图像的剖分结果；第三生成子模块，被配置成根据目标人脸图像的剖分结果所划分的三角形区域与第一人脸图像的剖分结果所划分的三角形区域之间的对应关系进行替换，生成初始人脸替换图像。第三方面，本公开的实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一实现方式描述的方法。本公开的实施例提供的用于生成图像的方法和装置，首先，获取待处理人脸图像和目标人脸图像。其中，待处理人脸图像中包括第一人脸图像和第一人脸图像的人脸关键点信息。而后，将人脸关键点信息输入至预设的人脸姿态估计模型，生成人脸姿态信息。其中，人脸姿态估计模型用于表征人脸关键点信息与人脸姿态信息之间的对应关系。之后，根据人脸姿态信息，确定人脸图像融合系数。最后，基于人脸图像融合系数对目标人脸图像和第一人脸图像进行融合，生成第二人脸图像。从而实现了针对人脸不同姿态对图像融合的方式进行调整，提升了图像融合的效果。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：图1是本公开的一个实施例可以应用于其中的示例性系统架构图；图2是根据本公开的用于生成图像的方法的一个实施例的流程图；图3是根据本公开的实施例的用于生成图像的方法的一个应用场景的示意图；图4是根据本公开的用于生成图像的方法的又一个实施例的流程图；图5是根据本公开的用于生成图像的装置的一个实施例的结构示意图；图6是适于用来实现本公开的实施例的电子设备的结构示意图。具体实施方式下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。图1示出了可以应用本公开的用于生成图像的方法或本文档来自技高网...

【技术保护点】
1.一种用于生成图像的方法，包括：/n获取待处理人脸图像和目标人脸图像，其中，所述待处理人脸图像中包括第一人脸图像和第一人脸图像的人脸关键点信息；/n将所述人脸关键点信息输入至预设的人脸姿态估计模型，生成人脸姿态信息，其中，所述人脸姿态估计模型用于表征人脸关键点信息与人脸姿态信息之间的对应关系；/n根据所述人脸姿态信息，确定人脸图像融合系数；/n基于所述人脸图像融合系数对所述目标人脸图像和所述第一人脸图像进行融合，生成第二人脸图像。/n

【技术特征摘要】
1.一种用于生成图像的方法，包括：
获取待处理人脸图像和目标人脸图像，其中，所述待处理人脸图像中包括第一人脸图像和第一人脸图像的人脸关键点信息；
将所述人脸关键点信息输入至预设的人脸姿态估计模型，生成人脸姿态信息，其中，所述人脸姿态估计模型用于表征人脸关键点信息与人脸姿态信息之间的对应关系；
根据所述人脸姿态信息，确定人脸图像融合系数；
基于所述人脸图像融合系数对所述目标人脸图像和所述第一人脸图像进行融合，生成第二人脸图像。


2.根据权利要求1所述的方法，其中，所述获取待处理人脸图像，包括：
获取包括所述第一人脸图像的初始图像；
基于所述初始图像，提取人脸关键点信息；
根据所述人脸关键点信息和所述第一人脸图像，生成所述待处理人脸图像。


3.根据权利要求1所述的方法，其中，所述人脸姿态估计模型通过如下步骤得到：
获取基准人脸图像，其中，所述基准人脸图像中包括所述第一人脸的人脸正面图像和人脸正面图像的人脸关键点信息；
根据所述基准人脸图像，建立包括三维人脸关键点信息的三维人脸模型；
根据所述人脸正面图像的人脸关键点信息与所述三维人脸关键点信息之间的对应关系，生成映射转换系数；
根据所述映射转换系数，生成所述人脸姿态估计模型。


4.根据权利要求1所述的方法，其中，所述人脸姿态信息包括方位角信息；以及
所述根据所述人脸姿态信息，确定人脸图像融合系数，包括：
获取方位角阈值；
根据所述方位角阈值和所述人脸姿态信息中的方位角信息，确定所述人脸图像融合系数。


5.根据权利要求1-4之一所述的方法，其中，所述基于所述人脸图像融合系数对所述目标人脸图像和所述第一人脸图像进行融合，生成第二人脸图像，包括：
基于所述目标人脸图像对所述第一人脸图像的替换，生成初始人脸替换图像；
根据所述人脸图像融合系数所指示的比例对所述初始人脸替换图像和所述第一人脸图像中的像素值进行加权，生成所述第二人脸图像。


6.根据权利要求5所述的方法，其中，所述基于所述目标人脸图像对所述第一人脸图像的替换，生成初始人脸替换图像，包括：
基于所述第一人脸图像的人脸关键点信息进行三角剖分，生成所述第一人脸图像的剖分结果；
根据所述三角剖分的方法，生成所述目标人脸图像的剖分结果；
根据所述目标人脸图像的剖分结果所划分的三角形区域与所述第一人脸图像的剖分结果所划分的三角形区域之间的对应关系进行替换，生成所述初始人脸替换图像。


7.一种用于生成图像的装置，包括：
获取单元，被配置成获取待处理人脸图像和目标人脸图像，其中，所述待处理人脸图像中包括第一人脸图像和第一人脸图像的人脸关键点信息；
信息生成单元，被配置成将所述人脸关键点信息输入至预设的人...

【专利技术属性】
技术研发人员：姚锟，洪智滨，胡天舒，康洋，韩钧宇，刘经拓，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11