人脸图像生成方法、装置及设备制造方法及图纸

提供了一种人脸图像生成方法、装置及设备，所述人脸图像生成方法还包括：基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。通过利用人脸生成深度卷积网络基于人脸特征向量和需求特征向量生成人脸，可以无需利用三维模型生成具有特定特征的人脸图像。

Method, device and equipment for generating face image

A face image generation method, device and equipment are provided, the face image generation method also includes the synthesis of face image and the feature vector based on the demand, the demand to determine the depth of the convolution network generation needs to meet the demand based on the score; and satisfaction score, parameter updating the face generating depth and the convolutional network needs determination convolutional network. By using the face generation depth convolution network to generate faces based on facial feature vectors and demand feature vectors, it is possible to generate facial images with specific features without using 3D models.

【技术实现步骤摘要】
人脸图像生成方法、装置及设备
本专利技术涉及人脸图像生成
，更具体地涉及一种人脸图像生成方法、装置及设备。
技术介绍
目前的人脸图像生成与人脸重建都是通过多张不同角度二维照片生成三维模型，然后渲染得到新的二维图像。然而，这种基于三维模型得到新的二维照片的方法，超时较大，效率较低，而且需要利用同一个体的诸多不同角度照片来进行三维建模，这在实际应用中往往不能得到满足。而且，这种方法只适用于生成已有个体的不同角度与光照的图像，并不能生成新的人脸图像。因此，需要一种不仅能够基于需求特征从现有人脸图像重建带有所述需求特征的人脸图像，而且能够不基于现有人脸图像而仅基于需求特征生成新的人脸图像的方法和装置。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种人脸图像生成方法及装置，通过利用人脸生成深度卷积网络基于人脸特征向量和需求特征向量生成人脸，可以无需利用三维模型生成具有特定特征的人脸图像。根据本专利技术一方面，提供了一种人脸图像生成方法，包括：生成M维人脸特征向量，其中M为大于1的整数；将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。此外，根据本专利技术实施例，所述人脸图像生成方法还包括：基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。此外，根据本专利技术实施例，在从给定人脸图像中提取所述人脸特征向量的情况下，所述人脸图像生成方法还包括：基于所述合成人脸图像与所述给定人脸图像，利用第一人脸判定深度卷积网络生成人脸匹配度评分；以及基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。此外，根据本专利技术实施例，在随机生成所述人脸特征向量的情况下，所述人脸图像生成方法还包括：基于所述合成人脸图像，利用第二人脸判定深度卷积网络生成人脸满足度评分；以及基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。根据本专利技术另一方面，提供了一种人脸图像生成装置，包括：人脸特征生成模块，被配置为生成M维人脸特征向量，其中M为大于1的整数；向量合成模块，被配置为将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；合成人脸生成模块，被配置为利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。此外，根据本专利技术实施例，所述人脸图像生成装置还包括：需求判定模块，被配置为基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及第一参数调整模块，被配置为基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。此外，根据本专利技术实施例，在从给定人脸图像中提取所述人脸特征向量的情况下，所述人脸图像生成装置还包括：第一人脸判定模块，被配置为基于所述合成人脸图像与所述给定人脸图像，利用第一人脸判定深度卷积网络生成人脸匹配度评分；以及第二参数调整模块，被配置为基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述第一人脸判定深度卷积网络的参数。。此外，根据本专利技术实施例，在随机生成所述人脸特征向量的情况下，所述人脸图像生成装置还包括：第二人脸判定模块，被配置为基于所述合成人脸图像，利用第二人脸判定深度卷积网络生成人脸满足度评分；以及第三参数调整模块，被配置为基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述第二人脸判定深度卷积网络的参数。根据本专利技术又一方面，提供了一种人脸图像生成设备，包括：一个或多个处理器；一个或多个存储器，存储程序指令，在处理器执行所述程序指令时，生成M维人脸特征向量，其中M为大于1的整数；将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。根据本专利技术实施例的，通过利用人脸生成深度卷积网络基于人脸特征向量和需求特征向量生成人脸，无需利用三维模型，可以快速地生成具有需求特征向量所规定的特定特征的人脸图像。此外，根据本专利技术实施例，在生成了合成人脸图像之后，通过利用需求判定深度卷积网络判定所生成的合成人脸图像是否满足所述需求特征向量的要求并生成相应的需求满足度评分，并且继而根据需求满足度评分更新所述人脸生成深度卷积网络和需求判定深度卷积网络的参数，从而可以将人脸生成深度卷积网络和需求判定深度卷积网络同步地训练。此外，根据本专利技术实施例，在生成了合成人脸图像之后，通过利用人脸判定深度卷积网络判定所生成的合成人脸图像是否是人脸或者是否与给定人脸图像属于同一人脸并生成相应的人脸满足度评分或人脸匹配度评分，并且继而根据所生成的人脸满足度评分或人脸匹配度评分更新所述人脸生成深度卷积网络和人脸判定深度卷积网络的参数，从而可以将人脸生成深度卷积网络和人脸判定深度卷积网络同步地训练。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1是根据本专利技术实施例的人脸图像生成方法的示意性流程图；图2是根据本专利技术实施例的基于人脸特征向量和需求特征向量生成合成人脸图像的示意性原理图；图3A是根据本专利技术实施例的人脸生成深度卷积网络的一个示意性结构图；图3B是根据本专利技术实施例的人脸生成深度卷积网络的另一示意性结构图；图4A是根据本专利技术实施例的与图3A对应的集成卷积神经网络的示意性结构图；图4B是根据本专利技术实施例的与图3B对应的集成卷积神经网络的示意性结构图；图4C是根据本专利技术实施例的与图3B对应的集成卷积神经网络的另一示意性结构图；图5A是根据本专利技术第一实施例的人脸图像生成及判定过程的示意性原理图；图5B是根据本专利技术第二实施例的人脸图像生成及判定过程的示意性原理图；图6是根据本专利技术第一实施例的人脸特征提取深度卷积网络的示意性结构图；图7A是根据本专利技术第一实施例的第一人脸判定深度卷积网络的示意性结构图；图7B是根据本专利技术第二实施例的第二人脸判定深度卷积网络的示意性结构图；图8是根据本专利技术实施例的判定特征向量提取网络的示意性结构图；图9是根据本专利技术实施例的需求判定深度卷积网络的示意性结构图；图10是根据本专利技术实施例的人脸图像生成装置的示意性框图；图11A是根据本专利技术第一实施例的人脸图像生成及判定装置的示意性框图；图11B是根据本专利技术第二实施例的人脸图像生成及判定装置的示意性框图；以及图12是用于实现根据本专利技术实施例的人脸图像生成及判定装置的电子设备的示意性框图。具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施本文档来自技高网...

【技术保护点】
一种人脸图像生成方法，包括：生成M维人脸特征向量，其中M为大于1的整数；将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。

【技术特征摘要】
1.一种人脸图像生成方法，包括：生成M维人脸特征向量，其中M为大于1的整数；将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。2.如权利要求1所述的人脸图像生成方法，其中，所述人脸生成深度卷积网络包括至少一层全连接神经网络和K层集成卷积神经网络，并且每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中K为大于等于2的整数，J为大于等于2的整数。3.如权利要求2所述的人脸图像生成方法，其中，利用所述人脸生成深度卷积网络基于所述合成特征向量生成合成人脸图像包括：利用所述至少一层全连接神经网络基于所述合成特征向量生成初始合成图像；以及利用第一层集成卷积神经网络接收所述初始合成图像，并生成第一层合成图像，所述第一层合成图像的数量小于所述初始合成图像的数量；利用第k层集成卷积神经网络接收第k-1层的卷积神经网络输出的合成图像，并生成第k层合成图像，其中，k为大于等于2且小于等于K的整数，所述第k层合成图像的尺寸大于第k-1层合成图像的尺寸，并且所述第k层合成图像的数量小于第k-1层合成图像的数量，其中，第K层集成卷积神经网络输出的第K层合成图像作为所述合成人脸图像。4.如权利要求2所述的人脸图像生成方法，其中，利用所述人脸生成深度卷积网络基于所述合成特征向量生成合成人脸图像包括：利用所述至少一层全连接神经网络基于所述合成特征向量生成初始合成图像；以及利用第一层集成卷积神经网络接收所述初始合成图像和由所述N维需求特征向量映射而成的N个初始映射图像，并生成第一层合成图像，其中所述初始合成图像的尺寸与所述初始映射图像的尺寸相同，所述第一层合成图像的数量小于所述初始合成图像的数量；利用第k层集成卷积神经网络接收第k-1层的卷积神经网络输出的合成图像和由所述需求特征向量映射而成的N个第k-1层映射图像，并生成第k层合成图像，所述第k-1层合成图像的尺寸与第k-1层映射图像的尺寸相同，所述第k层合成图像的尺寸大于第k-1层合成图像的尺寸，并且所述第k层合成图像的数量小于第k-1层合成图像的数量，其中，所述N维需求特征向量的每一维被映射为所述N个初始映射图像之一，并且被映射为N个第k-1层映射图像之一,其中，k为大于等于2且小于等于K的整数，其中，第K层集成卷积神经网络输出的第K层合成图像作为所述合成人脸图像。5.如权利要求3所述的人脸图像生成方法，其中，在所述K层集成卷积神经网络的每一层中，利用所述放大网络将其接收到的合成图像放大，以生成放大图像；利用第一层卷积神经网络从所述放大网络接收所述放大图像，并生成第一层中间图像；利用第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像，并生成第j层中间图像，其中，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，其中，j为大于等于2且小于等于J的整数；其中，第J层卷积神经网络生成的第J层中间图像作为该层集成卷积神经网络输出的合成图像。6.如权利要求4所述的人脸图像生成方法，其中，在所述K层集成卷积神经网络的每一层中，利用所述放大网络将其接收到的合成图像和映射图像放大，以生成放大图像；利用第一层卷积神经网络从所述放大网络接收所述放大图像，并生成第一层中间图像；利用第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像和映射图像，生成第j层中间图像，其中，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，其中，j为大于等于2且小于等于J的整数；其中，第J层卷积神经网络生成的第J层中间图像作为该层集成卷积神经网络输出的合成图像。7.如权利要求1所述的人脸图像生成方法，其中，生成人脸特征向量包括：利用人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量；或者随机生成所述人脸特征向量。8.如权利要求7所述的人脸图像生成方法，其中，所述人脸特征提取深度卷积网络包括：P层卷积神经网络和至少一层全连接神经网络，其中P为大于等于2的整数，其中，利用第一层卷积神经网络接收所述给定人脸图像，利用所述至少一层全连接神经网络接收第P层卷积神经网络输出的图像并生成所述人脸特征向量。9.如权利要求7所述的人脸图像生成方法，还包括：基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。10.如权利要求9所述的人脸图像生成方法，其中，在从给定人脸图像中提取所述人脸特征向量的情况下，所述人脸图像生成方法还包括：基于所述合成人脸图像与所述给定人脸图像，利用第一人脸判定深度卷积网络生成人脸匹配度评分；以及基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。11.如权利要求9所述的人脸图像生成方法，其中，在随机生成所述人脸特征向量的情况下，所述人脸图像生成方法还包括：基于所述合成人脸图像，利用第二人脸判定深度卷积网络生成人脸满足度评分；以及基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。12.如权利要求10所述的人脸图像生成方法，其中：所述第一人脸判定深度卷积网络包括第一判定特征向量提取网络、第二判定特征向量提取网络和全连接神经网络，其中，利用第一判定特征向量提取网络从所述给定人脸图像中提取第一判定特征向量；利用第二判定特征向量提取网络从所述合成人脸图像中提取第二判定特征向量，利用所述全连接神经网络基于所述第一判定特征向量和所述第二判定特征向量，生成所述人脸匹配度评分，其中，所述第一判定特征向量提取网络和所述第二判定特征向量提取网络的参数相同，所述第一判定特征向量的维数和第二判定特征向量的维数相同且大于所述人脸特征向量的维数。13.如权利要求11所述的人脸图像生成方法，其中：所述第二人脸判定深度卷积网络包括第三判定特征向量提取网络和全连接神经网络，其中，利用第三判定特征向量提取网络从所述合成人脸图像中提取第三判定特征向量，利用所述全连接神经网络基于所述第三判定特征向量，生成所述人脸满足度评分，其中，所述第三判定特征向量的维数大于所述人脸特征向量的维数。14.如权利要求12或13所述的人脸图像生成方法，其中，每个判定特征向量提取网络包括至少一层卷积神经网络、至少一层局部连接卷积神经网络和至少一层全连接神经网络，其中，利用第一层卷积神经网络接收该判定特征向量提取网络的输入图像，所述至少一层卷积神经网络级联，最后一层卷积神经网络与第一层局部连接卷积神经网络连接，所述至少一层局部连接卷积神经网络级联，最后一层局部连接卷积神经网络与第一层全连接神经网络连接，所述至少一层全连接神经网络级联，最后一层全连接神经网络输出该判定特征向量提取网络的判定特征向量。15.一种人脸图像生成装置，包括：人脸特征生成模块，被配置为生成M维人脸特征向量，其中M为大于1的整数；向量合成模块，被配置为将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；合成人脸生成模块，被配置为利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。16.如权利要求15所述的人脸图像生成装置，其中，所述人脸生成深度卷积网络包括至少一层全连接神经网络和K层集成卷积神经网络，并且每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中K为大于等于2的整数，J为大于等于2的整数。17.如权利要求16所述的人脸图像生成装置，其中，所述合成人脸生成模利用所述至少一层全连接神经网络基于所述合成特征向量生成初始合成图像；利用第一层集成卷积神经网络接收所述初始合成图像，并生成第一层合成图像，所述第一层合成图像的数量小于所述初始合成图像的数量；利用第k层集成卷积神经网络接收第k-1层的卷积神经网络输出的合成图像，并生成第k层合成图像，其中，k为大于等于2且小于等于K的整数；利用第K层集成卷积神经网络输出的第K层合成图像作为所述合成人脸图像，其中，所述第k层合成图像的尺寸大于第k-1层合成图像的尺寸，并且所述第k层合成图像的数量小于第k-1层合成图像的数量。18.如权利要求16所述的人脸图像生成装置，其中，所述合成人脸生成模块利用所述至少一层全连接神经网络基于所述合成特征向量生成初始合成图像；利用第一层集成卷积神经网络接收所述初始合成图像和由所述N维需求特征向量映射而成的N个初始映射图像，并生成第一层合成图像，其中所述初始合成图像的尺寸与所述初始映射图像的尺寸相同，所述第一层合成图像的数量小于所述初始合成图像的数量；利用第k层集成卷积神经网络接收第k-1层的卷积神经网络输出的合成图像和由所述需求特征向量映射而成的N个第k-1层映射图像，并生成第k层合成图像，...

【专利技术属性】
技术研发人员：刘宇，周而进，
申请(专利权)人：北京旷视科技有限公司，北京小孔科技有限公司，
类型：发明
国别省市：北京,11