头像生成的方法和头像更换的方法技术

本公开提供了头像生成的方法和头像更换的方法，本公开涉及图像处理技术领域，尤其涉及人工智能、深度学习、云计算等技术领域。具体实现方案为：根据目标人脸的人脸图像，确定第一文本描述信息；其中，第一文本描述信息至少用于表征人脸图像的人脸特征；确定人脸图像的第一图像向量；利用目标物种对应的预训练的文生图模型，根据第一图像向量和第一文本描述信息，生成目标人脸对应的目标物种头像；其中，目标物种头像包含有与人脸特征对应的面部特征。根据本公开的技术，通过将目标人脸的人脸特征迁移至目标物种，可以生成目标人脸专属的跨物种头像。种头像。种头像。

【技术实现步骤摘要】
头像生成的方法和头像更换的方法


[0001]本公开涉及图像处理
，尤其涉及人工智能、深度学习、云计算等


技术介绍

[0002]几乎当前所有的应用程序，都可以实现用户头像的自定义更改，该功能能够给用户带来更好的使用体验。然而，当前的头像更改方式较为固定，一种方式是给定一些默认图像供用户作为头像，另一方式是将用户上传的图片作为头像。

技术实现思路

[0003]本公开提供了一种头像生成的方法和头像更换的方法。
[0004]根据本公开的一方面，提供了一种头像生成的方法，包括：
[0005]根据目标人脸的人脸图像，确定第一文本描述信息；其中，第一文本描述信息至少用于表征人脸图像的人脸特征；
[0006]确定人脸图像的第一图像向量；以及
[0007]利用目标物种对应的预训练的文生图模型，根据第一图像向量和第一文本描述信息，生成目标人脸对应的目标物种头像；其中，目标物种头像包含有与人脸特征对应的面部特征。
[0008]根据本公开的另一方面，提供了一种头像更换的方法，应用于终端的应用程序，包括：
[0009]响应于用户的头像更换指令，确定用户需要转换的目标物种和用户上传的人脸图像；以及
[0010]根据人脸图像和目标物种，利用本公开任一实施例的头像生成的方法，生成用户待更换的目标物种头像；其中，待更换的目标物种头像包含有与人脸特征对应的面部特征。
[0011]根据本公开的另一方面，提供了一种头像生成的装置，包括：
[0012]第一确定模块，用于根据目标人脸的人脸图像，确定第一文本描述信息；其中，第一文本描述信息至少用于表征人脸图像的人脸特征；
[0013]第二确定模块，用于确定人脸图像的第一图像向量；以及
[0014]第一生成模块，用于利用目标物种对应的预训练的文生图模型，根据第一图像向量和第一文本描述信息，生成目标人脸对应的目标物种头像；其中，目标物种头像包含有与人脸特征对应的面部特征。
[0015]根据本公开的另一方面，提供了一种头像更换的装置，应用于终端的应用程序，包括：
[0016]响应模块，用于响应于用户的头像更换指令，确定用户需要转换的目标物种和用户上传的人脸图像；以及
[0017]第二生成模块，用于根据人脸图像和目标物种，利用本公开任一实施例的头像生
成的方法，生成用户待更换的目标物种头像；其中，待更换的目标物种头像包含有与人脸特征对应的面部特征。
[0018]根据本公开的另一方面，提供了一种电子设备，包括：
[0019]至少一个处理器；以及
[0020]与该至少一个处理器通信连接的存储器；其中，
[0021]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
[0022]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
[0023]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
[0024]根据本公开的技术，通过将目标人脸的人脸特征迁移至目标物种，可以生成目标人脸专属的跨物种头像。
[0025]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0026]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0027]图1是根据本公开实施例的头像生成的方法的流程示意图；
[0028]图2是根据本公开实施例的头像生成的方法的应用示意图；
[0029]图3是根据本公开实施例的头像生成的方法的流程示意图；
[0030]图4是根据本公开实施例的头像生成的方法的流程示意图；
[0031]图5是根据本公开实施例的头像更换的方法的流程示意图；
[0032]图6是根据本公开实施例的头像生成的装置的示意图；
[0033]图7是根据本公开实施例的头像更换的装置的示意图；
[0034]图8是用来实现本公开实施例的头像生成的方法和/或头像更换的方法的电子设备的框图。
具体实施方式
[0035]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0036]如图1所示，本公开实施例提供了一种头像生成的方法，包括：
[0037]步骤S101：根据目标人脸的人脸图像，确定第一文本描述信息。其中，第一文本描述信息至少用于表征人脸图像的人脸特征。
[0038]步骤S102：确定人脸图像的第一图像向量。以及
[0039]步骤S103：利用目标物种对应的预训练的文生图模型，根据第一图像向量和第一文本描述信息，生成目标人脸对应的目标物种头像。其中，目标物种头像包含有与人脸特征
对应的面部特征。
[0040]根据本公开实施例，需要说明的是：
[0041]本公开实施例的头像生成的方法可以应用于应用程序(app，application)的换头像场景。目前几乎所有的app在用户登录时，均可以实现对应用程序默认配置给用户的用户头像进行更换。通过本公开实施例的方法，可以使用户能够更换一张包含有用户自身人脸特征的跨物种的专属头像。本公开实施例的头像生成的方法也可以应用于用户的图片美化或图片修图场景。当用户不想在照片中显示自己的真实人脸，但又想在照片中体现自己存在的情况下，可以通过本公开实施例的方法，在照片中将用户本人的头部区域的图像(即头像)更换为包含有用户自身人脸特征的跨物种头像。
[0042]人脸图像，可以理解为图像中仅包含人脸区域的图像，也可以理解为图像中绝大部分区域被人脸区域所占的图像。人脸图像可以是直接对目标人脸进行图像采集所得到的图像，也可以是对包含有目标人脸的图像进行图像分割裁剪所得到的图像。
[0043]第一文本描述信息(text prompt)，至少包含有与人脸图像所表征的人脸特征相关的信息。第一文本描述信息可以是基于人脸图像中的一个或多个人脸特征所生成的信息，通过这些人脸特征组合成一段文本描述信息来指导文生图模型生成具有目标人脸的人脸特征的目标物种的头像。如图2中左侧的人脸图像所示，人脸特征包含有该人脸为男性的性别特征、该人脸的嘴部为微笑的表情特征、该人脸带有眼镜的面部配饰特征、该人脸为斜刘海的毛发特征。基于图2中左侧的人脸图像所示出的这些人脸特征，生成的第一文本描述信息可以为“该人脸为微笑的男性，留有斜刘海发型，戴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种头像生成的方法，包括：根据目标人脸的人脸图像，确定第一文本描述信息；其中，所述第一文本描述信息至少用于表征所述人脸图像的人脸特征；确定所述人脸图像的第一图像向量；以及利用目标物种对应的预训练的文生图模型，根据所述第一图像向量和所述第一文本描述信息，生成所述目标人脸对应的目标物种头像；其中，所述目标物种头像包含有与所述人脸特征对应的面部特征。2.根据权利要求1所述的方法，其中，根据目标人脸的人脸图像，确定第一文本描述信息，包括：根据目标人脸的人脸图像，确定人脸特征；根据所述人脸特征，确定第一文本描述信息。3.根据权利要求2所述的方法，其中，根据目标人脸的人脸图像，确定人脸特征之前，还包括：对目标图像进行人脸识别，确定所述目标图像中的目标人脸的位置信息；根据所述位置信息，对所述目标图像进行裁剪预处理，以得到与所述目标人脸对应的人脸图像。4.根据权利要求2所述的方法，其中，根据目标人脸的人脸图像，确定人脸特征，包括：利用人脸特征提取模型，对目标人脸的人脸图像进行特征提取，以确定人脸特征。5.根据权利要求2所述的方法，其中，根据所述人脸特征，确定第一文本描述信息，包括：确定所述人脸特征的语义信息；确定目标物种的物种类别信息；根据所述语义信息和所述物种类别信息，确定第一文本描述信息。6.根据权利要求5所述的方法，其中，根据所述语义信息和所述物种类别信息，确定第一文本描述信息，包括：确定所需生成的目标物种头像的头像风格信息；根据所述语义信息、所述物种类别信息和所述头像风格信息，确定第一文本描述信息。7.根据权利要求6所述的方法，其中，所述头像风格信息包括图像清晰度信息和/或图像画风信息。8.根据权利要求1所述的方法，其中，确定所述人脸图像的第一图像向量，包括：利用变分自编码器，将所述人脸图像编码为第一图像向量。9.根据权利要求1所述的方法，其中，利用目标物种对应的预训练的文生图模型，根据所述第一图像向量和所述第一文本描述信息，生成所述目标人脸对应的目标物种头像，包括：利用目标物种对应的预训练的文生图模型中的跨模态模型，将所述第一文本描述信息转换为第一文本向量；利用所述预训练的文生图模型中的扩散模型，根据所述第一文本向量和所述第一图像向量，生成所述目标人脸对应的目标物种头像。10.根据权利要求9所述的方法，其中，利用目标物种对应的预训练的文生图模型中的
跨模态模型，将所述第一文本描述信息转换为第一文本向量，包括：利用目标物种对应的预训练的文生图模型中的跨模态模型的文本编码器，将所述第一文本描述信息编码为第一文本向量。11.根据权利要求9所述的方法，其中，利用所述预训练的文生图模型中的扩散模型，根据所述第一文本向量和所述第一图像向量，生成所述目标人脸对应的目标物种头像，包括：利用所述预训练的文生图模型中的扩散模型，根据所述第一文本向量和所述第一图像向量，生成第二图像向量；利用变分自解码器，对所述第二图像向量进行解码，生成所述目标人脸对应的目标物种头像。12.根据权利要求11所述的方法，其中，利用所述预训练的文生图模型中的扩散模型，根据所述第一文本向量和所述第一图像向量，生成第二图像向量，包括：将所述第一图像向量与第一高斯噪声向量混合，得到混合向量；利用所述预训练的文生图模型中的扩散模型，根据所述第一文本向量和所述混合向量，生成第二图像向量。13.根据权利要求11所述的方法，其中，所述扩散模型基于用于二维图像分割的卷积神经网络构成。14.根据权利要求1至13任一项所述的方法，其中，所述人脸特征包括面部配饰特征、毛发特征、肤色特征、眼部特征、表情特征、性别特征、年龄特征和脸型特征中的至少一种特征。15.根据权利要求1至13任一项所述的方法，其中，所述目标物种包括动物和/或植物。16.根据权利要求1至13任一项所述的方法，其中，所述文生图模型采用跨模态生成模型、稳定扩散模型、第一代图像生成模型和第二代图像生成模型中的任一个模型。17.根据权利要求1至13任一项所述的方法，其中，所述预训练的文生图模型的训练过程，包括：根据所述目标物种的物种样本图像，确定第二文本描述信息；其中，所述第二文本描述信息用于表征所述目标物种的面部特征；确定所述物种样本图像的第三图像向量；根据所述第二文本描述信息和所述第三图像向量，对初始文生图模型进行训练，以得到所述预训练的文生图模型。18.根据权利要求17所述的方法，其中，根据所述目标物种的物种样本图像，确定第二文本描述信息，包括：根据所述目标物种的物种样本图像，确定所述目标物种的面部特征；根据所述面部特征，确定第二文本描述信息。19.根据权利要求18所述的方法，其中，所述面部特征至少包括所述目标物种的眼部特征或所述目标物种的表情特征。20.根据权利要求17所述的方法，其中，根据所述第二文本描述信息和所述第三图像向量，对初始文生图模型进行训练，以得到所述预训练的文生图模型，包括：利用初始文生图模型的文本编码器，将所述第二文本描述信息编码为第二文本向量；利用所述初始文生图模型的文本编码器，计算所述第二文本向量和所述第三图像向量
之间的余弦相似度；根据所述余弦相似度，对所述初始文生图模型的文本编码器进行训练；将所述第二文本向量、所述第三图像向量和第二高斯噪声向量输入所述初始文生图模型的扩散模型，基于马尔可夫链过程，对所述初始文生图模型的扩散模型进行训练；根据训练后的文本编码器和训练后的扩散模型，得到所述预训练的文生图模型。21.一种头像更换的方法，应用于终端的应用程序，包括：响应于用户的头像更换指令，确定所述用户需要转换的目标物种和所述用户上传的人脸图像；以及根据所述人脸图像和所述目标物种，利用权利要求1至20任一项所述的头像生成的方法，生成所述用户待更换的目标物种头像；其中，所述待更换的目标物种头像包含有与所述人脸特征对应的面部特征。22.根据权利要求21所述的方法，其中，所述用户上传的所述人脸图像通过拍摄所述用户的人脸的方式获取，或通过对所述用户从终端本地选择的历史图像进行裁剪预处理而获取。23.根据权利要求21或22所述的方法，还包括：确定所述应用程序中所述用户的当前头像；将所述当前头像替换为所述待更换的目标物种头像。24.一种头像生成的装置，包括：第一确定模块，用于根据目标人脸的人脸图像，确定第一文本描述信息；其中，所述第一文本描述信息至少...

【专利技术属性】
技术研发人员：赵广伟，李吉祥，王昊，林晓春，刘慧慧，于天宝，贠挺，齐冰洁，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：