图像处理方法和装置制造方法及图纸

公开了一种图像处理方法和装置。该图像处理方法包括：从实景图像中提取人物头像并输入给编码器，以获得第一向量；训练编辑器对第一向量进行修改，以获得第二向量，其中，所述修改参考基于用户需求构建的自然语言格式的描述文本，并且基于第二向量生成的人物头像与所述描述文本的接近程度达到设定要求；将第二向量提供给生成指定图像处理模型，以得到修正头像；将修正头像和实景图像中的人物头像融合，以获得新的实景图像。和现有技术相比，本公开实施例通过自然语言监督编辑器对头像的隐变量进行编辑以生成符合要求的人物头像，并通过头像融合获得的新的实景图像的自然程度。头像融合获得的新的实景图像的自然程度。头像融合获得的新的实景图像的自然程度。

【技术实现步骤摘要】
图像处理方法和装置


[0001]本公开涉及神经网络和图像处理结合的应用领域，具体而言，涉及一种图像处理方法和装置。

技术介绍

[0002]对于企业来说，已经拍摄好的物料(包括海报、视频、宣传单等等)，如果重新进行拍摄则需要花费大量的人力物力，但在某些情况下，又不得不拍摄新的物料，例如产品进入一个新的国家，往往需要采用当地的模特拍摄新的宣传海报。
[0003]随着神经网络的快速应用，利用图像处理模型已经能够生成高清的人脸图像，但完成实景模特的人物头像生成和替换仍面临以下几个困难：1)原有的物料中模特往往有着特定的姿势，为了保证好的替换效果，如何可控地生成相同姿势下的人脸是一个难点；2)不同的需求方对人物形象有着不同的要求，如脸型，发色，眼睛等，如何生成对应要求的人物头像是另一难点。

技术实现思路

[0004]有鉴于此，本公开提供一种图像处理方法和装置，以可控地生成人物头像并替换掉实景模特的人物头像。
[0005]根据本公开实施例的第一方面，提供一种图像处理方法，包括：
[0006]从实景图像中提取人物头像并输入给编码器，以获得第一向量；
[0007]训练编辑器对所述第一向量进行修改，以获得第二向量，其中，所述修改参考基于用户需求构建的自然语言格式的描述文本，并且基于所述第二向量生成的人物头像与所述描述文本的接近程度达到设定要求；
[0008]将所述第二向量提供给指定图像处理模型，以得到修正头像；
[0009]基于所述修正头像和所述实景图像中的人物头像融合，以获得新的实景图像。
[0010]在一些实施例中，所述从实景图像中提取人物头像包括：利用人脸关键点检测人脸的多个关键点并据此截取所述人物头像。
[0011]在一些实施例中，所述从实景图像中提取人物头像还包括：根据检测到的人脸的关键点将脸部转正对齐。
[0012]在一些实施例中，所述图像处理方法还包括：
[0013]从图片库获取与所述描述文本部分相符的多个样本头像并输入给编码器，以获得多个第三向量；
[0014]则在所述训练编辑器对所述第一向量进行修改的步骤中，基于所述多个第三向量与所述第二向量之间的欧式距离建立损失函数。
[0015]在一些实施例中，所述编辑器、所述指定图像处理模型、文本编码器、图像编码器和图文相似度模型组成第一网络结构，通过对所述第一网络结构进行训练来训练所述编辑器，并且，所述第一网络结构的损失函数基于以下项目构建：所述第二向量和所述第一向量
之间的欧式距离、所述指定图像处理模型输出的重建头像和所述实景图像的人物头像之间的人脸相似度以及所述描述文本与所述指定图像处理模型输出的重建头像之间的图文相关性。
[0016]在一些实施例中，所述指定图像处理模型为生成对抗网络中的生成模型，所述第一向量和所述第二向量符合生成对抗网络隐空间的隐变量的要求。
[0017]在一些实施例中，所述基于所述修正头像和所述实景图像中的人物头像融合包括：采用二次重建和平滑过渡的方式进行头像融合。
[0018]在一些实施例中，所述描述文本来自于用户对模特的要求。
[0019]根据本公开实施例的第二方面，提供一种图像处理装置，包括：
[0020]提取编码单元，用于从实景图像中提取所述人物头像并输入给编码器，以获得第一向量，所述第一向量符合生成对抗网络隐空间隐变量的要求；
[0021]编辑器训练单元，用于训练编辑器对所述第一向量进行修改，以获得第二向量，其中，所述修改参考基于用户需求构建的自然语言格式的描述文本，并且基于所述第二向量生成的人物头像与所述描述文本的接近程度达到设定要求；
[0022]图像生成单元，用于将所述第二向量提供给生成对抗网络模型，以得到修正头像；
[0023]图像融合单元，用于基于所述修正头像和所述实景图像中的人物头像融合，以获得新的实景图像。
[0024]在一些实施例中，所述编辑器训练单元采用的损失函数基于多个第三向量与所述第二向量的欧式距离建立，所述多个第三向量通过以下步骤得到：从图片库获取与所述描述文本部分相符的多个样本头像并输入给编码器，以获得所述多个第三向量。
[0025]在一些实施例中，所述编辑器训练单元在第一网络结构上训练，所述第一网络结构包括：所述编辑器、生成对抗网络的生成模型、文本编码器、图像编码器和图文相似度模型，并且，所述编辑器训练单元采用的损失函数基于以下项目构建：所述第二向量和所述第一向量的欧式距离、所述生成对抗网络的生成模型输出的重建头像和所述实景图像的人物头像的人脸相似度以及所述描述与所述生成对抗网络的生成模型输出的重建头像的图文相关性。
[0026]根据本公开实施例的第三方面，提供一种服务器，包括存储器、调度器和多个模型加速单元，所述存储器还存储可由所述处理器和所述多个模型加速单元执行的计算机指令，所述计算机指令被执行时，实现上述任一项所述的图像处理方法。
[0027]根据本公开实施例的第四方面，提供一种计算机可读介质，所述计算机可读介质存储有可由电子设备执行的计算机指令，所述计算机指令被执行时，实现上述任一项所述的图像处理方法。
[0028]本公开实施例旨在按照指定要求完成实景图像中的人物头像的替换，为此，从以下三个方面进行改进：首先由于从图像层面对人脸的表示无法将各种属性特征解耦开从而不利于新的人物头像的生成，所以采用将人物头像映射到生成对抗网络隐空间的方式来表征，有利于后面对人物头像中的人脸属性进行修改；第二，通过自然语言监督编辑器对与人物头像对应的隐变量进行编辑以生成符合要求的人物头像，如此实现了自然语言对人物头像生成的控制；第三，利用生成对抗网络的连续插值隐空间的特点，对拼接不自然的融合头像进行二次重建实现平滑的融合效果。
[0029]上述方案能够实现较为自然地将实景图像中的人物头像替换为按照指定要求构建的人物头像。
附图说明
[0030]通过参考以下附图对本公开实施例的描述，本公开的上述以及其它目的、特征和优点将更为清楚，在附图中：
[0031]图1是应用服务的部署示意图；
[0032]图2是示例性的服务器的示意图；
[0033]图3示出了电商系统的部分网购页面；
[0034]图3是一个示例性模型的网络结构的示意图；
[0035]图4是本公开实施例提供一种图像处理方法的流程图；
[0036]图5示出了生成对抗网络的原理示意图；
[0037]图5是本公开一实施例提供的针对特定网络结构的模型训练装置的示意图。
[0038]图6是残差网络模型的示意图；
[0039]图7是为训练编辑器搭建的网络结构的示意图；
[0040]图8是本公开一实施例提供的图像处理装置的示意图。
具体实施方式
[0041]以下基于实施例对本公开进行描述，但是本公开并不仅仅限于这些实施例。在下文对本公开的细节描述中，详尽描述了一些特定的细节部分。对本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：从实景图像中提取人物头像并输入给编码器，以获得第一向量；训练编辑器对所述第一向量进行修改，以获得第二向量，其中，所述修改参考基于用户需求构建的自然语言格式的描述文本，并且基于所述第二向量生成的人物头像与所述描述文本的接近程度达到设定要求；将所述第二向量提供给指定图像处理模型，以得到修正头像；基于所述修正头像和所述实景图像中的人物头像融合，以获得新的实景图像。2.根据权利要求1所述的图像处理方法，其中，所述从实景图像中提取人物头像包括：利用人脸关键点检测人脸的多个关键点并据此截取所述人物头像。3.根据权利要求2所述的图像处理方法，其中，所述从实景图像中提取人物头像还包括：根据检测到的人脸的关键点将脸部转正对齐。4.根据权利要求1所述的图像处理方法，其中，所述图像处理方法还包括：从图片库获取与所述描述文本部分相符的多个样本头像并输入给编码器，以获得多个第三向量；则在所述训练编辑器对所述第一向量进行修改的步骤中，基于所述多个第三向量与所述第二向量之间的欧式距离建立损失函数。5.根据权利要求1所述的图像处理方法，其中，所述编辑器、所述指定图像处理模型、文本编码器、图像编码器和图文相似度模型组成第一网络结构，通过对所述第一网络结构进行训练来训练所述编辑器，并且，所述第一网络结构的损失函数基于以下项目构建：所述第二向量和所述第一向量之间的欧式距离、所述指定图像处理模型输出的重建头像和所述实景图像的人物头像之间的人脸相似度以及所述描述文本与所述指定图像处理模型输出的重建头像之间的图文相关性。6.根据权利要求1至5任一项所述的图像处理方法，其中，所述指定图像处理模型为生成对抗网络中的生成模型，所述第一向量和所述第二向量符合生成对抗网络隐空间的隐变量的要求。7.根据权利要求1所述的图像处理方法，所述基于所述修正头像和所述实景图像中的人物头像融合包括：采用二次重...

【专利技术属性】
技术研发人员：白帅，周慧玲，薛金宝，周畅，杨红霞，周靖人，
申请(专利权)人：阿里巴巴云计算北京有限公司，
类型：发明
国别省市：