肖像风格迁移模型训练方法、肖像风格迁移方法以及装置制造方法及图纸

本发明专利技术公开了一种肖像风格迁移模型训练方法、肖像风格迁移方法以及装置。其中，模型训练方法包括：获取用户肖像图和绘画风格肖像图，一方面由用户肖像图和肖像风格迁移模型生成中间生成图；另一方面基于用户肖像图对绘画风格肖像图及其脸部掩码图进行配准变形；再综合用户肖像图、中间生成图、风格配准图和掩码配准图，计算作为训练目标的总损失对模型进行优化，重复上述过程直至训练完毕。本发明专利技术还相应提供了利用上述训练方法得到的模型进行肖像风格迁移处理的软硬件方案。本发明专利技术可以训练出补足了现有模型“考虑不周”之处的最佳肖像风格迁移模型，并由此优化后的模型可以生成大大减弱肖像瑕疵的绘画风格用户肖像图，进而改善用户使用体验。

Training method, transfer method and device of portrait style transfer model

【技术实现步骤摘要】
肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
本专利技术涉及图像成像
，尤其涉及一种肖像风格迁移模型训练方法、肖像风格迁移方法以及装置。
技术介绍
一方面，人物肖像常常是摄影及绘画作品的主题；另一方面，随着智能手机的发展，手机拍照的质量越来越高，用户对于肖像拍照需求也越来越多样化。基于上述，针对用户肖像的风格迁移技术应运而生，尤其在消费领域获得了很多的关注。该技术的至少一种常见应用场景是，用户通过终端拍摄了一张肖像照片，经过后台自动处理，这张用户肖像照片则转变为一张具有某个特定肖像画风格的用户肖像图片。一般而言，肖像风格迁移的传统处理思路是在一张样例肖像绘画中搜索出风格纹理等，利用绘画风格纹理匹配、重建用户提供的照片图片，但经实践分析，此类传统的迁移成像方式不能获得稳定的结果，经常出现用户肖像与肖像绘画中的风格相似度不佳或者迁移后人脸结构不匹配等问题；基于此，本领域发展出了利用模型处理的方案构思，相对于传统方式，当前肖像风格迁移模型生成的肖像内容与用户图像较为相似，而绘画风格等细节与作为基准的绘画肖像图也较为相似，因而相对而言在稳定性上模型方案要优于传统的迁移方案。但是，肖像图不同于风景图，人类的视觉系统对于肖像图中的人物面部细节、五官结构等尤为敏感。经分析发现，即便当前的模型处理方案在一定程度上改善了传统方式稳定性不佳的问题，然而在由当前已有模型迁移处理背后，生成的肖像中异常的、不规则的纹理、结构等细节表现，仍会带来较重的视觉瑕疵，从而导致用户使用体验不佳。
技术实现思路
<br>本专利技术提供了一种肖像风格迁移模型训练方法、肖像风格迁移方法以及装置，本专利技术还相应提供了一种肖像风格迁移设备以及一种计算机程序产品，通过以上形式，能够明显消除最终生成的绘画风格用户肖像图的纹理细节、人脸结构等瑕疵。关于上述本专利技术采用的技术方案具体如下：第一方面，本专利技术提供了一种肖像风格迁移模型训练方法，包括：获取用户肖像图以及绘画风格肖像图；根据用户肖像图以及预先构建的相应于所述绘画风格肖像图的肖像风格迁移模型，获得中间生成图；从用户肖像图中提取包含语义特征的人脸信息；根据所述人脸信息，对所述绘画风格肖像图及其脸部掩码图进行变形，得到与所述用户肖像图中人脸信息一致的风格配准图和掩码配准图；利用所述用户肖像图、所述中间生成图、所述风格配准图以及所述掩码配准图，计算训练目标总损失；基于所述训练目标总损失，对肖像风格迁移模型中的参数进行更新；重复获得中间生成图、计算总损失以及更新模型参数的过程，直至训练过程收敛。在其中一种可能的实现方式中，所述根据所述人脸信息，对所述绘画风格肖像图及其脸部掩码图进行变形包括：根据所述人脸信息，确定所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中人脸的位置；基于所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中的人脸位置的对应关系，将所述绘画风格肖像图及其脸部掩码图向所述用户肖像图配准。在其中一种可能的实现方式中，所述根据所述人脸信息，确定所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中人脸的位置包括：基于人脸信息，分别在所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中确定人脸特征点的坐标；根据各图像中的人脸特征点的坐标以及各图像的四个顶点，对所述用户肖像图、所述绘画风格肖像图及其脸部掩码图进行三角剖分处理。在其中一种可能的实现方式中，所述利用所述用户肖像图、所述中间生成图、所述风格配准图以及所述掩码配准图，计算训练目标总损失包括：根据所述用户肖像图以及所述中间生成图确定内容损失；根据所述风格配准图以及所述中间生成图确定风格损失；根据所述用户肖像图、所述中间生成图以及所述掩码配准图确定纹理细节损失；根据所述中间生成图、所述风格配准图以及所述掩码配准图确定局部风格损失。在其中一种可能的实现方式中，所述根据所述用户肖像图、所述中间生成图以及所述掩码配准图确定纹理细节损失包括：分别在所述用户肖像图以及所述中间生成图中，且基于所述掩码配准图表征的人脸区域内，提取高频信息；根据所述用户肖像图以及所述中间生成图的高频信息相似性，确定所述纹理细节损失。在其中一种可能的实现方式中，所述根据所述中间生成图、所述风格配准图以及所述掩码配准图确定局部风格损失包括：分别提取所述中间生成图以及所述风格配准图的浅层特征；对所述掩码配准图进行降分辨率处理；基于降分辨率后的所述掩码配准图表征的人脸区域，结合所述浅层特征，确定所述局部风格损失。第二方面，本专利技术提供了一种肖像风格迁移方法，包括：接收待处理用户肖像图；将所述待处理用户肖像图输入至经由如上所述肖像风格迁移模型训练方法训练后得到的肖像风格迁移模型，进行肖像风格迁移处理；输出经所述肖像风格迁移模型生成的绘画风格用户肖像图。第三方面，本专利技术提供了一种肖像风格迁移装置，包括：用户肖像接收模块，用于接收待处理用户肖像图；风格迁移处理模块，用于将所述待处理用户肖像图输入至经由如上所述肖像风格迁移模型训练方法训练后得到的肖像风格迁移模型，进行肖像风格迁移处理；最终图像输出模块，用于输出经所述肖像风格迁移模型生成的绘画风格用户肖像图。第四方面，本专利技术提供了一种肖像风格迁移设备，包括：一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如上所述的肖像风格迁移方法。第五方面，本专利技术还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使所述终端设备执行如上所述的肖像风格迁移方法。在第五方面的一种可能的设计中，该产品涉及到的相关程序可以全部或者部分存储在与处理器封装在一起的存储器上，也可以部分或者全部存储在不与处理器封装在一起的存储介质上。综上各方面，本专利技术的核心构思在于探寻到对当前肖像风格迁移模型(本领域也称其为图像生成网络)进行深度优化的原因和方向，并采取相应的实施手段予以实现。具体来说，所用技术手段是在肖像风格迁移模型的训练过程中，结合包含语义特征的人脸信息，获得结构细节更为精准的风格配准图和掩码配准图，并在此基础上再融合用户输入的用户肖像图以及中间生成图(也即是由更新前的肖像风格迁移模型输出的“初始”绘画风格用户肖像图，用于作为计算总损失的参考之一)等多个维度附带的信息计算总的损失(即总约束条件)，以此作为目标优化模型的参数，最后便可以训练出补足了现有模型“考虑不周”之处的最佳肖像风格迁移模型。由此优化后的模型再进行肖像风格迁移处理，便可以得到大大减弱人物脸部瑕疵的最终的绘画风格用户肖像图，进而有效达到甚至超越用户对成像处理的预期。附图说明为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步本文档来自技高网...

【技术保护点】
1.一种肖像风格迁移模型训练方法，其特征在于，包括：/n获取用户肖像图以及绘画风格肖像图；/n根据用户肖像图以及预先构建的相应于所述绘画风格肖像图的肖像风格迁移模型，获得中间生成图；/n从用户肖像图中提取包含语义特征的人脸信息；/n根据所述人脸信息，对所述绘画风格肖像图及其脸部掩码图进行变形，得到与所述用户肖像图中人脸信息一致的风格配准图和掩码配准图；/n利用所述用户肖像图、所述中间生成图、所述风格配准图以及所述掩码配准图，计算训练目标总损失；/n基于所述训练目标总损失，对肖像风格迁移模型中的参数进行更新；/n重复获得中间生成图、计算总损失以及更新模型参数的过程，直至训练过程收敛。/n

【技术特征摘要】
1.一种肖像风格迁移模型训练方法，其特征在于，包括：
获取用户肖像图以及绘画风格肖像图；
根据用户肖像图以及预先构建的相应于所述绘画风格肖像图的肖像风格迁移模型，获得中间生成图；
从用户肖像图中提取包含语义特征的人脸信息；
根据所述人脸信息，对所述绘画风格肖像图及其脸部掩码图进行变形，得到与所述用户肖像图中人脸信息一致的风格配准图和掩码配准图；
利用所述用户肖像图、所述中间生成图、所述风格配准图以及所述掩码配准图，计算训练目标总损失；
基于所述训练目标总损失，对肖像风格迁移模型中的参数进行更新；
重复获得中间生成图、计算总损失以及更新模型参数的过程，直至训练过程收敛。


2.根据权利要求1所述的肖像风格迁移模型训练方法，其特征在于，所述根据所述人脸信息，对所述绘画风格肖像图及其脸部掩码图进行变形包括：
根据所述人脸信息，确定所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中人脸的位置；
基于所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中的人脸位置的对应关系，将所述绘画风格肖像图及其脸部掩码图向所述用户肖像图配准。


3.根据权利要求2所述的肖像风格迁移模型训练方法，其特征在于，所述根据所述人脸信息，确定所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中人脸的位置包括：
基于人脸信息，分别在所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中确定人脸特征点的坐标；
根据各图像中的人脸特征点的坐标以及各图像的四个顶点，对所述用户肖像图、所述绘画风格肖像图及其脸部掩码图进行三角剖分处理。


4.根据权利要求1所述的肖像风格迁移模型训练方法，其特征在于，所述利用所述用户肖像图、所述中间生成图、所述风格配准图以及所述掩码配准图，计算训练目标总损失包括：
根据所述用户肖像图以及所述中间生成图确定内容损失；
根据所述风格配准图以及所述中间生成图确定风格损失；
根据所述用户肖像图、所述中间生成图以及所述掩码配准图确定纹理细节损失；
根据所述中间生成图、所述风格配准图以及所述...

【专利技术属性】
技术研发人员：王鼎，谢衍涛，梅启鹏，陈继，
申请(专利权)人：杭州格像科技有限公司，
类型：发明
国别省市：浙江;33