【技术实现步骤摘要】
本申请涉人工智能，尤其涉及一种人像风格化方法、装置、设备及介质。
技术介绍
1、卡通化人像生成模型g′是人像(卡通)风格化整个方案流程中非常重要的模块，直接决定最终卡通化人像的逼真度和风格化效果。以往的技术方案是先构建通用的生成真人图像的人像生成模型，然后在通用人像生成模型g的基础上进行知识迁移得到卡通化人像生成模型g′，因此，g和g′往往具有相同的网络结构。专利技术人发现，以往的技术方案中，g和g′都是使用卷积神经网络(cnn)进行建模，然而，卷积神经网络(cnn)具有感受视野受限的问题，而且端到端直接生成高分辨率(1024*1024)的整张人脸图像，这对人像生成模型g的模型容量和网络结构要求很高，而且对于训练过程的调参要求苛刻，所以，实际得到的通用人像生成模型g所生成的真人图像细节不够，卡通化人像生成模型g′所生成的卡通人像逼真度和风格化效果都有所欠缺。
技术实现思路
1、针对上述技术问题，本申请的目的在于提供一种人像风格化方法、装置、设备及介质，旨在解决cnn感受视野受限和直接生成整张高分辨率图像任务导致生成的卡通人像逼真度和风格化效果有所欠缺的技术问题。
2、本申请实施例提供一种人像风格化方法，包括：
3、获取待处理真实人脸图像以及待处理风格图像；
4、基于所述待处理真实人脸图像，得到所述待处理真实人脸图像的人像特征；
5、从所述待处理风格图像中提取风格特征；
6、将所述风格特征和所述人像特征进行融合，得到融合后的
7、将所述融合后的特征输入训练好的卡通人像生成模型，得到卡通风格化人像；其中，所述训练好的卡通人像生成模型基于真实人像生成模型生成，所述真实人像生成模型与所述卡通人像生成模型具有相同的网络结构，所述真实人像生成模型包括多层感知机全连接模块、第一transformer encoder模块以及第二transformer encoder模块，所述多层感知机全连接模块用于将输入的隐空间向量转换为n个特征块，所述第一transformerencoder模块用于基于所述n个特征块生成m个特征块，所述第二transformer encoder模块用于基于所述m个特征块生成多个图像块，并基于所述图像块生成真实人脸图像；所述m大于n，n、m为正整数。
8、进一步的，所述基于所述待处理真实人脸图像，得到所述待处理真实人脸图像的人像特征；包括：
9、对所述待处理真实人脸图像进行分割，得到人像分割图；
10、从所述人像分割图中提取局部纹理特征；
11、从所述待处理真实人脸图像中提取全局特征；
12、将所述局部纹理特征和所述全局特征进行线性融合，得到结构特征；其中，所述结构特征为所述人像特征。
13、进一步的，基于真实人像生成模型生成训练好的卡通人像生成模型，包括：
14、获取p张卡通人脸图像；p为正整数；
15、将所述真实人像生成模型参数迁移到卡通人像生成网络中，作为所述卡通人像生成网络的初始化参数，形成待训练卡通人像生成模型；
16、基于所述真实人像生成模型以及人脸特征提取模型，确定每张卡通人脸图像对应的第一隐空间向量；
17、提取每个所述第一隐空间向量输入所述待训练真实人像生成模型后每层网络的特征，得到每个所述第一隐空间向量对应的特征；
18、从高斯分布随机噪声中随机采样得到m个第二隐空间向量；
19、提取每个所述第二隐空间向量输入所述待训练卡通人像生成模型后每层网络的特征，得到每个所述第二隐空间向量对应的特征；
20、将每一所述第二隐空间向量输入所述待训练卡通人像生成模型，得到每一所述第二隐空间向量对应的卡通化人脸图像；
21、通过判别器对每一所述卡通化人脸图像进行评价打分，得到每一所述卡通化人脸图像对应的分数；
22、基于每个所述第一隐空间向量对应的特征、每个所述第二隐空间向量对应的特征以及每一所述卡通化人脸图像对应的分数，采用预设的损失函数计算损失；
23、以所述损失最小化为目标迭代训练所述卡通人像生成模型，得到所述训练好的卡通人像生成模型。
24、进一步的，所述基于所述真实人像生成模型以及人脸特征提取模型，确定每张卡通人脸图像对应的第一隐空间向量，包括：
25、根据公式确定每张卡通人脸图像对应的第一隐空间向量；其中，g表示真实人像生成模型，z表示第二隐空间向量，f表示人脸特征提取模型，表示第i张卡通人脸图像，λ1为预设的参数。
26、进一步的，所述的人像风格化方法，其特征在于，所述基于每个所述第一隐空间向量对应的特征、每个所述第二隐空间向量对应的特征以及每一所述卡通化人脸图像对应的分数，采用预设的损失函数计算损失，包括：
27、根据损失函数计算损失；其中，m为一次迭代训练需要的卡通人脸图像数量，为第i张卡通人脸图像对应的第一隐空间向量，zi为第i个第二隐空间向量，l为网络层数，为第一隐空间向量输入真实人像生成模型中，第j层网络的特征；为第二隐空间向量输入卡通化人像生成模型中，第j层网络的特征，λ2为预设的参数，为第i个卡通化人脸图像对应的分数。
28、第二方面，本申请实施例提供一种人像风格化装置，包括：
29、获取模块，用于获取待处理真实人脸图像以及待处理风格图像；
30、人像特征提取模块，用于基于所述待处理真实人脸图像，得到所述待处理真实人脸图像的人像特征；
31、风格特征提取模块，用于从所述待处理风格图像中提取风格特征；
32、融合模块，用于将所述风格特征和所述人像特征进行融合，得到融合后的特征；
33、输入模块，用于将所述融合后的特征输入训练好的卡通人像生成模型，得到卡通风格化人像；其中，所述训练好的卡通人像生成模型基于真实人像生成模型生成，所述真实人像生成模型与所述卡通人像生成模型具有相同的网络结构，所述真实人像生成模型包括多层感知机全连接模块、第一transformer encoder模块以及第二transformer encoder模块，所述多层感知机全连接模块用于将输入的隐空间向量转换为n个特征块，所述第一transformer encoder模块用于基于所述n个特征块生成m个特征块，所述第二transformerencoder模块用于基于所述m个特征块生成多个图像块，并基于所述图像块生成真实人脸图像；所述m大于n，n、m为正整数。
34、进一步的，所述人像特征提取模块，包括：
35、分割单元，用于对所述待处理真实人脸图像进行分割，得到人像分割图；
36、局部纹理特征提取单元，用于从所述人像分割图中提取局部纹理特征；
37、全局特征提取单元，用于从所述待处理真实人脸图像中提取全局特征；
38、融合单元，用于将所述局部纹理特征和所述全局特征进行线性融合本文档来自技高网...
【技术保护点】
1.一种人像风格化方法，其特征在于，包括：
2.根据权利要求1所述的人像风格化方法，其特征在于，所述基于所述待处理真实人脸图像，得到所述待处理真实人脸图像的人像特征；包括：
3.根据权利要求1所述的人像风格化方法，其特征在于，基于真实人像生成模型生成训练好的卡通人像生成模型，包括：
4.根据权利要求3所述的人像风格化方法，其特征在于，所述基于所述真实人像生成模型以及人脸特征提取模型，确定每张卡通人脸图像对应的第一隐空间向量，包括：
5.根据权利要求3所述的人像风格化方法，其特征在于，所述基于每个所述第一隐空间向量对应的特征、每个所述第二隐空间向量对应的特征以及每一所述卡通化人脸图像对应的分数，采用预设的损失函数计算损失，包括：
6.一种人像风格化装置，其特征在于，包括：
7.根据权利要求6所述的人像风格化装置，其特征在于，所述人像特征提取模块，包括：
8.根据权利要求6所述的人像风格化装置，其特征在于，还包括：卡通人像生成模型训练模块，所述卡通人像生成模型训练模块包括：
9.一种计算机
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种人像风格化方法，其特征在于，包括：
2.根据权利要求1所述的人像风格化方法，其特征在于，所述基于所述待处理真实人脸图像，得到所述待处理真实人脸图像的人像特征；包括：
3.根据权利要求1所述的人像风格化方法，其特征在于，基于真实人像生成模型生成训练好的卡通人像生成模型，包括：
4.根据权利要求3所述的人像风格化方法，其特征在于，所述基于所述真实人像生成模型以及人脸特征提取模型，确定每张卡通人脸图像对应的第一隐空间向量，包括：
5.根据权利要求3所述的人像风格化方法，其特征在于，所述基于每个所述第一隐空间向量对应的特征、每个所述第二隐空间向量对应的特征以及每一所述卡通化人脸图像对应的...
【专利技术属性】
技术研发人员：张玉兵，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。