一种基于文本描述的人脸素描画像编辑方法技术

本发明专利技术涉及一种基于文本描述的人脸素描画像编辑方法，包括：得到原始人脸素描图像的第一风格代码；确定操纵方向；根据第一风格代码和向量得到第二风格代码；根据第二风格代码得到第一人脸素描画像；根据第一人脸素描画像和第二人脸素描画像得到通道c上人脸素描画像的操作方向；根据风格空间的操纵方向和通道c上人脸素描画像的操作方Δi

【技术实现步骤摘要】
一种基于文本描述的人脸素描画像编辑方法


[0001]本专利技术属于人脸素描画像
，涉及一种基于文本描述的人脸素描画像编辑方法。

技术介绍

[0002]画同一个人的多张脸的不同属性的素描是不切实际的，这给工作带来很多不便。同时，这也是目前现有规模的面部素描数据集非常小的一个主要原因。例如，常用的CUFS人脸素描数据集只有606 对人脸素描画像和真实图像，它包含CUHK学生数据集、AR数据集和 XM2VTS数据集；CUFSF人脸素描数据集只有1194对人脸素描画像和自然图像。
[0003]现有的人脸素描画像合成方法可分为两类：数据驱动的方法和模型驱动的方法。数据驱动的方法通过线性组合相似的训练素描补丁(patch)。模型驱动方法学习离线数学函数将真实照片映射到素描画像的过程。
[0004]数据驱动的方法可以获得丰富纹理和面部细节，但相邻补丁块的搜索过程往往很耗时。此外，大多数现有的数据驱动方法都使用手工制作的特征来测量训练补丁和测试补丁之间的相似性，很大程度上依赖于人类经验。而模型驱动的方法面部细节通常会丢失，并且合成结果有模糊效应。此外，目前还没有针对人脸素描画像合成的基于文本的属性操作的研究。当以前的通过文本引导的修改自然图像的方法直接应用于人脸素描画像，存在失真现象，性能很差。
[0005]现存的人脸素描画像合成研究没有考虑通过文本描述对人脸素描画像进行相应的修改。虽然现有的许多人脸素描合成方法可以合成具有新属性的图像，但它们不能保证生成的人脸素描的无关属性区域是相同的，只有要求的属性被修改的。现有的方法大都是手动调整面部图片的几个预定义的属性，不方便，对用户不友好。此外，直接应用自然图像上的文本驱动的编辑方法到人脸素描上导致生成的结果严重失真。
[0006]综上所述，如何减少人工手动操作，同时保持生成的人脸素描图像不会失真，成为了亟待解决的问题。

技术实现思路

[0007]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于文本描述的人脸素描画像编辑方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0008]一种基于文本描述的人脸素描画像编辑方法，所述人脸素描画像编辑方法包括：
[0009]步骤1、获取待处理的原始人脸素描图像；
[0010]步骤2、将所述原始人脸素描图像通过StyleGAN生成器的反转编码器投影到风格空间上得到第一风格代码；
[0011]步骤3、基于所述原始人脸素描图像的目标属性的文字描述和中性描述确定操纵方向Δi；
[0012]步骤4、根据第一风格代码和向量Δs
c
得到第二风格代码，其中，所述向量Δs
c
是一
个512维向量，除通道c为1外，其余所有通道均为0；
[0013]步骤5、将所述第二风格代码输入到StyleGAN生成器的编码器中，得到第一人脸素描画像；
[0014]步骤6、将所述第一人脸素描画像和第二人脸素描画像输入到CLIP的图形编码器中得到所述通道c上人脸素描画像的操作方向Δi
c
，其中，所述第二人脸素描画像是通过将所述原始人脸素描图像输入到StyleGAN生成器的编码器中得到的；
[0015]步骤7、根据所述操纵方向和所述通道c上人脸素描画像的操作方向Δi
c
得到相关性R
c
；
[0016]步骤8、基于所述相关性R
c
和解纠缠阈值的关系得到操纵方向Δs；
[0017]步骤9、将所述风格操纵Δs输入到StyleGAN生成器中得到第三人脸素描画像；
[0018]步骤10、利用最小二乘法将所述第三人脸素描画像进行反投影得到最终的人脸素描画像。
[0019]在本专利技术的一个实施例中，所述步骤3包括：
[0020]步骤3.1、将所述文字描述对应的具有相同含义的句子和所述中性描述对应的具有相同含义的句子分别输入到CILP的文本编码器，对应得到第一嵌入和第二嵌入；
[0021]步骤3.2、根据所述第一嵌入和所述第二嵌入之间的归一化差异得到目标方向Δt；
[0022]步骤3.3、根据所述目标方向Δt得到所述操纵方向Δi。
[0023]在本专利技术的一个实施例中，所述第二风格代码为s+αΔs
c
其中，s为第一风格代码，α为操纵强度。
[0024]在本专利技术的一个实施例中，所述相关性R
c
为：
[0025]R
c
＝Δi
c
·
Δi
[0026]其中，R
c
表示通道c与目标属性的相关性。
[0027]在本专利技术的一个实施例中，所述风格操纵Δs为：
[0028][0029]其中，β为解纠缠阈值。
[0030]在本专利技术的一个实施例中，所述步骤10包括：
[0031]步骤10.1、将所述人脸素描训练画像和所述第三人脸素描画像划分为多个图像块，且相邻所述图像块之间具有重叠部分；
[0032]步骤10.2、扩展所述人脸素描训练画像中用于搜索的图像块，得到待搜索的图像块区域；
[0033]步骤10.3、从所述人脸素描训练画像中的待搜索的图像块区域找到与所述第三人脸素描画像中第i行、第j列的图像块最相似的k个图像块，其中，k个图像块构成矩阵X
i,j
；
[0034]步骤10.4、利用最小二乘法处理所述矩阵X
i,j
得到重构误差，以根据所述重构误差得到人脸素描分片
[0035]步骤10.5、将所有所述人脸素描分片按顺序组合得到最终的人脸素描画像。
[0036]在本专利技术的一个实施例中，所述步骤10.2包括：
[0037]将所述人脸素描训练画像的第i行、第j列的图像块作为中心点，分别向上、向下、向左和向右扩大b个像素，得到扩展后的待搜索的图像块区域。
[0038]在本专利技术的一个实施例中，所述步骤10.3包括：
[0039]根据欧氏距离从所有所述人脸素描训练画像中的待搜索的图像块区域找到距离所述第三人脸素描画像中第i行、第j列的图像块最近的前k个图像块。
[0040]在本专利技术的一个实施例中，所述重构误差为：
[0041][0042][0043][0044]W
i,j
＝W
′
i,j
/(1
T
W
′
i,j
)
[0045]其中，g
i,j
为所述第三人脸素描画像中第i行、第j列的图像块，T为转置，1是全1的向量。
[0046]在本专利技术的一个实施例中，所述人脸素描分片为：
[0047][0048]与现有技术相比，本专利技术的有益效果：
[0049]本专利技术提出了一种基于文本描述的人脸素描画像编辑方法，符合绘制人脸素描画像的过程，减少了人工手动操作的不便。本专利技术还可以在预定义的属性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于文本描述的人脸素描画像编辑方法，其特征在于，所述人脸素描画像编辑方法包括：步骤1、获取待处理的原始人脸素描图像；步骤2、将所述原始人脸素描图像通过StyleGAN生成器的反转编码器投影到风格空间上得到第一风格代码；步骤3、基于所述原始人脸素描图像的目标属性的文字描述和中性描述确定操纵方向Δi；步骤4、根据第一风格代码和向量Δs
c
得到第二风格代码，其中，所述向量Δs
c
是一个512维向量，除通道c为1外，其余所有通道均为0；步骤5、将所述第二风格代码输入到StyleGAN生成器的编码器中，得到第一人脸素描画像；步骤6、将所述第一人脸素描画像和第二人脸素描画像输入到CLIP的图形编码器中得到所述通道c上人脸素描画像的操作方向Δi
c
，其中，所述第二人脸素描画像是通过将所述原始人脸素描图像输入到StyleGAN生成器的编码器中得到的；步骤7、根据所述操纵方向和所述通道c上人脸素描画像的操作方向Δi
c
得到相关性R
c
；步骤8、基于所述相关性R
c
和解纠缠阈值的关系得到操纵方向Δs；步骤9、将所述风格操纵Δs输入到StyleGAN生成器中得到第三人脸素描画像；步骤10、利用最小二乘法将所述第三人脸素描画像进行反投影得到最终的人脸素描画像。2.根据权利要求1所述的基于文本描述的人脸素描画像编辑方法，其特征在于，所述步骤3包括：步骤3.1、将所述文字描述对应的具有相同含义的句子和所述中性描述对应的具有相同含义的句子分别输入到CILP的文本编码器，对应得到第一嵌入和第二嵌入；步骤3.2、根据所述第一嵌入和所述第二嵌入之间的归一化差异得到目标方向Δt；步骤3.3、根据所述目标方向Δt得到所述操纵方向Δi。3.根据权利要求1所述的基于文本描述的人脸素描画像编辑方法，其特征在于，所述第二风格代码为s+αΔs
c
其中，s为第一风格代码，α为操纵强度。4.根据权利要求1所述的基于文本描述的人脸素描画像编辑方法，其特征在于，所述相关性R
c
为：R
c<...

【专利技术属性】
技术研发人员：彭春蕾，董梦迪，张鼎文，王楠楠，高新波，刘德成，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：