一种基于多尺度边缘信息的自监督小样本汉字生成方法技术

本发明专利技术公开了一种基于多尺度边缘信息的自监督小样本汉字生成方法，包括下列步骤：步骤一

【技术实现步骤摘要】
一种基于多尺度边缘信息的自监督小样本汉字生成方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于多尺度边缘信息的自监督小样本汉字生成方法
。

技术介绍

[0002]一段时间以来，字体的自动生成一直是一个被广泛讨论的话题
。
然而，设计一个字体需要大量的人力和资源
。
幸运的是，随着深度学习的发展，特别是在图像转换领域，字体的生成可以通过图像转换框架来完成，从而提高字体生成的效率
。
其中，小样本字体生成（
FFG
）是指从一个模型和少量参考字符中生成一个新的字体库，而在测试阶段不需要对模型进行额外的微调
。
[0003]现有的少数字库生成方法大多是基于
SA
‑
VAE
的思想和
EMD
的框架进行扩展
。SA
‑
VAE
提出了内容和风格的分离，并扩展到未见过的风格
。
而
EMD
更成功地将内容和风格的区分应用于几率生成
...

【技术保护点】

【技术特征摘要】
1.
一种基于多尺度边缘信息的自监督小样本汉字生成方法，其特征在于：包括下列步骤：步骤一
、
建立边缘
‑
字体的生成模型，生成模型中包含自监督的多尺度边缘模块
SME
和内容
‑
风格融合模块
SCM
；步骤二
、
对所述生成模型进行训练，在训练过程中引入了自我监督学习损失和多尺度边缘模块损失，结合对抗性损失
、
风格生成对抗性损失
、L1损失，优化生成模型；步骤三
、
基于训练后得到的生成模型实现字体生成；所述自监督的多尺度边缘模块
SME
包含风格编码器
、
混合器和多尺度边缘模块
ME
，通过多尺度边缘模块
ME
自我监督学习来限制生成器，生成器包括风格编码器
、
内容编码器和混合器；所述内容
‑
风格融合模块
SCM
则包含了风格编码器
、
内容编码器
、
混合器和双判别器，所述双判别器即内容判别器和风格判别器；多尺度边缘模块
ME
包括卷积块注意模块
CBAM、
过滤模块和边缘融合模块；在图像输入多尺度边缘模块
ME
后，该图像的特征会通过卷积块注意模块
CBAM
进行关键转换，以突出字体结构的复杂性和字形轮廓细节；之后过滤模块使用有限差分来估算水平和垂直方向的梯度计算结果，一个卷积核对卷积块注意模块
CBAM
输出进行水平卷积，提取数值梯度，得到水平梯度
G
x
；另一个卷积核对卷积块注意模块
CBAM
输出进行垂直卷积，提取数值梯度，得到垂直梯度
G
y
；再输入边缘融合模块利用下式将
G
x
和
G
y
结合起来，以实现字符边缘信息的融合表示，其中包含来自水平和垂直两个方向的细节，上式中采用绝对值作为融合的边缘信息输出
。2.
根据权利要求1所述的一种基于多尺度边缘信息的自监督小样本汉字生成方法，其特征在于：在训练过程中，内容
‑
风格融合模块
SCM
和自监督的多尺度边缘模块
SME
相互协作，在风格编码器和混合器之间共享参数；输入字体提供作为生成模型输入的内容图像，参考字体提供风格图像和目标图像，所述风格图像与所述内容图像在文字内容上不同，所述目标图像与所述内容图像在文字内容上一致
。3.
根据权利要求2所述的一种基于多尺度边缘信息的自监督小样本汉字生成方法，其特征在于：在内容
‑
风格融合模块
SCM
中，内容图像通过内容编码器处理，提取内容特征，风格图像通过风格编码器处理，分别提取对应的风格特征，再将风格特征平均化得到平均风格特征；内容特征与平均风格特征连接后输入混合器合并得到生成图像
。4.
根据权利要求3所述的一种基于多尺度边缘信息的自监督小样本汉字生成方法，其特征在于：在自监督的多尺度边缘模块
SME
中，从目标图像
y
c
和内容图像
x
c
中提取特征，由风格编码器获取目标图像
y
c
的风格特征，再与从内容图像提取的内容特征连接合并，无缝集成到混合器中，生成重建图像
。5.
根据权利要求4所述的一种基于多尺度边缘信息的自监督小样本汉字生成方法，其特征在于：卷积块注意模块
CBAM
的机制源于以下原则：
卷积块注意模块
CBAM
由通道注意力和空间注意力两部分组成，在通道注意力中，全局平均集合
GAP
和全连接层
FC
产生通道重要性
s
和权重
c
，式子中
x

【专利技术属性】
技术研发人员：曾锦山，汪叶飞，熊康悦，袁艺杨，曹轶诺，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：