一种风格字符生成的方法技术

本发明专利技术提出了一种“基于深度特征相似性融合生成对抗网络”生成风格字符的方法。具体来讲，分别使用风格提取器和内容提取器对相关字符特征进行提取，计算深度特征相似性，并将此深度特征相似性运用到特征融合过程，得到目标字符的深度特征，最终由该融合后的深度特征生成目标风格字符。该方法能够根据任意个来自同一风格的参考字符，和一个标准集中的字符，生成一新的字符，其中该生成字符的风格与参考字符一致，其内容与给定的标准集中的字符一致。所述风格字符，包括但不限于书法字体中字符，印刷体字符，广告牌字符，自然场景文字字符等。所述方法可以处理多种语言的文字。

A method of generating style characters

【技术实现步骤摘要】
一种风格字符生成的方法
本专利技术涉及深度学习与图像生成，具体涉及一种基于给定风格字符生成具有与其风格一致的目标字符的生成方法。
技术介绍
文字作为一种人为设计的重要符号，包含了各种风格，其中有字体、笔画、阴影、轮廓、颜色、纹理和复杂的效果等等。设计和绘制某种语言的基本文字需要花费设计师大量的时间和精力，在真实场景中，我们只能收集由艺术家为特定用途而设计的一部分文字的子集，比如电影标题、路边的一个标志、商家的某些广告等。而如果可以根据某一些文字的子集去生成需要的目标文字，就可以大大的缩短设计师设计大量字符所需的时间，也可以让普通人变成文字设计大师。近年来，很多人在文字生成领域做出了不错的工作。但不论是zi2zi，《DCFont:anend-to-enddeepchinesefontgenerationsystem》，还是CN109165376A等工作都只能处理灰度图像级别的文字生成，其本身处理的对象风格仅限于字体的变化等(印刷体风格和手写风格)，而不包含复杂的纹理。S.Azad等人提出来的Multi-contentGan(AzadiS,本文档来自技高网...

【技术保护点】
1.一种风格字符生成的方法，其特征在于：以若干种风格字符组成的参考字符数据集，以及任意挑选的一组风格字符的全集作为标准集，使用基于深度特征相似性融合生成对抗网络生成风格字符的方法；该方法能够根据任意个来自同一风格的参考字符，和一个标准集中的字符，生成一新的字符，其中生成字符的风格与参考字符一致，其内容与给定的标准集中的字符一致；/n所述基于深度特征相似性生成对抗网络由判别器D和生成器G两部分组成；其中生成器G部分由内容提取器E

【技术特征摘要】
1.一种风格字符生成的方法，其特征在于：以若干种风格字符组成的参考字符数据集，以及任意挑选的一组风格字符的全集作为标准集，使用基于深度特征相似性融合生成对抗网络生成风格字符的方法；该方法能够根据任意个来自同一风格的参考字符，和一个标准集中的字符，生成一新的字符，其中生成字符的风格与参考字符一致，其内容与给定的标准集中的字符一致；
所述基于深度特征相似性生成对抗网络由判别器D和生成器G两部分组成；其中生成器G部分由内容提取器Ec，风格特征提取器Es，风格融合器Mf和逆向生成网络Dr四个部分组成；
所述判别器D，输入数据为来自真实的目标文字TC或生成的目标文字GC,输出为样本来自真实分布的概率，若样本为TC则输出为1，若样本为GC则输出为0；判别器的网络结构由三个卷积块组成，每个卷积块包括卷积层、批归一化、激活函数和下采样，其中网络的最后一层输出为Softmax概率；
所述内容提取器Ec，输入数据为来自标准集中的目标字符的内容CT，输出为指定CT的深层内容特征fc，该提取器的网络结构由三个卷积块和六个ResNet块Block组成，每个卷积块包括卷积层、批归一化、激活函数和下采样；
所述风格特征提取器Es，输入数据为给定风格的参考字符RC，来自标准集中的目标字符的内容CT，以及来自标准集中的给定风格的参考字符对应的内容字符CR，输出给相应输入字符的深层风格特征fs；该提取器的网络结构与内容提取器的网络结构一致，也是由三个卷积块和六个ResNet块组成，每个卷积块包括卷积层、批归一化、激活函数和下采样；
所述风格融合器Mf由三个部分组成，分别为目标字符与给定参考风格特征相似性矩阵计算模块，目标字符风格信息生成模块，以及目标文字深度特征融合模块；风格融合器的输入为目标字符对应标准字符CT的内容特征fc，目标字符对应标准字符CT的风格特征fs_c，参考字符RCi的风格特征fs_rci以及参考字符RCi对应的标准字符CRi的风格特征fs_cri，输出为目标字符的深度特征ft；其中目标字符与给定字符风格特征相似性矩阵计算模块的输入为目标字符对应标准字符CT的风格特征fs_c，参考字符RCi对应的标准字符CRi的风格特征fs_cri输入为fs_c与fs_cri的相似性矩阵SM；目标字符风格信息生成模块的输入为相似性矩阵SM以及参考字符RCi的风格特征fs_rci，输出为目标字符的风格特征fs；目标文字深度特征融合模块的输入为目标字符的风格特征fs以及目标字符对应标准字符CT的内容特征fc，输出为目标字符的深度特征ft；
所述逆向生成网络的Dr的输入为目标字符的深度特征ft，输出为目标字符GC，其中GC具有CT的内容，以及与参考字符RC相一致的风格，即无论内容还是风格都与TC一致；逆向生成网络由逆卷积层和批归一化组成，除最后一层采用Sigmoid激活外，其余层仅采用上采样；
上述描述中CT，CR，RC，TC均为H*W*C的RGB图像，其中H表示图片的高，W表示图片的宽，C为图像的通道数；i表示给定参考字符的索引值；
该方法包括如下步骤：
步骤一，将数据集划分为训练集，验证集和测试集，随机挑选一组风格的字符作为标准集，并对基于深度特征相似性生成对抗网络进行随机初始化；
步骤二，在训练集中进行任务的采样，每一组风格中的参考字符采用随机采样的方法，将任务描述为一个四元组(RCi，CRi，CT，TC)，其中i＝1，2…K,K表示给定风格字符的个数；其中RCi表示第i个给定的参考字符，CRi表示第i个给定参考字符对应的标准内容字符，CT表示目标字符对应的标准内容字符，TC表示要生成的目标字符本身；
步骤三：将RCi，CRi，CT输入风格特征提取器Es中，分别得到对应字符的深度风格特征fs_rci，fs_cri和fs_c，同时将CT输入内容提取器Ec中，得到对应文字的深度内容特征fc；
步骤四：将fs_cri和fs_c输入风格融合器Mf的目标字符与给定参考风格特征相似性矩阵计算模块计算两者之间的深...

【专利技术属性】
技术研发人员：熊盛武，路雄博，朱安娜，张齐洋，曹丹凤，
申请(专利权)人：武汉理工大学，武汉水象电子科技有限公司，
类型：发明
国别省市：湖北;42