基于满文字符图片的字体风格迁移变换方法技术

基于满文字符图片的字体风格迁移变换方法，属于图像处理领域，解决大幅减少处理大量满文字符图像时所花费的时间和人力成本的问题，要点是对满文字体风格迁移模型分步训练：使用满文文字训练数据集对所述模型训练实现满文文字学习；使用满文字体风格迁移数据集对所述模型再次训练实现满文字体风格迁移学习，效果是节省大量的时间和人力成本。

Transform Method of Font Style Based on Manchu Character Pictures

The method of font style transfer and transformation based on Manchu character pictures belongs to the field of image processing. It solves the problem of greatly reducing the time and manpower cost of processing a large number of Manchu character images. The main points are the step-by-step training of Manchu character style transfer model: using Manchu character training data set to train the model to realize Manchu character learning; using Manchu character style transfer. Re-training the model to realize the transfer learning of Manchu Style by moving data sets, which saves a lot of time and manpower costs.

【技术实现步骤摘要】
基于满文字符图片的字体风格迁移变换方法
本专利技术属于图像处理领域，特别是涉及一种处理满文字体风格的方法。
技术介绍
现有的对满文字体的风格迁移变换多将满文文字依据罗马转写输入文本编辑软件再使用各种已有的满文字体对其进行变换，该方法虽然精度很高但是在处理大量满文文字时需要消耗较高的时间成本且操作人员需要有一定的满文鉴别能力，而满文作为一种濒危语种能够读写鉴别满文文字的人数十分有限。所以训练一种高泛用性的生成对抗网络模型对满文字符从图像层面进行字体风格迁移处理能够节省大量的时间和人力成本。
技术实现思路
本专利技术主要实现了一种能够学习满文字体风格间迁移过程的生成对抗网络模型。该模型能够通过少量配对字体样本的训练实现满文字符图片间的字体风格迁移从而大幅减少处理大量满文字符图像时所花费的时间和人力成本。为解决上述技术问题，本专利技术采用的一个技术方案是：实现一种基于满文字符图片的字体风格迁移变换方法，所述的字体风格变换方法包含以下步骤：一种基于满文字符图片的字体风格迁移变换方法，包含以下步骤：步骤1构建满文字体风格变换数据集，其包括满文文字训练数据集和满文字体风格迁移数据集；步骤2构建条件生成对抗网络模型以实现满文字体风格迁移，其作为满文字体风格迁移模型；步骤3对满文字体风格迁移模型分步训练：使用满文文字训练数据集对所述模型训练实现满文文字学习；使用满文字体风格迁移数据集对所述模型再次训练实现满文字体风格迁移学习；步骤4调用训练后的模型，以对源字体图像处理并生成对应的目标字体图像。进一步的，所述的步骤1包含以下步骤：步骤1.1将真实的满文文字通过满文输入法录入计算机，形成电子文档，选择满文输入法自带的满文字体，并打印输出为纸质文档，把输出的纸质文档用扫描仪扫描为图像格式，对打印后的不同字体的满文文档扫描为图片；步骤1.2使用投影法将扫描得到的满文图片切分为单个的满文单词图片；步骤1.3对切分后的图片先进行二值化处理，再使用Lanczos插值算法按字符图像原比例缩放至256×256像素的大小；步骤1.4将切分后的满文单词图片，按照两张同文字不同字体为一组，对切分后的满文单词图片随机组合，制成满文文字训练数据集步骤1.5按照右为源字体，左为目标字体的顺序，按照两张同文字不同字体的满文单词图片组合为一张训练数据，制成满文字体风格迁移训练数据集。进一步的，构建条件生成对抗网络模型：步骤2.1构建生成器：生成器G为一个采用U-net结构组成的自编码器，编码器逐层链接的激活函数为斜率为0.2的Relu函数，在编码器的输出层与字体风格标签类别进行拼接作为解码器的输入，解码器的逐层链接的激活函数为斜率为0.2的Relu函数，编码器的第i层和解码器的第n-i层进行跳跃式链接，解码器第1、2、3层采用droupout操作生成生成器G所需的随机噪声，该生成器G中权重初始值均为随机选取；步骤2.2构建判别器：判别器D的激活函数采用斜率为0.2的Relu函数，该生成器D中权重初始值均为随机选取。进一步的，步骤3.1使用满文文字训练数据集对所述模型训练实现满文文字学习：首先固定判别器D的各项权重参数不变，对生成器G进行训练以学习趋近于满文文字图像分布的概率的各权重参数，用满文文字训练数据集中单个样本图像的左侧或右侧的满文单词图像来训练生成器G，生成器G通过对满文文字图像学习调整权重得到满文文字图像的分布概率Pz，生成器G通过其自身droupout操作产生的随机噪声z及满文文字图像分布率Pz生成满文文字图像y，将生成的满文文字图像y与真实的满文文字图像x分别输入判别器D，判别器D将判断真实满文图像x和生成器G生成的满文图像y为真或假的概率反馈给生成器G，生成器G根据反馈结果不断优化各项权重参数，以此提高生成图像y被判别器D判断为真的概率，不断重复上述生成→判别→反馈→优化的过程，直至判别器D无法判断x和y孰为真孰为假，则结束对生成器G的训练；然后固定生成器G的各项权重参数不变，对判别器D进行训练，将生成器生成的图像y和真实图像x分别输入判别器D，通过对训练数据的学习不断优化判别器D的各项权重参数，以提升判别器D将生成器生成的图像y判定为假、将真实图像x判定为真的概率，直至判别器D能完全区分生成图像y和真实图像x；交替进行生成器G和判别器D的训练，直至目标函数达到纳什均衡，则表示该生成对抗网络模型的训练已经完成，该模型的优化函数如下式所示其中LGAN(G，D)的表达式如下式(2)所示：其中D(x)表示x为真实数据Pdata或是生成器G生成数据PG在判别器D中被判定正确的概率。E表示计算其期望值。则式(1)表示训练时最大化logD(x)提升判别器D的判别正确率，同时训练生成器G最小化log(1-D(x))来缩小Pdata与PG之间的距离。进一步的，步骤3.2使用满文字体风格迁移数据集对所述模型再次训练实现满文字体风格迁移学习：对生成器G进行训练时，将训练数据中的源字体图像输入生成器G，生成器G通过对目标字体图像学习得到目标字体图像分布概率Pz，生成器G通过其自身droupout操作产生的随机噪声z及目标字体图像分布概率Pz对原字体图像进行重构，生成具有目标字体风格的单词图像y，将生成的单词图像y与真实的目标字体图像x输入判别器D，判别器D将判断真实满文图像x和生成器G生成的满文图像y为真或假的概率并反馈给生成器G，生成器G不断优化各项权重参数，以此提高生成图像y被判别器D判断为真实满文图像的概率，不断重复上述生成→判别→反馈→优化的过程，直至判别器无法判断真实满文图像x和生成的单词图像y孰为真孰为假，则结束对生成器G的训练；然后固定生成器G的各项权重参数不变，对判别器D进行训练，将生成器生成的图像y和真实图像x分别输入判别器D，通过对训练数据的学习不断优化判别器D的各项权重参数，以提升判别器D将生成器生成的图像y判定为假、将真实图像x判定为真的概率，直至判别器D能完全区分生成图像y和真实图像x；交替进行生成器G和判别器D的训练，直至目标函数达到纳什均衡，则表示该生成对抗网络模型的训练已经完成。该模型的优化函数式如下所示：其中LGAN(G，D)的表达式如下式(2)所示：其中D(x)表示x为真实数据Pdata或是生成器G生成数据PG在判别器D中被判定正确的概率。E表示计算其期望值。则式(1)表示训练时最大化logD(x)提升判别器D的判别正确率，同时训练生成器G最小化log(1-D(x))来缩小Pdata与PG之间的距离。有益效果：本专利技术采用构建生成对抗网络模型的方法，直接从图像层面入手处理满文字符，规避了传统方法进行满文字符图像字体风格迁移时繁复的文字转录工作，从而节省大量的时间和人力成本，也为满文文献的多样化处理提供了一种新的技术手段。生成器G之所以能够生成保持图像内容(满文单词)不变，而风格(字体)改变的图像，是因为在条件生成对抗网络的训练过程中，生成器G首先通过步骤3.1学习到了满文文字(图像内容)的概率分布，然后通过步骤3.2学习到了从一种满文字体到目标字体(风格迁移)的概率分布，在训练结束达到平衡时，生成器G最终的生成图像概率分布Pz融合了上述两种概率分布。附图说明图1满文字体风格变换数据集的构建流程图；图2满文单词图像字符像素边缘本文档来自技高网...

【技术保护点】
1.一种基于满文字符图片的字体风格迁移变换方法，其特征在于，包含以下步骤：步骤1构建满文字体风格变换数据集，其包括满文文字训练数据集和满文字体风格迁移数据集；步骤2构建条件生成对抗网络模型以实现满文字体风格迁移，其作为满文字体风格迁移模型；步骤3对满文字体风格迁移模型分步训练：使用满文文字训练数据集对所述模型训练实现满文文字学习；使用满文字体风格迁移数据集对所述模型再次训练实现满文字体风格迁移学习；步骤4调用训练后的模型，以对源字体图像处理并生成对应的目标字体图像。

【技术特征摘要】
1.一种基于满文字符图片的字体风格迁移变换方法，其特征在于，包含以下步骤：步骤1构建满文字体风格变换数据集，其包括满文文字训练数据集和满文字体风格迁移数据集；步骤2构建条件生成对抗网络模型以实现满文字体风格迁移，其作为满文字体风格迁移模型；步骤3对满文字体风格迁移模型分步训练：使用满文文字训练数据集对所述模型训练实现满文文字学习；使用满文字体风格迁移数据集对所述模型再次训练实现满文字体风格迁移学习；步骤4调用训练后的模型，以对源字体图像处理并生成对应的目标字体图像。2.如权利要求1所述的基于满文字符图片的字体风格迁移变换方法，其特征在于，所述的步骤1包含以下步骤：步骤1.1将真实的满文文字通过满文输入法录入计算机，形成电子文档，选择满文输入法自带的满文字体，并打印输出为纸质文档，把输出的纸质文档用扫描仪扫描为图像格式，对打印后的不同字体的满文文档扫描为图片；步骤1.2使用投影法将扫描得到的满文图片切分为单个的满文单词图片；步骤1.3对切分后的图片先进行二值化处理，再使用Lanczos插值算法按字符图像原比例缩放至256×256像素的大小；步骤1.4将切分后的满文单词图片，按照两张同文字不同字体为一组，对切分后的满文单词图片随机组合，制成满文文字训练数据集，步骤1.5按照右为源字体，左为目标字体的顺序，按照两张同文字不同字体的满文单词图片组合为一张训练数据，制成满文字体风格迁移训练数据集。3.如权利要求1所述的基于满文字符图片的字体风格迁移变换方法，其特征在于，构建条件生成对抗网络模型：步骤2.1构建生成器：生成器G为一个采用U-net结构组成的自编码器，编码器逐层链接的激活函数为斜率为0.2的Relu函数，在编码器的输出层与字体风格标签类别进行拼接作为解码器的输入，解码器的逐层链接的激活函数为斜率为0.2的Relu函数，编码器的第i层和解码器的第n-i层进行跳跃式链接，解码器第1、2、3层采用droupout操作生成生成器G所需的随机噪声，该生成器G中权重初始值均为随机选取；步骤2.2构建判别器：判别器D的激活函数采用斜率为0.2的Relu函数，该生成器D中权重初始值均为随机选取。4.如权利要求1所述的基于满文字符图片的字体风格迁移变换方法，其特征在于：步骤3.1使用满文文字训练数据集对所述模型训练实现满文文字学习：首先固定判别器D的各项权重参数不变，对生成器G进行训练以学习趋近于满文文字图像分布的概率的各权重参数，用满文文字训练数据集中单个样本图像的左侧或右侧的满文单词图像来训练生成器G，生成器G通过对满文文字图像学习调整权重得到满文文字图像的分布概率Pz，生成器G通过其自身droupout操作产生的随机噪声z及满文文字图像分布率Pz生成满文文字图像y，将生成的满文文字图像y与真实的满文文字图像x分别输入判别器D，判别器D将判断真实满文图像x和生成器G生...

【专利技术属性】
技术研发人员：郑蕊蕊，李敏，毕佳晶，贺建军，许爽，吴宝春，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：辽宁,21