基于生成对抗网络的多风格动态组字方法技术

本发明专利技术公开了一种基于生成对抗网络的多风格动态组字方法，包括：将汉字表述成IDS序列，IDS序列包含多个组成汉字的子结构的字符和表征子结构的布局信息的IDC字符；构建每个子结构的字形矢量模型，依据IDC字符呈现的子结构的布局信息对子结构的字形矢量模型进行矢量组合得到汉字的字形矢量模型；利用基于生成对抗网络构建的风格优化模型，对汉字的字形矢量模型对应的字形图像进行风格优化处理。该方法通过图形学方法进行初步动态组字，并基于对抗网络对多种风格字体的动态组字结果进行优化，从而实现更好的字形结体效果。从而实现更好的字形结体效果。从而实现更好的字形结体效果。

【技术实现步骤摘要】
基于生成对抗网络的多风格动态组字方法


[0001]本专利技术属于计算机辅助设计领域，具体涉及一种基于生成对抗网络的多风格动态组字方法。

技术介绍

[0002]对特定风格的汉字实现字符集的扩充一直是汉字设计领域的一项重要工程。近年来深度学习技术，尤其是基于变分自动编码器VAE和生成对抗网络GAN的风格迁移方法，已经在汉字字形的生成工作上取得了一些进展。其中具有代表性的一些工作有：Zhang Y,Zhang Y,Cai W.Separating style and content for generalized style transfer[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2018:8447
‑
8455.Xie Y,Chen X,Sun L,et al.DG
‑
Font:Deformable Generative Networks for Unsupervised Font Generation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:5130
‑
5140。
[0003]这些方法的共性是在面对一种覆盖较少字符的目标风格字体，需要选取一种覆盖较多字符的字体作为源风格字体，通过将其中的汉字字形迁移为目标风格，实现对其字符集的扩充。因此，对于某一个特定的汉字，要生成具有目标风格字形，需要源风格字体中已经包含该汉字才能进行有效的生成。
[0004]尽管这种风格迁移的方法一定程度上解决了字体在常用的汉字字符集上的扩充问题，但是在实际应用中，有时会遇到一些非标准的字符，比如生僻字、异体字和艺术造字。这些字具有较为独特的结构，不存在于常用的汉字字符集中，因此往往难以找到一个具有该字字形的源字体，此时无法使用上述类型的神经网络进行迁移生成。
[0005]对于这类特殊的汉字，可以使用一些高层汉字语义知识描述其的结构组成，其中具有代表性是表意文字描述序列IDS，一种描述汉字构字方式的前缀表达序列。目前有一些利用IDS序列作为输入神经网络生成指定风格字形的研究，但生成结果中字形的不够美观，存在不少结构上的问题。
[0006]汉字字形是否美观很大程度上取决于字形本身的结体，即字形内部各个子部件的组合方式。在过去三十年间，有不少利用汉字语义进行汉字自动结体(动态组字)的研究，早期的研究基于专家知识设定结构码进行参数化的动态组字【范建平，智能汉字设计与实验系统ICCDS；1990】，但基于专家知识的方法有很强的人工依赖性，数学建模困难。IDS标准确立后，也有一些基于图形学方法进行生僻字结体的尝试【莫礼平，一种湘西民间苗文字形的动态生成方法及其实现途径，2016】，但图形学方法生成的字形结果在结体上往往存在结构布局较为固定，缺少笔画穿插等缺陷。
[0007]总而言之，目前仅使用深度学习的方法主要面向常规字符集内的现代汉字，无法很好生成字符集外的特殊汉字，而仅使用图形学的方进行动态组字生成的结果存在一定的局限性。将二者结合进行多风格动态优化的研究还十分匮乏。

技术实现思路

[0008]鉴于上述，本专利技术的目的是提供一种基于生成对抗网络的多风格动态组字方法，通过图形学方法进行初步动态组字，并基于对抗网络对多种风格字体的动态组字的结果进行优化，从而实现更好的字形结体效果。
[0009]为实现上述专利技术目的，本专利技术提供以下技术方案：
[0010]一种基于生成对抗网络的多风格动态组字方法，包括以下步骤：
[0011]将汉字表述成IDS序列，IDS序列包含多个组成汉字的子结构的字符和表征子结构的布局信息的IDC字符；
[0012]构建每个子结构的字形矢量模型，依据IDC字符呈现的子结构的布局信息对子结构的字形矢量模型进行矢量组合得到汉字的字形矢量模型；
[0013]利用基于生成对抗网络构建的风格优化模型，对汉字的字形矢量模型对应的字形图像进行风格优化处理。
[0014]其中，所述IDC字符包括堆叠结构的IDC字符，包括其中，所述IDC字符包括堆叠结构的IDC字符，包括所述IDC字符包括包围结构的IDC字符，包括包括包围结构的IDC字符，包括
[0015]在一个实施例中，所述构建每个子结构的字形矢量模型，包括：
[0016]将每个子结构的骨架关键点集表示为二维点坐标序列S＝((x
i
,y
i
))；
[0017]将每个子结构的轮廓节点相对于匹配骨架关键点的第一偏移向量表示为二维向量序列Offset1＝((Δx
i
,Δy
i
))；
[0018]手柄点相对关联轮廓节点的第二偏移向量表示为二维向量序列Offset2＝((Δx
i
,Δy
i
))。
[0019]在一个实施例中，当IDC字符为堆叠结构的IDC字符，即按照堆叠结构的布局信息对子结构的字形矢量模型进行矢量组合时，矢量组合步骤包括：
[0020]S11，对子结构的字形矢量模型的骨架关键点进行坐标原点规范；
[0021]S12，对各子结构进行伸缩变换，包括：
[0022]依据字形矢量模型对应二值化字形图像中黑像素个数计算各子结构在汉字中的字形占比Ratio
k
；
[0023]根据各子结构的字形包围盒和字形占比Ratio
u
，各子结构之间的间隙距离，以及组合后字形距离正方形画布边缘的留白距离，计算各子结构的伸缩变换系数Factor
k
；
[0024]利用伸缩变换系数Factor
k
对各子结构的骨架关键点、第一偏移向量和第二偏移向量进行伸缩变换，得到骨架关键点集第一偏移向量序列Offset1
′
k
、第二偏移向量序列Offset2
′
k
；
[0025]S13，对骨架关键点集内的骨架关键点进行坐标变换，使得骨架关键点集内的骨架关键点坐标落到[0，L]范围内，得到骨架关键点集
[0026]S14，将所有子结构的骨架关键点集第一偏移向量序列Offset1
′
k
、第二偏移向量序列Offset2
′
k
分别进行合并。
[0027]在一个实施例中，当IDC字符为包围结构的IDC字符，即按照包围结构的布局信息对子结构的字形矢量模型进行矢量组合时，进行矢量组合的两个子结构被定义为包围的子
结构和被包围的子结构，矢量组合步骤包括：
[0028]S21，对被包围的子结构的字形矢量模型的骨架关键点进行坐标原点规范，得到坐标原点规范后的骨架关键点集
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的多风格动态组字方法，其特征在于，包括以下步骤：将汉字表述成IDS序列，IDS序列包含多个组成汉字的子结构的字符和表征子结构的布局信息的IDC字符；构建每个子结构的字形矢量模型，依据IDC字符呈现的子结构的布局信息对子结构的字形矢量模型进行矢量组合得到汉字的字形矢量模型；利用基于生成对抗网络构建的风格优化模型，对汉字的字形矢量模型对应的字形图像进行风格优化处理。2.根据权利要求1所述的基于生成对抗网络的多风格动态组字方法，其特征在于，所述IDC字符包括堆叠结构的IDC字符，包括IDC字符包括堆叠结构的IDC字符，包括所述IDC字符包括包围结构的IDC字符，包括字符，包括所述构建每个子结构的字形矢量模型，包括：将每个子结构的骨架关键点集表示为二维点坐标序列S＝((x
i
,y
i
))；将每个子结构的轮廓节点相对于匹配骨架关键点的第一偏移向量表示为二维向量序列Offset1＝((Δx
i
,Δy
i
))；手柄点相对关联轮廓节点的第二偏移向量表示为二维向量序列Offset2＝((Δx
i
,Δy
i
))。3.根据权利要求2所述的基于生成对抗网络的多风格动态组字方法，其特征在于，当IDC字符为堆叠结构的IDC字符，即按照堆叠结构的布局信息对子结构的字形矢量模型进行矢量组合时，矢量组合步骤包括：S11，对子结构的字形矢量模型的骨架关键点进行坐标原点规范，包括：对于处于边长为L的正方形画布中央的子结构，对子结构的字形矢量模型的骨架关键点进行坐标原点规范为：其中，为第k个子结构坐标原点规范后的骨架关键点集，S
k
为第k个子结构的原始骨架关键点集；对于偏离正方形画布中央的子结构，对子结构的字形矢量模型的骨架关键点进行坐标原点规范为：其中，(x
k,l
,y
k,d
)为第k个子结构的字形包围盒的左下角坐标，(x
k,r
,y
k,u
)为第k个子结构的字形包围盒的右上角坐标；S12，对各子结构进行伸缩变换，包括：依据字形矢量模型对应二值化字形图像中黑像素个数计算各子结构在汉字中的字形占比Ratio
k
；根据各子结构的字形包围盒和字形占比Ratio
k
，各子结构之间的间隙距离，以及组合后字形距离正方形画布边缘的留白距离，计算各子结构的伸缩变换系数Factor
k
；
利用伸缩变换系数Factor
k
对各子结构的骨架关键点、第一偏移向量和第二偏移向量进行伸缩变换，得到骨架关键点集第一偏移向量序列Offset1
′
k
、第二偏移向量序列Offset2
′
k
；S13，对骨架关键点集内的骨架关键点进行坐标变换，使得骨架关键点集内的骨架关键点坐标落到[0,L]范围内，得到骨架关键点集S14，将所有子结构的骨架关键点集第一偏移向量序列Offset1
′
k
、第二偏移向量序列Offset2
′
k
分别进行合并。4.根据权利要求3所述的基于生成对抗网络的多风格动态组字方法，其特征在于，S12中，采用以下公式计算各子结构在汉字中的字形占比Ratio
k
：其中，w
k
为加权系数，P
k
表示第k个子结构的字形矢量模型对应的二值化字形图像中黑像素总个数；优选地，依据设置的字形占比下限MinRatio(IDC)对各子结构在汉字中的字形占比Ratio
k
进行优化处理，针对不同的IDC字符，字形占比下限MinRatio(IDC)取值不同；当字形占比Ratio
k
小于MinRatio(IDC)时，字形占比Ratio
k
优化为：Ratio
′
k
＝MinRatio(IDC)当字形占比Ratio
k
大于等于MinRatio(IDC)时，字形占比Ratio
k
优化为：其中，Ratio
′
k
为优化后的字形占比。5.根据权利要求3所述的基于生成对抗网络的多风格动态组字方法，其特征在于，S12中，各子结构的伸缩变换系数Factor
k
的计算方式包括：对于IDC字符和伸缩变换只存在于x方向上，先计算出目标宽度：width
k
＝(L
‑2×
pad
‑
(n
‑
1)
×
gap)
×
Ratio
′
k
，然后计算伸缩变换系数：对于IDC字符和伸缩变换只存在于y方向上，先计算出目标高度：height
k
＝(L
‑2×
pad
‑
(n
‑
1)
×
gap)
×
Ratio
′
k
，然后计算伸缩变换系数：其中，gap表示各子结构之间的间隙距离，pad表示组合后字形距离正方形画布边缘的留白距离。6.根据权利要求3所述的基于生成对抗网络的多风格动态组字方法，其特征在于，S12中，利用伸缩变换系数Factor
k
对各子结构的骨架关键点进行伸缩变换，得到的骨架关键点
集为：利用伸缩变换系数Factor
k
对各子结构的第一偏移向量进行伸缩变换，得到的第一偏移向量序列Offset1
′
k
为：利用伸缩变换系数Factor
k
对各子结构的第二偏移向量进行伸缩变换，得到的第二偏移向量序列Offset2
′
k
为：对骨架关键点集内的骨架关键点进行坐标变换，得到的骨架关...

【专利技术属性】
技术研发人员：张克俊，陈泽文，殷叶航，张瑞，王柏林，
申请(专利权)人：浙江大学，
类型：发明
国别省市：