多层级深度特征融合的笔画提取方法技术

本发明专利技术公开了基于多层级深度特征融合的笔画提取方法，包括：获取汉字图像，构建汉字笔画分割数据集，对汉字图像上的笔画进行笔画标注，并将笔画掩膜、笔画长度、笔画掩膜的矩形框作为标签信息；搭建笔画分割模型，笔画分割模型包括汉字图像预处理模块、全局特征提取网络、主要视觉特征提取网络、时序特征提取网络、空间特征提取网络；对笔画分割模型进行训练和测试；将待测汉字图像输入笔画分割模型，得到笔画分割提取结果。相比传统的方法，从不同的层级提取特征，能够更全面地捕捉汉字笔画的信息如笔画的时序信息和空间信息等，提高提取的准确性和鲁棒性。准确性和鲁棒性。准确性和鲁棒性。

【技术实现步骤摘要】
多层级深度特征融合的笔画提取方法


[0001]本专利技术属于汉字处理方法
，涉及多层级深度特征融合的笔画提取方法。

技术介绍

[0002]作为中国的瑰宝，汉字在继承和弘扬中国文化上发挥了重要作用。汉字具有复杂的结构，包含了不同的笔画组合和连通关系，这种复杂性给笔画提取增加了不小难度，特别是在处理具有多层次结构的汉字时，如汉字的部首、偏旁部首和组合结构。同时汉字具有不同的变体和书写风格，这使得笔画提取任务更加复杂，需要具备良好的鲁棒性和适应性。汉字笔画提取技术对研究汉字结构、汉字教育以及书法风格分析、文化遗产保护具有重要作用。笔画包含了汉字书写过程中的关键信息，如笔锋、转折和粗细等。这些信息包含了汉字书写的动态特征和静态特征，是字体设计和美学评估的重要依据，笔画的精细调整和形态优化也能够提高字体的可读性和美观度。对于书法教育而言，理解和掌握笔画的特征和顺序对于正确书写汉字至关重要。准确提取和展示笔画信息可以帮助学生正确书写和认识汉字，提高汉字学习的效果和效率。在计算机视觉和人工智能领域，准确提取和利用笔画信息对于图像识别、自然语言处理和智能交互等任务具有重要意义。通过分析和理解笔画的特征和顺序，计算机系统能够更好地理解和处理汉字图像和文本。
[0003]目前汉字笔画的提取方法过于依赖手工设计的特征提取器，其特征提取能力受限，提取的特征不够鲁棒和全面。同时传统方法中的特征提取器往往无法捕捉到汉字笔画中的时序和空间信息，忽略了多模态数据之间的相关性。对复杂汉字的笔画提取效果很不理想，在正确性和效率上都没能达到令人满意的效果。

技术实现思路

[0004]本专利技术的目的是提供一种多层级深度特征融合的笔画提取方法，解决了现有技术中存在的提取准确性较低的问题。
[0005]本专利技术所采用的技术方案是，基于多层级深度特征融合的笔画提取方法，包括以下步骤：
[0006]步骤1、获取汉字图像，构建汉字笔画分割数据集，对汉字图像上的笔画进行笔画标注，并将笔画掩膜、笔画长度、笔画掩膜的矩形框作为标签信息；
[0007]步骤2、搭建笔画分割模型，笔画分割模型包括汉字图像预处理模块、全局特征提取网络、主要视觉特征提取网络、时序特征提取网络、空间特征提取网络；
[0008]步骤3、对笔画分割模型进行训练和测试；
[0009]步骤4、将待测汉字图像输入步骤3得到的笔画分割模型，得到笔画分割提取结果。
[0010]本专利技术的特点还在于：
[0011]笔画类型包括横、竖、撇、捺、折五类。
[0012]步骤2具体包括以下步骤：
[0013]步骤2.1、汉字图像预处理模块对汉字图像进行统一规范化处理；
[0014]步骤2.2、全局特征提取网络提取笔画掩膜的矩形框、笔画长度作为每个笔画的全局特征；
[0015]步骤2.3、主要视觉特征提取网络提取特征向量，将每个笔画的全局特征与特征向量进行拼接，得到组合特征向量；
[0016]步骤2.4、采用时间特征提取网络对组合特征向量进行特征提取，得到笔画序列的时序特征；
[0017]步骤2.5、采用空间特征提取网络进行笔画空间特征的提取，得到笔画空间特征，将笔画空间特征与笔画序列的时序特征进行拼接，得到融合特征，将融合特征输入到全连接层和softmax函数中，得到笔画的分类。
[0018]步骤2.2具体为：全局特征提取网络将笔画长度作为全局特征向量的首个元素，将笔画掩膜的矩形框的四个顶点角坐标作为全局特征向量的后四个元素，组成一个五维向量。
[0019]步骤2.4具体为：采用双向长短时记忆网络对组合特征向量进行特征提取，计算过程如下：
[0020]先通过前向长短时记忆模型、后向长短时记忆模型分别提取前向特征向量和后向特征向量：
[0021]再将前向特征向量和后向特征向量进行组合，得到时序特征。
[0022]步骤2.5中笔画空间特征的提取过程为：根据汉字的笔画序列构建图结构，每个笔画对应一个节点，节点之间的连接方式根据笔画之间的关系构建无向边；如果笔画之间矩形框存在交叉，则将图中对应顶点之间的无向边进行连接，得到边矩阵，即空间特征。
[0023]步骤2.5具体包括以下步骤：
[0024]步骤2.5.1、步骤2.5.1、建立边矩阵和单位矩阵；
[0025]步骤2.5.2、对边矩阵进行初始化，得到邻接矩阵，并初始化时序特征；
[0026]步骤2.5.3、聚合邻接矩阵中邻居节点特征，得到前一层的特征向量；
[0027]步骤2.5.4、对前一层的特征向量进行非线性变换，得到更新后的特征向量；
[0028]步骤2.5.5、将更新后的特征向量传播到每个节点的邻居节点上；
[0029]步骤2.5.6、重复步骤2.5.3
‑
2.5.5，直到达到四层GCN层数，输出空间特征；
[0030]步骤2.5.7、将空间特征和时序特征进行拼接，得到融合特征，将融合特征输入到全连接层和softmax函数中，得到每个笔画类别的概率分布，选出概率最大的笔画标签，从而实现笔画的分类。
[0031]步骤2.5.7中，全连接层的处理过程为：FC(R
i
)＝W
·
R
i
+b，其中，FC表示全连接操作，W是权重矩阵，b是偏置向量。
[0032]步骤2.5.7中softmax函数的计算公式如下：
[0033][0034]其中，x
i
表示输入向量x的第i个元素，C表示分类的数量。
[0035]本专利技术的有益效果是：本专利技术基于多层级深度特征融合的笔画提取方法，相比传统的方法，该方法结合卷积神经网络(ResNet)、循环神经网络(BiLSTM)和图卷积网络
(GCN)，从不同的层级提取特征，能够更全面地捕捉汉字笔画的信息如笔画的时序信息和空间信息等，提高提取的准确性和鲁棒性；进行多模态数据处理：而ResNet+BiLSTM+GCN方法能够同时处理汉字笔画中包含的图像和序列两种类型的数据，通过有效地整合和融合图像特征和序列特征，能够更好地表达汉字笔画的特征，提高分类和分割的性能；ResNet+BiLSTM+GCN方法结合三种不同的网络结构，每种结构都具有独特的能力和表达能力，该组合可以提供更大的模型容量和表达能力，使模型能够更好地适应复杂的汉字笔画特征。
附图说明
[0036]图1是本专利技术基于多层级深度特征融合的笔画提取方法的流程图；
[0037]图2是本专利技术基于多层级深度特征融合的笔画提取方法中主要视觉特征提取网络的结构图；
[0038]图3是本专利技术基于多层级深度特征融合的笔画提取方法中LSTM网络的单元结构图；
[0039]图4是本专利技术基于多层级深度特征融合的笔画提取方法中BiLSTM的结构图；
[0040]图5是本专利技术基于多层级深度特征融合的笔画提取方法的提取结果示意图。
具体实施方式
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多层级深度特征融合的笔画提取方法，其特征在于，包括以下步骤：步骤1、获取汉字图像，构建汉字笔画分割数据集，对所述汉字图像上的笔画进行笔画标注，并将笔画掩膜、笔画长度、笔画掩膜的矩形框作为标签信息；步骤2、搭建笔画分割模型，所述笔画分割模型包括汉字图像预处理模块、全局特征提取网络、主要视觉特征提取网络、时序特征提取网络、空间特征提取网络；步骤3、对所述笔画分割模型进行训练和测试；步骤4、将待测汉字图像输入步骤3得到的笔画分割模型，得到笔画分割提取结果。2.根据权利要求1所述的基于多层级深度特征融合的笔画提取方法，其特征在于，所述笔画类型包括横、竖、撇、捺、折五类。3.根据权利要求1所述的基于多层级深度特征融合的笔画提取方法，其特征在于，步骤2具体包括以下步骤：步骤2.1、汉字图像预处理模块对所述汉字图像进行统一规范化处理；步骤2.2、全局特征提取网络提取笔画掩膜的矩形框、笔画长度作为每个笔画的全局特征；步骤2.3、主要视觉特征提取网络提取特征向量，将每个笔画的全局特征与特征向量进行拼接，得到组合特征向量；步骤2.4、采用时间特征提取网络对组合特征向量进行特征提取，得到笔画序列的时序特征；步骤2.5、采用空间特征提取网络进行笔画空间特征的提取，得到笔画空间特征，将所述笔画空间特征与笔画序列的时序特征进行拼接，得到融合特征，将融合特征输入到全连接层和softmax函数中，得到笔画的分类。4.根据权利要求3所述的基于多层级深度特征融合的笔画提取方法，其特征在于，步骤2.2具体为：全局特征提取网络将笔画长度作为全局特征向量的首个元素，将笔画掩膜的矩形框的四个顶点角坐标作为全局特征向量的后四个元素，组成一个五维向量。5.根据权利要求3所述的基于多层级深度特征融合的笔画提取方法，其特征在于，步骤2.4具体为：采用双向长短时记忆网络对组合特征向量进行特征提取，计算过程如下：先通过前向长短时记忆模型、后向长短时记忆模型分...

【专利技术属性】
技术研发人员：张九龙，张朝阳，屈小娥，王志晓，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：