基于双向Tree-GRU的联机手写数学公式识别方法技术

本发明专利技术公开了一种基于双向Tree‑GRU的联机手写数学公式识别方法，通过提取手写数学公式的二维树状图，利用双向单隐藏层Tree‑GRU网络对二维树状图进行公式识别；其中二维树状图按不同的规则进行提取，并对应训练双向单隐藏层Tree‑GRU网络生成相应的分类器，通过多树融合的策略比只提取单一的树能更精确覆盖所有节点和边。本发明专利技术方法不需要对手写公式进行分割，并且采用的Tree‑GRU网络可以允许信息通过树状结构传播，与一般的一维网络结构相比，可以更多地学习手写数学公式的二维结构。本发明专利技术方法对于联机手写数学公式的识别精度和识别效率均有所提高。

Online handwritten mathematical formula recognition method based on bidirectional tree Gru

【技术实现步骤摘要】
基于双向Tree-GRU的联机手写数学公式识别方法
本专利技术涉及联机手写数学公式识别
，尤其涉及基于双向Tree-GRU的联机手写数学公式识别方法。
技术介绍
如今人们使用手写作为移动设备的输入方式已成为一个普遍习惯，手写识别与人们的日常生活有着密切联系。提高各种场景下手写识别的识别率对于提高人们的工作效率来说有着重要的意义。而数学符号在科学文献中占有重要的地位，是描述数学、物理等许多领域的问题和理论的必要手段。数学公式的识别和普通数字的识别不同，数学符号类别的多样性和数学表达式二维结构的复杂性使手写数学公式识别具有一定的挑战性。部分基于一维结构的手写数学公式，比如“2+2”，可以用如BLSTM-CTC的传统基于链状网络结构的算法去很好识别。但传统的基于链状网络结构很难去精确识别带有二维结构的手写数学公式，比如带有分子分母等复杂结构的手写数学公式。而且LSTM本身的参数比较多，也增加了训练的难度。
技术实现思路
本专利技术为解决现有的手写识别方法难以识别带有二维结构的数学公式问题，提供了基于双向Tree-GRU的联机手写数学公式识别方法。为实现以上专利技术目的，而采用的技术手段是：基于双向Tree-GRU的联机手写数学公式识别方法，包括以下步骤：S1.获取输入的联机手写数学公式数据，包括公式的笔画信息InkML文件以及公式的笔画级别关系图SLG文件；S2.从所述InkML文件中提取所述公式的笔画集合，为所述笔画集合中的笔画按时序编码后按照预设的N个规则提取对应的N个二维树状特征；所述二维树状特征即树状图；S3.解析所述SLG文件并从中提取各个树状图的标签，并将标签转换成整型数据类型；所述标签包括树状图中节点和边的标签；S4.基于预设的N个规则构建对应的N个双向单隐藏层Tree-GRU网络，将所述N个树状图及相应的标签输入至对应预设规则的双向单隐藏层Tree-GRU网络中进行训练，并利用局部时域连接分类器对双向单隐藏层Tree-GRU网络进行损失计算以更新网络参数；S5.对N个双向单隐藏层Tree-GRU网络输出的树状图进行合并后输出完整SLG文件，即为所述数学公式的识别结果。优选的，所述步骤S2包括以下步骤：S21.从所述InkML文件中提取所述公式的笔画集合S＝{s0,...,sn-1}，其中包含n个按时间顺序排列的笔画；S22.以所述公式中的笔画为节点，构建一个有向图G；S23.在所述有向图G中按照预设的N个规则提取对应的N个树状图，所述树状图中的节点为原始散点构成的笔画，边是前后两个节点的笔画边框中心的连线；S24.对所述树状图中的节点和边分别进行重采样，使得所述节点和边由稀疏相同的散点构成。优选的，步骤S3中提取各个树状图的节点标签即从SLG文件中提取节点对应的符号标签，提取各个树状图的边的标签即从SLG文件中提取边对应的符号标签和位置标签。优选的，步骤S4所述的双向单隐藏层Tree-GRU网络包含一个隐藏层，所述隐藏层包含从树状图的根到枝叶以及从枝叶到树状图的根两个方向的独立路径；对于从树状图的根到枝叶的方向，从树状图的根开始对树状图中的短序列进行预计算，使树状图中的每个短序列都储存到来自根部的信息；对于从枝叶到树状图的根的方向，从枝叶开始对树状图中的短序列进行预计算，使树状图中的每个短序列都储存到来自枝叶的信息；其中每个短序列表示步骤S2提取得到的树状图中的节点或边；所述双向单隐藏层Tree-GRU网络赋予各树状图中的节点和边相应的标签以及各标签对应的概率。优选的，步骤S4中所述的利用局部时域连接分类器对双向单隐藏层Tree-GRU网络进行损失计算以更新网络参数具体为：采用局部时域连接分类器对所述双向单隐藏层Tree-GRU网络输出树状图中的每个短序列计算局部损失，所述树状图内所有短序列的局部损失的和即为所述树状图的全局损失，判断所述全局损失是否超过预设阈值，若是则继续训练，若否则结束训练。优选的，所述步骤S5具体为：对N个双向单隐藏层Tree-GRU网络输出的树状图进行识别，对于相同的节点和边在不同树状图中赋予的不同标签，取其中被赋予的概率最大的标签作为最终结果；对于属于同一符号的相邻节点，补充双向边后输出完整SLG文件；所述SLG文件包括所述数学公式的符号分割信息、符号标签以及符号空间位置关系。与现有技术相比，本专利技术技术方案的有益效果是：本专利技术的基于双向Tree-GRU的联机手写数学公式识别方法，通过提取手写数学公式的二维树状图，利用双向单隐藏层Tree-GRU网络对二维树状图进行公式识别；其中二维树状图按不同的规则进行提取，并对应训练双向单隐藏层Tree-GRU网络生成相应的分类器，通过多树融合的策略比只提取单一的树能更精确覆盖所有节点和边。本专利技术方法不需要对手写公式进行分割，并且采用的Tree-GRU网络可以允许信息通过树状结构传播，与一般的一维网络结构相比，可以更多地学习手写数学公式的二维结构。本专利技术方法对于联机手写数学公式的识别精度和识别效率均有所提高。附图说明图1为本专利技术的流程图。图2为实施例中公式“2+2”的笔画格式的SLG。图3为实施例中公式“2+2”的符号格式的SLG。图4为实施例中笔画的5个方向区域的示意图。图5为实施例中重采样后的树状图。图6为实施例中θ和的示意图。图7为实施例中标签转换成整型数据类型的数据转换格式表。图8为实施例中链状GRU单元的示意图。图9为实施例中Child-SumTree-GRU单元的示意图。图10为实施例中从两个方向访问的树状图。图11为实施例中单隐藏层双向单隐藏层Tree-GRU网络示意图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。本实施例提供了一种基于双向Tree-GRU的联机手写数学公式识别方法，如图1所示，包括以下步骤：S1.获取输入的联机手写数学公式数据，包括公式的笔画信息InkML文件以及公式的笔画级别关系图SLG文件；首先对联机手写数学公式的基本情况进行说明：联机手写数学公式识别的输入是笔画的时序信息，而笔画的时序信息由无数的散点构成。用户在手写板书写时，笔画信息可以被提取，并以记录散点横纵坐标的形式存储。InkML文件记录公式的笔画信息，相当于是训练数据。而数据的标签是笔画级别关系图(strokelevelgraph)，简称SLG。如公式“2+2”的SLG的两种格式如图2和3所示，图2展示的是笔画格式的SLG，Node即节点，代表公式中的每个笔画，每个笔画都有编号，编号后面是对应的真实值(groundtruth)，本文档来自技高网...

【技术保护点】
1.基于双向Tree-GRU的联机手写数学公式识别方法，其特征在于，包括以下步骤：/nS1.获取输入的联机手写数学公式数据，包括公式的笔画信息InkML文件以及公式的笔画级别关系图SLG文件；/nS2.从所述InkML文件中提取所述公式的笔画集合，为所述笔画集合中的笔画按时序编码后按照预设的N个规则提取对应的N个二维树状特征；所述二维树状特征即树状图；/nS3.解析所述SLG文件并从中提取各个树状图的标签，并将标签转换成整型数据类型；所述标签包括树状图中节点和边的标签；/nS4.基于预设的N个规则构建对应的N个双向单隐藏层Tree-GRU网络，将所述N个树状图及相应的标签输入至对应预设规则的双向单隐藏层Tree-GRU网络中进行训练，并利用局部时域连接分类器对双向单隐藏层Tree-GRU网络进行损失计算以更新网络参数；/nS5.对N个双向单隐藏层Tree-GRU网络输出的树状图进行合并后输出完整SLG文件，即为所述数学公式的识别结果。/n

【技术特征摘要】
1.基于双向Tree-GRU的联机手写数学公式识别方法，其特征在于，包括以下步骤：
S1.获取输入的联机手写数学公式数据，包括公式的笔画信息InkML文件以及公式的笔画级别关系图SLG文件；
S2.从所述InkML文件中提取所述公式的笔画集合，为所述笔画集合中的笔画按时序编码后按照预设的N个规则提取对应的N个二维树状特征；所述二维树状特征即树状图；
S3.解析所述SLG文件并从中提取各个树状图的标签，并将标签转换成整型数据类型；所述标签包括树状图中节点和边的标签；
S4.基于预设的N个规则构建对应的N个双向单隐藏层Tree-GRU网络，将所述N个树状图及相应的标签输入至对应预设规则的双向单隐藏层Tree-GRU网络中进行训练，并利用局部时域连接分类器对双向单隐藏层Tree-GRU网络进行损失计算以更新网络参数；
S5.对N个双向单隐藏层Tree-GRU网络输出的树状图进行合并后输出完整SLG文件，即为所述数学公式的识别结果。


2.根据权利要求1所述的基于双向Tree-GRU的联机手写数学公式识别方法，其特征在于，所述步骤S2包括以下步骤：
S21.从所述InkML文件中提取所述公式的笔画集合S＝{s0,...,sn-1}，其中包含n个按时间顺序排列的笔画；
S22.以所述公式中的笔画为节点，构建一个有向图G；
S23.在所述有向图G中按照预设的N个规则提取对应的N个树状图，所述树状图中的节点为原始散点构成的笔画，边是前后两个节点的笔画边框中心的连线；
S24.对所述树状图中的节点和边分别进行重采样，使得所述节点和边由稀疏相同的散点构成。


3.根据权利要求1所述的基于双向Tree-GRU的联机手写数学公式识别方法，其特征在于，步骤S3中提取各个树状图的节点标签即从SLG文件...

【专利技术属性】
技术研发人员：郑恩东，刘立程，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44