一种数学公式识别方法、装置、设备及可读存储介质制造方法及图纸

本申请提供了一种数学公式识别方法、装置、设备及存储介质，方法包括：获取目标对象，目标对象包括多行文本，目标公式为多行文本中的一行；将目标对象基于输入轨迹进行分行处理，将目标公式所在行作为待识别对象；从待识别对象中识别出每个字符以及每个字符与上一字符的相对位置信息；基于识别出的每个字符以及每个字符与上一字符的相对位置信息，确定待识别对象对应的识别结果。本申请提供的数学公式识别方法不但可以对用户书写的数学公式进行识别，而且具有较高的识别准确率，用户体验较好。

【技术实现步骤摘要】
一种数学公式识别方法、装置、设备及可读存储介质
本申请涉及光学字符识别
，尤其涉及一种数学公式识别方法、装置、设备及可读存储介质。
技术介绍
随着互联网技术和电子科学技术的发展，手机、平板电脑等移动设备在人们生活占据着越来越重要的地位。移动设备根据其自身特点，主要依靠触摸屏来完成人机交互任务。对于移动设备而言，基于触摸屏的人机交互方式相比于电脑的键盘和鼠标交互方式，省去了外接设备的不便，同时也使得手写输入成为移动设备最为重要的输入方式。然而，目前缺乏对于数学公式输入的有效解决方案，对于数学公式的输入，最重要的就是识别出用户书写的数学公式，然而，目前尚不存在有效的识别方法。
技术实现思路
有鉴于此，本申请提供了一种数学公式识别方法、装置、设备及可读存储介质，用以对用户基于输入单元书写的数学公式进行有效识别，其技术方案如下：一种数学公式识别方法，包括：获取目标对象，所述目标对象包括多行文本，目标公式为所述多行文本中的一行；将所述目标对象基于输入轨迹进行分行处理，将所述目标公式所在行作为待识别对象；从所述待识别对象中识别出每个字符以及每个字符与上一字符的相对位置信息；基于识别出的每个字符和每个字符与上一字符的相对位置信息，确定所述待识别对象对应的识别结果。可选的，所述将所述目标对象基于输入轨迹进行分行处理，将所述目标公式所在行作为待识别对象，包括：基于所述输入轨迹将所述目标对象分割为笔画，并对分割的笔画进行分行，获得多个笔画行；将所述目标公式对应的笔画行合成为字符，合成后的该行字符作为所述待识别对象。可选的，所述对分割的笔画进行分行，包括：对于分割得到的每个笔画：若该笔画为新一行的笔画，则创建一行，并将该笔画加入该行，该行的当前外接矩形为该笔画的外接矩形，该行的当前中心线为该笔画的外接矩形的中心线；若该笔画不是新一行的笔画，则基于该笔画的外接矩形以及每行的外接矩形或中心线确定该笔画所属行，将该笔画加入其所属行，该笔画所属行的当前外接矩形为该笔画所属行当前所有笔画的外接矩形，该笔画所属的行的中心线为该笔画所属行当前所有笔画的外接矩形的中心线。可选的，所述基于该笔画的外接矩形以及每行的外接矩形或中心线确定该笔画所属行，包括：对于每一行，若该笔画的外接矩形完全位于该行的外接矩形内，或者，该行的中心线穿过该笔画的外接矩形，则确定该行为该笔画所属行；若该笔画的外接矩形未完全位于该行的外接矩形内，并且，该行的中心线未穿过该笔画的外接矩形，则确定预设个目标笔画，基于各个所述目标笔画所属行确定该笔画所属行，其中，各个所述目标笔画与该笔画的距离均小于其它笔画与该笔画的距离。可选的，确定该笔画是否为新一行的笔画，包括：当该笔画相对上一笔画未向预设方向偏移时，确定该笔画不是新一行的笔画；当该笔画相对上一笔画向所述预设方向偏移时，若该笔画为分式线，则确定该笔画不是新一行的笔画；若该笔画不为分式线，且该笔画的上一笔画为分式线，则确定该笔画不是新一行的笔画；若该笔画不为分式线，该笔画的上一笔画也不为分式线，且该笔画不在上一行的外接矩形内，且该笔画与上一行的各个字符和上一行的外接矩形的中心线均没有重叠，则确定该笔画为新一行的笔画。可选的，所述从所述待识别对象中识别出每个字符以及每个字符与上一字符的相对位置信息，包括：获取所述待识别对象中每个字符对应的相对位置信息，一个字符对应的相对位置信息为该字符与第一个字符的相对位置信息；通过预先建立的公式识别模型提取每个字符对应的字符特征；基于每个字符对应的字符特征和相对位置信息，通过所述公式识别模型确定所述每个字符的识别结果以及每个字符与上一字符的相对位置信息。可选的，所述通过预先建立的公式识别模型提取每个字符对应的字符特征，包括：通过所述公式识别模型中的特征提取模块，提取所述每个字符对应的字符特征；所述基于每个字符对应的字符特征和相对位置信息，通过所述公式识别模型确定所述每个字符的识别结果以及每个字符与上一字符的相对位置信息，包括：通过所述公式识别模型中的编码模块，对所述每个字符对应的字符特征和相对位置信息进行编码，获得每个字符对应的、具有上下文信息的编码结果；通过所述公式识别模型中的解码模块，对每个字符对应的编码结果进行解码，获得每个字符对应的解码结果，其中，一个字符对应的解码结果包括该字符的识别结果和该字符与上一字符的相对位置信息。可选的，所述基于每个字符对应的字符特征和相对位置信息，通过所述公式识别模型确定所述每个字符的识别结果以及每个字符与上一字符的相对位置信息，还包括：通过所述公式识别模型的注意力模块，为所述编码模块输出的编码结果赋予权重，其中，所述权重的大小与编码结果的重要程度有关；则通过所述公式识别模型中的解码模块，对每个字符对应的编码结果进行解码，包括：通过所述公式识别模型中的解码模块，基于整个所述待识别对象的编码结果对每个字符对应的、赋予权重的编码结果进行解码。可选的，所述基于所述识别出的每个字符和每个字符与上一字符的相对位置信息，确定所述待识别对象对应的识别结果，包括：基于所述识别出的每个字符和每个字符与上一字符的相对位置信息，以及设定的上下文无关语法，构建所述待识别对象对应的上下文无关数学公式语法树；通过所述待识别对象对应的上下文无关数学公式语法树，确定所述待识别对象对应的识别结果。一种数学公式识别装置，包括：获取模块、分行处理模块、识别模块、识别结果确定模块；所述获取模块，用于获取目标对象，所述目标对象包括多行文本，目标公式为所述多行文本中的一行；所述分行处理模块，用于将所述目标对象基于输入轨迹进行分行处理，将所述目标公式所在行作为待识别对象；所述识别模块，用于从所述待识别对象中识别出每个字符以及每个字符与上一字符的相对位置信息；所述识别结果确定模块，用于基于识别出的每个字符和每个字符与上一字符的相对位置信息，确定所述待识别对象对应的识别结果。可选的，所述分行处理模块，具体用于基于所述输入轨迹将所述目标对象分割为笔画，并对分割的笔画进行分行，获得多个笔画行，将所述目标公式对应的笔画行合成为字符，合成后的该行字符作为所述待识别对象。可选的，所述识别模块包括：信息获取子模块和识别子模块；所述信息获取子模块，用于获取所述待识别对象中每个字符对应的相对位置信息，一个字符对应的相对位置信息为该字符与第一个字符的相对位置信息；所述识别子模块，用于通过预先建立的公式识别模型提取每个字符对应的字符特征，并基于每个字符对应的字符特征和相对位置信息，通过所述公式识别模型确定所述每个字符的识别结果以及每个字符与上一字符的相对位置信息。可选的，所述识别结果确定模块包括：语法树构建子模块和识别结果确定子模块；所述语法树构建子模块，用于基于所述识别出的每个字符和每个字符与上一字符的相对位置信息，以及设定的上下文无关语法，构建所述待识别对象对应的上下文无关数学公式语法树；所述识别结果确定子模块，用于通过所述待识别对象对应的上下文无关数学公式语法树，确定该所述待识别对象对应的识别结果。一种数学公式识别设备，包括：存储器和处理器；所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现所述数学公式识别方法的各个步骤。一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，本文档来自技高网...

【技术保护点】
1.一种数学公式识别方法，其特征在于，包括：获取目标对象，所述目标对象包括多行文本，目标公式为所述多行文本中的一行；将所述目标对象基于输入轨迹进行分行处理，将所述目标公式所在行作为待识别对象；从所述待识别对象中识别出每个字符以及每个字符与上一字符的相对位置信息；基于识别出的每个字符和每个字符与上一字符的相对位置信息，确定所述待识别对象对应的识别结果。

【技术特征摘要】
1.一种数学公式识别方法，其特征在于，包括：获取目标对象，所述目标对象包括多行文本，目标公式为所述多行文本中的一行；将所述目标对象基于输入轨迹进行分行处理，将所述目标公式所在行作为待识别对象；从所述待识别对象中识别出每个字符以及每个字符与上一字符的相对位置信息；基于识别出的每个字符和每个字符与上一字符的相对位置信息，确定所述待识别对象对应的识别结果。2.根据权利要求1所述的数学公式识别方法，其特征在于，所述将所述目标对象基于输入轨迹进行分行处理，将所述目标公式所在行作为待识别对象，包括：基于所述输入轨迹将所述目标对象分割为笔画，并对分割的笔画进行分行，获得多个笔画行；将所述目标公式对应的笔画行合成为字符，合成后的该行字符作为所述待识别对象。3.根据权利要求2所述的数学公式识别方法，其特征在于，所述对分割的笔画进行分行，包括：对于分割得到的每个笔画：若该笔画为新一行的笔画，则创建一行，并将该笔画加入该行，该行的当前外接矩形为该笔画的外接矩形，该行的当前中心线为该笔画的外接矩形的中心线；若该笔画不是新一行的笔画，则基于该笔画的外接矩形以及每行的外接矩形或中心线确定该笔画所属行，将该笔画加入其所属行，该笔画所属行的当前外接矩形为该笔画所属行当前所有笔画的外接矩形，该笔画所属的行的中心线为该笔画所属行当前所有笔画的外接矩形的中心线。4.根据权利要求3所述的数学公式识别方法，其特征在于，所述基于该笔画的外接矩形以及每行的外接矩形或中心线确定该笔画所属行，包括：对于每一行，若该笔画的外接矩形完全位于该行的外接矩形内，或者，该行的中心线穿过该笔画的外接矩形，则确定该行为该笔画所属行；若该笔画的外接矩形未完全位于该行的外接矩形内，并且，该行的中心线未穿过该笔画的外接矩形，则确定预设个目标笔画，基于各个所述目标笔画所属行确定该笔画所属行，其中，各个所述目标笔画与该笔画的距离均小于其它笔画与该笔画的距离。5.根据权利要求3所述的数学公式识别方法，其特征在于，确定该笔画是否为新一行的笔画，包括：当该笔画相对上一笔画未向预设方向偏移时，确定该笔画不是新一行的笔画；当该笔画相对上一笔画向所述预设方向偏移时，若该笔画为分式线，则确定该笔画不是新一行的笔画；若该笔画不为分式线，且该笔画的上一笔画为分式线，则确定该笔画不是新一行的笔画；若该笔画不为分式线，该笔画的上一笔画也不为分式线，且该笔画不在上一行的外接矩形内，且该笔画与上一行的各个字符和上一行的外接矩形的中心线均没有重叠，则确定该笔画为新一行的笔画。6.根据权利要求1～5中任意一项所述的数学公式识别方法，其特征在于，所述从所述待识别对象中识别出每个字符以及每个字符与上一字符的相对位置信息，包括：获取所述待识别对象中每个字符对应的相对位置信息，一个字符对应的相对位置信息为该字符与第一个字符的相对位置信息；通过预先建立的公式识别模型提取每个字符对应的字符特征；基于每个字符对应的字符特征和相对位置信息，通过所述公式识别模型确定所述每个字符的识别结果以及每个字符与上一字符的相对位置信息。7.根据权利要求6所述的数学公式识别方法，其特征在于，所述通过预先建立的公式识别模型提取每个字符对应的字符特征，包括：通过所述公式识别模型中的特征提取模块，提取所述每个字符对应的字符特征；所述基于每个字符对应的字符特征和相对位置信息，通过所述公式识别模型确定所述每个字符的识别结果以及每个字符与上一字符的相对位置信息，包括：通过所述公式识别模型中的编码模块，对所述每个字符对应的字符特征和相对位置信息进行编码，获得每个字符对...

【专利技术属性】
技术研发人员：李飞吾，胡金水，殷兵，刘聪，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽,34