一种数学公式识别方法和装置制造方法及图纸

本发明专利技术实施例提供了一种数学公式识别的方法和装置，所述方法包括：接收输入的图像数据，图像数据的内容包括手写的数学公式信息；确定与数学公式信息匹配的一个或多个运算关系类型，以及与每个运算关系类型对应的一个或多个特征区域；识别一个或多个特征区域，得到一个或多个公式元素；结合一个或多个运算关系类型，将一个或多个公式元素组织成与数学公式信息对应的数学公式。通过本发明专利技术实施例，实现了对手写数学公式的准确识别，并且在识别过程中充分利用了数学公式的结构性质，降低了字符识别的难度，优化了整个识别过程的效果和流程，提升了对手写数学公式识别的精确性和识别速度，为用户提供更加精准、简便、快捷的数学公式输入体验。

A mathematical formula recognition method and device

The embodiment of the invention provides a method and a device for mathematical formula recognition, the method comprises: receiving input image data, image data includes handwritten mathematical formula information; and determining one or more types of information, operation relations mathematical formula, one or more feature regions corresponding to and with the operation of each type of relationship; identifying one or more regions, have one or more elements combined with the formula; one or more operational relationship types, one or more elements are organized into formula and corresponding mathematical formula information of mathematical formula. The embodiment of the invention realizes the accurate recognition of handwritten mathematical formula, and in the recognition process and make full use of the structural properties of mathematical formulas, reduces the difficulty of character recognition, the recognition effect of process optimization and process, enhance the mathematical formula recognition accuracy and recognition speed, provide a more accurate convenient and mathematical formula input experience for users.

【技术实现步骤摘要】
一种数学公式识别方法和装置
本专利技术涉及数学公式识别领域，特别是涉及一种数学公式识别方法和一种数学公式识别装置。
技术介绍
在数学学科中，数学公式是学术文献的重要组成部分，目前主要利用MathType、LaTex两种工具对数学公式进行录入，但随着文档资料数字化需求的进一步增长，前面两种方法面对大量的复杂的数学公式时，编辑难度大，而且效率较低。联机手写数学公式识别可以为用户提供类似于纸上书写的数学公式录入方式，但由于数学公式复杂的结构极大地增加了计算机识别的难度，且手写输入设备的非精确性、书写笔体和速度、数学符号的二义性、结构的多变性等都给手写数学公式的识别和编辑进一步增加了难度。而且在现有的联机手写数学公式识别过程中，经常会出现对字符的错识问题，并且会将对字符的错识问题叠加到对整个数学公式的分析中，从而影响最终的数学公式识别结果，导致识别手写的数学公式不准确。
技术实现思路
鉴于上述问题，提出了本专利技术实施例以便提供克服上述问题或者至少部分地解决上述问题的一种数学公式识别方法和装置。为了解决上述问题，本专利技术实施例公开了一种数学公式识别的方法，所述方法包括：接收输入的图像数据，所述图像数据的内容包括手写的数学公式信息；确定与所述数学公式信息匹配的一个或多个运算关系类型，以及与每个运算关系类型对应的一个或多个特征区域；识别所述一个或多个特征区域，得到一个或多个公式元素；结合所述一个或多个运算关系类型，将所述一个或多个公式元素组织成与所述数学公式信息对应的数学公式。优选地，所述确定与所述数学公式信息匹配的一个或多个运算关系类型，以及每个运算关系类型对应的一个或多个特征区域的步骤包括：将所述图像数据输入预先生成的卷积神经网络模型，经由所述卷积神经网络模型识别出所述图像数据中所包含的一个或多个运算关系类型，以及，根据所述一个或多个运算关系类型将所述图像数据划分后得到的一个或多个特征区域。优选地，所述卷积神经网络模型采用如下方式识别出所述图像数据中所包含的一个或多个运算关系类型：分别采用预置的多种运算关系类型的权重系数作为卷积核，对所述图像数据进行卷积操作，得到所述图像数据在各个运算关系类型中的概率；基于所述图像数据在各个运算关系类型中的概率，确定所述图像数据中所包含的一个或多个运算关系类型。优选地，所述运算关系类型具有对应的结构关系，所述特征区域包括单一区域和/或混合区域，所述识别所述一个或多个特征区域，得到一个或多个公式元素的步骤包括：基于所述每个运算关系类型对应的结构关系，将所述单一区域作为一个基本单元，以及，对所述混合区域进行拆分，得到一个或多个基本单元；采用预设的光学字符识别算法识别所述一个或多个基本单元，得到一个或多个公式元素。优选地，所述结合所述一个或多个运算关系类型，将所述一个或多个公式元素组织成与所述数学公式信息对应的数学公式的步骤包括：基于所述每个运算关系类型对应的结构关系，确定所述每个公式元素的位置信息；将所述每个公式元素放置在所述每个公式元素的位置信息对应的位置，得到与所述数学公式信息对应的数学公式。优选地，所述将所述每个公式元素放置在所述每个公式元素的位置信息对应的位置，得到与所述数学公式信息对应的数学公式的步骤包括：针对混合区域，确定混合区域对应的公式元素，结合所述混合区域对应的公式元素的位置信息以及所述混合区域所包含的运算关系类型，将所述混合区域对应的公式元素组织成子公式；针对单一区域，确定单一区域对应的公式元素，将所述单一区域对应的公式元素作为子公式；对所有特征区域对应的子公式进行组合，得到与所述数学公式信息对应的数学公式。优选地，所述卷积神经网络模型采用如下方式生成：获取样本图像数据，所述样本图像数据包括多个运算关系类型对应的样本图像数据；分别对每个运算关系类型对应的样本图像数据进行训练，得到卷积神经网络模型，所述卷积神经网络模型以每个运算关系类型对应的权重系数作为卷积核。优选地，所述数学公式信息的输入方式至少包括：手写输入设备、鼠标输入。优选地，所述单一区域包括数字或变量对应的特征区域，所述混合区域包括数字或变量以及一个或多个至少以下运算符对应的特征区域：分数运算符、开方运算符、极限运算符、乘积运算符。本专利技术实施例公开了一种数学公式识别的装置，所述装置包括：接收模块，用于接收输入的图像数据，所述图像数据的内容包括手写的数学公式信息；确定模块，用于确定与所述数学公式信息匹配的一个或多个运算关系类型，以及与每个运算关系类型对应的一个或多个特征区域；识别模块，用于识别所述一个或多个特征区域，得到一个或多个公式元素；组织模块，用于结合所述一个或多个运算关系类型，将所述一个或多个公式元素组织成与所述数学公式信息对应的数学公式。本专利技术实施例包括以下优点：在本专利技术实施例中，通过接收输入的包括手写的数学公式信息的图像数据，并确定与数学公式信息匹配的运算关系类型，以及与每个运算关系类型对应的特征区域，识别特征区域而得到公式元素，最后结合运算关系类型，将公式元素组织成与数学公式信息对应的数学公式，从而实现对手写数学公式的准确识别，并且在识别过程中充分利用了数学公式的结构性质，降低了字符识别的难度，优化了整个识别过程的效果和流程，提升了对手写数学公式识别的精确性和识别速度，为用户提供更加精准、简便、快捷的数学公式输入体验。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例的一种数学公式识别的方法的步骤流程图；图2是本专利技术实施例的一种数学公式识别的方法的步骤流程图；图3是本专利技术实施例的一种手写的数学公式示例图；图4是本专利技术实施例的一种手写的数学公式示例图；图5是本专利技术实施例的一种数学公式识别的装置的结构框图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例可以用于联机识别手写数学公式，并录入计算机，在一定程度上满足商业人员或数学学科领域人员在联机状态下，通过鼠标或者手写输入设备实现数学公式联机录入的需求。联机手写数学公式识别属于模式识别系统的一个方向，模式识别又称作模式分类，通过计算机用数学技术方法来研究模式的自动处理和判读，模式可以理解为存在有某种基本结构组织的排列或有序化，也可以称为某一事物或其他一些感兴趣项目的定量或结构上的描述。在联机手写数学公式识别中，分类和特征提取是系统最关键的部分。根据分类算法的不同，又可以将模式识别分为句法模式识别和统计模式识别。句法模式识别的基本思想是把一个模式描述为较简单的子模式的组合，子模式又可以描述未更简单的子模式的组合，从而做出识别分类；统计模式识别的分类方法主要有模块匹配、概率分类、神经网络等。联机手写数学公式识别的流程可以包括为：手写输入，符号分割，字符识别，结构分析，系统纠错，结果本文档来自技高网...

【技术保护点】
一种数学公式识别的方法，其特征在于，所述方法包括：接收输入的图像数据，所述图像数据的内容包括手写的数学公式信息；确定与所述数学公式信息匹配的一个或多个运算关系类型，以及与每个运算关系类型对应的一个或多个特征区域；识别所述一个或多个特征区域，得到一个或多个公式元素；结合所述一个或多个运算关系类型，将所述一个或多个公式元素组织成与所述数学公式信息对应的数学公式。

【技术特征摘要】
1.一种数学公式识别的方法，其特征在于，所述方法包括：接收输入的图像数据，所述图像数据的内容包括手写的数学公式信息；确定与所述数学公式信息匹配的一个或多个运算关系类型，以及与每个运算关系类型对应的一个或多个特征区域；识别所述一个或多个特征区域，得到一个或多个公式元素；结合所述一个或多个运算关系类型，将所述一个或多个公式元素组织成与所述数学公式信息对应的数学公式。2.根据权利要求1所述的方法，其特征在于，所述确定与所述数学公式信息匹配的一个或多个运算关系类型，以及每个运算关系类型对应的一个或多个特征区域的步骤包括：将所述图像数据输入预先生成的卷积神经网络模型，经由所述卷积神经网络模型识别出所述图像数据中所包含的一个或多个运算关系类型，以及，根据所述一个或多个运算关系类型将所述图像数据划分后得到的一个或多个特征区域。3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络模型采用如下方式识别出所述图像数据中所包含的一个或多个运算关系类型：分别采用预置的多种运算关系类型的权重系数作为卷积核，对所述图像数据进行卷积操作，得到所述图像数据在各个运算关系类型中的概率；基于所述图像数据在各个运算关系类型中的概率，确定所述图像数据中所包含的一个或多个运算关系类型。4.根据权利要求1或2或3所述的方法，其特征在于，所述运算关系类型具有对应的结构关系，所述特征区域包括单一区域和/或混合区域，所述识别所述一个或多个特征区域，得到一个或多个公式元素的步骤包括：基于所述每个运算关系类型对应的结构关系，将所述单一区域作为一个基本单元，以及，对所述混合区域进行拆分，得到一个或多个基本单元；采用预设的光学字符识别算法识别所述一个或多个基本单元，得到一个或多个公式元素。5.根据权利要求4所述的方法，其特征在于，所述结合所述一个或多个运算关系类型，将所述一个或多个公式元素组织成与所述数学公式信息对应的数学公式的步骤包括：基于所述每个运算关系类型...

【专利技术属性】
技术研发人员：曹骥，王富田，李健，张连毅，武卫东，
申请(专利权)人：北京捷通华声科技股份有限公司，
类型：发明
国别省市：北京,11