手写数学公式样本库的构建方法、装置及终端设备制造方法及图纸

本发明专利技术适用于图像识别技术领域，提供了一种手写数学公式样本库的构建方法、装置及终端设备，该方法包括：将待识别图像切割为至少一个题块图像；并通过第一数学公式识别程序对手写数学公式进行位置检测，确定各个手写数学公式的初始标注框；然后采用人工修正初始标注框；根据修正后的标注框提取各个题块图像中的公式图像，通过第二数学公式识别程序对各个公式图像进行数据识别；采用预设深度学习模型辅以人工识别的方式对目标公式图像进行数据识别，输出目标公式图像对应的第二识别数据；最后采用第一训练样本和第二训练样本构建手写数学公式样本库。本申请通过上述步骤能够构建使程序精确识别的样本库，从而提高手写数学公式识别的准确性。式识别的准确性。式识别的准确性。

Construction method, device and terminal equipment of handwritten mathematical formula sample library

【技术实现步骤摘要】
手写数学公式样本库的构建方法、装置及终端设备


[0001]本专利技术属于图像识别
，尤其涉及一种手写数学公式样本库的构建方法、装置及终端设备。

技术介绍

[0002]在教育领域，学生和老师每天产生大量的数学手写内容，这些书写的内容里包含了丰富且有价值的信息，而目前绝大多数此类内容都有纸质媒介来记录和储存，使得这些书写内容中所包含的信息很难被高效利用，与以往的在线数学公式研究不同的是，手写数学公式识别是旨在从根源上解放老师双手，让老师有更多的时间和精力放在学生的成长成才上，而不是每天使用将近一半工作的时间批改作业。
[0003]使用机器学习对手写体数学公式样本数据进行学习，能将学生的书写内容进行处理，完成诸如智能批阅、个性化推荐、学生画像等多种功能。这将大大减轻老师的工作量。目前的数学公式样本例如MINST样本库、CROHME在线数学公式库等样本较为单一，无法很好的反映实际的手写体数学公式。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种手写数学公式样本库的构建方法、装置及终端设备，以解决现有技术中手写数学公式库样本单一的问题。
[0005]本专利技术实施例的第一方面提供了一种手写数学公式样本库的构建方法，包括：
[0006]获取多个含有手写数学公式的待识别图像，并将各个待识别图像切割为至少一个题块图像；
[0007]通过第一数学公式识别程序对各个题块图像中的手写数学公式进行位置检测，确定各个手写数学公式的初始标注框；
[0008]获取用户对错误初始标注框的修正操作，基于修正操作修正对应的初始标注框，并根据修正后的标注框提取各个题块图像中的公式图像；
[0009]通过第二数学公式识别程序对各个公式图像进行数据识别，确定各个公式图像中手写数学公式的第一识别数据；
[0010]采用预设深度学习模型辅以人工识别的方式对目标公式图像进行数据识别，输出目标公式图像对应的第二识别数据；所述目标公式图像为第一识别数据错误的公式图像；
[0011]采用第一训练样本和第二训练样本构建手写数学公式样本库，所述第一训练样本包括第一识别数据正确的公式图像及对应的第一识别数据；所述第二训练样本包括目标公式图像和对应的第二识别数据。
[0012]本专利技术实施例的第二方面提供了一种手写数学公式样本库的构建装置，包括：
[0013]题块图像获取模块，用于获取多个含有手写数学公式的待识别图像，并将各个待识别图像切割为至少一个题块图像；
[0014]初始标注框识别模块，用于通过第一数学公式识别程序对各个题块图像中的手写
数学公式进行位置检测，确定各个手写数学公式的初始标注框；
[0015]标注框修正模块，用于获取用户对错误初始标注框的修正操作，基于修正操作修正对应的初始标注框，并根据修正后的标注框提取各个题块图像中的公式图像；
[0016]第一数据识别模块，用于通过第二数学公式识别程序对各个公式图像进行数据识别，确定各个公式图像中手写数学公式的第一识别数据；
[0017]第二数据识别模块，用于采用预设深度学习模型辅以人工识别的方式对目标公式图像进行数据识别，输出目标公式图像对应的第二识别数据；所述目标公式图像为第一识别数据错误的公式图像；
[0018]样本库构建模块，用于采用第一训练样本和第二训练样本构建手写数学公式样本库，所述第一训练样本包括第一识别数据正确的公式图像及对应的第一识别数据；所述第二训练样本包括目标公式图像和对应的第二识别数据。
[0019]本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述手写数学公式样本库的构建方法的步骤。
[0020]本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述手写数学公式样本库的构建方法的步骤。
[0021]本专利技术实施例与现有技术相比存在的有益效果是：本实施例首先将待识别图像切割为至少一个题块图像；并通过第一数学公式识别程序对各个题块图像中的手写数学公式进行位置检测，确定各个手写数学公式的初始标注框；然后采用人工修正初始标注框；根据修正后的标注框提取各个题块图像中的公式图像，接着通过第二数学公式识别程序对各个公式图像进行数据识别，确定各个公式图像中手写数学公式的第一识别数据；采用预设深度学习模型辅以人工识别的方式对目标公式图像进行数据识别，输出目标公式图像对应的第二识别数据；最后采用第一训练样本和第二训练样本构建手写数学公式样本库。本实施例通过上述步骤能够通过标注框识别、数据识别、深度学习模型识别辅以人工识别的方式，构建能够使程序精确识别的样本库，从而提高手写数学公式识别的准确性。
附图说明
[0022]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本专利技术实施例提供的手写数学公式样本库的构建方法的实现流程示意图；
[0024]图2是本专利技术实施例提供的带有标注框的题块图像的示意图；
[0025]图3是本专利技术实施例提供的数据识别显示界面的示意图；
[0026]图4是本专利技术实施例提供的手写数学公式样本库的构建装置的示意图；
[0027]图5是本专利技术实施例提供的终端设备的示意图。
具体实施方式
[0028]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。
[0029]为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。
[0030]在一个实施例中，如图1所示，图1示出了本实施例提供的一种手写数学公式样本库的构建方法的实现流程，本实施例的执行主体为终端设备，其过程详述如下：
[0031]S101：获取多个含有手写数学公式的待识别图像，并将各个待识别图像切割为至少一个题块图像。
[0032]为了创建手写数学公式样本库，本实施例需要首先收集大量的含有数学公式的文件，示例性地，可以通过扫描数学考试的试卷得到pdf文件，终端设备获取数学试卷的pdf文件。其中数学试卷数据可以涉及小学、中学、大学及以上学段的的三角函数，导数，概率，几何等多个数学知识，对此不予限制。
[0033]在获取到数学试卷的pdf文件后，将pdf文件转化为png格式文件。
[0034]具体地，将上述采集到的数据图像调用fitz库中的getPixmap本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手写数学公式样本库的构建方法，其特征在于，包括：获取多个含有手写数学公式的待识别图像，并将各个待识别图像切割为至少一个题块图像；通过第一数学公式识别程序对各个题块图像中的手写数学公式进行位置检测，确定各个手写数学公式的初始标注框；获取用户对错误初始标注框的修正操作，基于修正操作修正对应的初始标注框，并根据修正后的标注框提取各个题块图像中的公式图像；通过第二数学公式识别程序对各个公式图像进行数据识别，确定各个公式图像中手写数学公式的第一识别数据；采用预设深度学习模型辅以人工识别的方式对目标公式图像进行数据识别，输出目标公式图像对应的第二识别数据；所述目标公式图像为第一识别数据错误的公式图像；采用第一训练样本和第二训练样本构建手写数学公式样本库，所述第一训练样本包括第一识别数据正确的公式图像及对应的第一识别数据；所述第二训练样本包括目标公式图像和对应的第二识别数据。2.如权利要求1所述的手写数学公式样本库的构建方法，其特征在于，所述将各个待识别图像切割为至少一个题块图像，包括：对各个待识别图像分别进行灰度化处理，得到对应的灰度图像；基于最大类间方差法对各个灰度图像进行二值化处理，得到对应的二值化图像；基于投影法分别将各个二值化图像切割为至少一个题块图像。3.如权利要求2所述的手写数学公式样本库的构建方法，其特征在于，所述基于投影法分别将各个二值化图像切割为至少一个题块图像，包括：基于改进水平方向投影公式计算各个二值化图像的水平向数值，并根据水平向数值对各个二值化图像进行水平方向投影切分，基于改进垂直方向投影公式计算各个二值化图像的垂直向数值，并根据垂直向数值对各个二值化图像进行垂直方向投影切分，得到题块图像；其中，所述改进水平方向投影公式为：所述改进垂直方向投影公式为：
其中，H(i)表示水平向数值，V(j)表示垂直向数值，IMGθ(i,j)表示经过水平向旋转角度θ旋转后的二值化图像中第i行、第j列的像素值；表示经过垂直向旋转角度旋转后的二值化图像第i行、第j列的像素值。4.如权利要求1所述的手写数学公式样本库的构建方法，其特征在于，所述修正操作包括水平切割标注框、垂直切割标注框、添加标注框、删除标注框、合并标注框和修改标注框；所述基于修正操作修正对应的初始标注框，并根据修正后的标注框提取各个题块图像中的公式图像，包括：基于修正操作生成人工标注框；基于交并比算法、各个题块图像对应的人工标注框和初始标注框，确定各个题块图像修正后的标注框；将各个题块图像按照修正后的标注框切割为多个标注框图像；并将含有手写数学公式的标注框图像作为公式图像。5.如权利要求4所述的手写数学公式样本库的构建方法，其特征在于，所述基于交并比算法、各个题块图像对应的人工...

【专利技术属性】
技术研发人员：郭蔚，魏亚恒，李冰欣，任庆云，周丙寅，田亮，韩娟娟，
申请(专利权)人：河北师范大学，
类型：发明
国别省市：