数学公式识别方法、装置、电子设备和可读存储介质制造方法及图纸

本公开是关于一种数学公式识别方法、装置、电子设备和可读存储介质。该方法包括：获取包含数学公式的原始图像；将所述原始图像输入到公式识别模型，获得所述公式识别模型输出预测字符集合；所述预测字符集合包括字符数据和结构数据；根据预设公式格式和结构数据还原所述字符数据在数学公式中的位置，得到所述原始图像中的数学公式。本实施例中通过设置结构数据，可以表征字符数据的相对位置关系，可以消除复杂公式识别过程中出现丢失字符的问题，有利于提高识别准确率。利于提高识别准确率。利于提高识别准确率。

【技术实现步骤摘要】
数学公式识别方法、装置、电子设备和可读存储介质


[0001]本公开涉及数据处理
，尤其涉及一种数学公式识别方法、装置、电子设备和可读存储介质。

技术介绍

[0002]目前，手写公式识别通常采用编码和解码架构方式实现。例如，将手写公式图像输入到编码器，由该编码器提取图像特征图；然后，将上述图像特征图输入到解码器，由解码器件对手写公式进行逐字符识别，最终识别结手写公式。
[0003]现有方案中编码
‑
解码架构是基于latex标签进行逐字符预测。然而，当待识别公式中存在如分数、根式、指数、对数等相互嵌套的复杂结构时，极易导致“{”或“}“丢失，尤其是待识别公式较长时识别过程中容易造成部分字符丢失，导致识别错误，降低识别准确率。

技术实现思路

[0004]本公开提供一种数学公式识别方法、装置、电子设备和可读存储介质，以解决相关技术的不足。
[0005]根据本公开实施例的第一方面，提供一种数学公式识别方法，所述方法包括：
[0006]获取包含数学公式的原始图像；
[0007]将所述原本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数学公式识别方法，其特征在于，所述方法包括：获取包含数学公式的原始图像；将所述原始图像输入到公式识别模型，获得所述公式识别模型输出预测字符集合；所述预测字符集合包括字符数据和结构数据；根据预设公式格式和结构数据还原所述字符数据在数学公式中的位置，得到所述原始图像中的数学公式。2.根据权利要求1所述的方法，其特征在于，所述公式识别模型包括编码器和解码器；所述编码器用于获取所述原始图像对应的图像特征图；所述解码器用于根据所述图像特征图确定所述原始图像对应的预测字符集合。3.根据权利要求2所述的方法，其特征在于，所述编码器包括DenseNet网络或者Transformer网络。4.根据权利要求2所述的方法，其特征在于，所述解码器包括多尺度计数模块、循环解码模块、特征融合模块和字符预测模块；所述多尺度计数模块用于将图像特征图转换多个预设尺度的计数向量；所述循环解码模块用于根据所述图像特征图获取字符隐向量；所述特征融合模块用于对所述计数向量、所述字符隐向量和前一预测字符向量进行融合处理，得到目标向量；所述字符预测模块用于根据所述目标向量分别预测字符数据和结构数据。5.根据权利要求4所述的方法，其特征在于，所述循环解码模块还用于根据所述图像特征图获取上下文向量；所述特征融合模块还用于对所述计数向量、所述上下文向量、所述字符隐向量和前一预测字符向量进行融合处理，得到目标向量。6.根据权利要求5所述的方法，其特征在于，所述特征融合模块分别对所述计数向量、所述上下文向量、所述字符隐向量和所述前一预测字符向量进行线性转换处理，得到第一线性向量、第二线性向量、第三线性向量和第四线性向量；并且，获取所述第一线性向量、所述第二线性向量、所述第三线性向量和所述第四线性向量的和向量，得到目标向量。7.根据权利要求4所述的方法，其特征在于，所述多尺度计数模块包括至少两个子计数模块和向量平均子模块；所述至少两个子计数模块包含不同尺寸的卷积核且用于输出相同尺寸的子向量，各个子向量用于表示不同尺度下预测字符数据的次数；所述向量平均子模块用于获取至少两个子向量的平均向量，得到计数向量。8.根据权利要求7所述的方法，其特征在于，所述多尺度计数模块包括第一子计数模块和第二子计数模块；所述第一子计数模块，用于识别所述图像特征图中第一预设尺度的特征信息，得到第一子向量；所述第一子向量用于表示第一预设尺度的卷积核下识别到的字符数据的次数；所述第二子计数模块，用于识别所述图像特征图中第二预设尺度的特征信息，得到第二子向量；所述第二子向量用于表示第二预设尺度的卷积核下识别到的字符数据的次数。9.根据权利要求8所述的方法，其特征在于，所述第一子计数模块包括第一卷积单元、通道单元、转换单元和池化单元；所述第一卷积单元，用于利用第一预设尺寸的卷积核将所述图像特征图转换成第一特征图；
所述通道单元，用于对所述第一特征图不同的通道赋予对应的权重，得到注意力特征图；并将所述注意力特征图和所述第一特征图作乘法处理后，得到通道特征图；所述转换单元，用于将所述通道特征图进行尺度变换处理，得到计数特征图；所述池化单元，用于对所述计数特征图进行池化处理，得到第一子向量。10.根据权利要求8所述的方法，其特征在于，所述第二子计数模块包括第二卷积单元、通道单元、转换单元和池化单元；所述第二卷积单元，用于利用第二预设尺寸的卷积核将所述图像特征图转换第二特征图；所述通道单元，用于对所述第二特征图的不同通道赋予对应的权重，得到注意力特征图；并将所述注意力特征图和所述第二特征图作乘法处理后，得到通道特征图；所述转换单元，用于将所述通道特征图进行尺度变换处理，得到计数特征图；所述池化单元，用于对所述计数特征图进行池化处理，得到第二子向量。11.根据权利要求8所述的方法，其特征在于，所述多尺度计数模块还包括第三子计数模块，所述第三子计数模块，用于识别所述图像特征图中第三预设尺度的特征信息，得到第三子向量。12.根据权利要求11所述的方法，其特征在于，所述第三子计数模块包括第三卷积单元、通道单元、转换单元和池化单元；所述第三卷积单元，用于利用第三预设尺寸的卷积核将所述图像特征图转换成第三特征图；所述通道单元，用于对所述第三特征图不同的通道赋予对应的权重，得到注意力特征图；并将所述注意力特征图和所述第三特征图作乘法处理后，得到通道特征图；所述转换单元，用于将所述通道特征图进行尺度变换处理，得到计数特征图；所述池化单元，用于对所述计数特征图进行池化...

【专利技术属性】
技术研发人员：石瑞姣，刘宪彬，
申请(专利权)人：北京京东方技术开发有限公司，
类型：发明
国别省市：