公式识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种公式识别方法、装置、设备及存储介质，涉及数据处理技术领域。本发明专利技术通过获取公式图像，采用预设分割网络对公式图像进行分割，获取公式图像中所包含的至少一个字符区域，对至少一个字符区域进行识别，获取各字符区域中的字符，并根据各字符区域中的字符，生成公式图像对应的latex格式的公式文本，可以识别得到公式图像中所包含的公式。其中，预设分割网络可以通过采用样本公式图像、以及样本公式图像对应的蒙版所构成的样本公式图像集合对Unet网络进行训练所获取，采用该预设分割网络可以对公式图像中的字符区域进行更准确地分割，有效降低字符之间粘连对分割效果所造成的不确定影响，进而提高公式识别的准确性。

Formula identification method, device, equipment and storage medium

【技术实现步骤摘要】
公式识别方法、装置、设备及存储介质
本专利技术涉及数据处理
，具体而言，涉及一种公式识别方法、装置、设备及存储介质。
技术介绍
公式识别一般是指对包含有公式的图像进行识别，将图像中包含的公式转换为计算机可识别的表达式的过程，如，可以对数学公式图像进行识别，将数学公式图像中包含的数学公式转化为拉泰赫(latex)格式的数学表达式，以便于计算机可以基于公式进行计算，或者将公式进行存储等。例如，对于一些需要录入数据库进行存储、且包含有公式的文本内容、题目等，则可以通过扫描获取文本内容、题目等的图像，然后基于公式识别算法对图像进行识别，获取其中包含的公式进行存储。现有技术中，公式识别的方法一般为：通过连通域的方式对公式图像进行字符分割，每个字符是一个连通域，不同字符之间是不同的连通域；然后，可以基于字符分割结果对字符进行识别，从而识别出整个公式。但是，采用上述现有的公式识别方法，对一些存在粘连字符的公式图像进行识别时，识别准确性不高。例如，对于一些手写表达式的公式图像而言，公式中往往会存在粘连字符，而上述现有的公式识别方法对此类手写表达式并不能进行很好地识别。
技术实现思路
本专利技术提供一种公式识别方法、装置、设备及存储介质，可以对公式图像中包含的公式进行更准确地识别。第一方面，本专利技术实施例提供一种公式识别方法，该方法包括：获取公式图像；采用预设分割网络对公式图像进行分割，获取公式图像中所包含的至少一个字符区域；其中，预设分割网络通过采用样本公式图像集合对Unet网络进行训练所获取，样本公式图像集合包括：样本公式图像、以及样本公式图像对应的蒙版；对至少一个字符区域进行识别，获取各字符区域中的字符；根据各字符区域中的字符，生成公式图像对应的拉泰赫latex格式的公式文本。可选地，所述获取公式图像，包括：获取包含有公式的图像信息；采用预设的高校场景文本检测网络对图像信息中的公式区域进行定位，得到公式图像。可选地，所述采用预设分割网络对公式图像进行分割，获取公式图像中所包含的至少一个字符区域之前，该方法还包括：获取随机生成的样本公式图像、以及样本公式图像对应的蒙版，得到样本公式图像集合；根据样本公式图像集合对Unet网络进行训练，得到预设分割网络。可选地，所述对至少一个字符区域进行识别，获取各字符区域中的字符之前，该方法还包括：获取样本字符图像集合，样本字符图像集合包括：样本字符图像、以及样本字符图像对应的字符标签，字符标签用于指示对应的样本字符图像中的字符；根据样本字符图像集合，对卷积神经网络进行训练，得到预设识别网络。所述对至少一个字符区域进行识别，获取各字符区域中的字符，包括：对于任一个字符区域：采用预设识别网络对字符区域进行识别，获取字符区域中的字符。可选地，所述采用预设分割网络对公式图像进行分割，包括：创建一张和图像信息大小相同的白色图像；根据高校场景文本检测网络输出的像素点坐标标记白色图像，得到标记后的白色图像；采用预设分割网络，并根据后的白色图像，对公式图像进行分割。可选地，所述根据各字符区域中的字符，生成公式图像对应的拉泰赫latex格式的公式文本，包括：根据各字符区域中的字符，构建公式语法树；根据公式语法树生成公式图像对应的拉泰赫latex格式的公式文本。第二方面，本专利技术实施例提供一种公式识别装置，该装置包括：获取模块，用于获取公式图像；分割模块，用于采用预设分割网络对公式图像进行分割，获取公式图像中所包含的至少一个字符区域；其中，预设分割网络通过采用样本公式图像集合对Unet网络进行训练所获取，样本公式图像集合包括：样本公式图像、以及样本公式图像对应的蒙版；识别模块，用于对至少一个字符区域进行识别，获取各字符区域中的字符；生成模块，用于根据各字符区域中的字符，生成公式图像对应的拉泰赫latex格式的公式文本。可选地，所述获取模块，包括：获取子模块，用于获取包含有公式的图像信息；定位子模块，用于采用预设的高校场景文本检测网络对图像信息中的公式区域进行定位，得到公式图像。可选地，所述装置还包括：第一训练模块，用于在分割模块采用预设分割网络对公式图像进行分割，获取公式图像中所包含的至少一个字符区域之前，获取随机生成的样本公式图像、以及样本公式图像对应的蒙版，得到样本公式图像集合，根据样本公式图像集合对Unet网络进行训练，得到预设分割网络。可选地，所述装置还包括：第二训练模块，用于在识别模块对至少一个字符区域进行识别，获取各字符区域中的字符之前，获取样本字符图像集合，样本字符图像集合包括：样本字符图像、以及样本字符图像对应的字符标签，字符标签用于指示对应的样本字符图像中的字符，根据样本字符图像集合，对卷积神经网络进行训练，得到预设识别网络；所述识别模块，具体用于对于任一个字符区域：采用预设识别网络对字符区域进行识别，获取字符区域中的字符。可选地，所述分割模块，包括：创建子模块，用于创建一张和图像信息大小相同的白色图像；标记子模块，用于根据高校场景文本检测网络输出的像素点坐标标记白色图像，得到标记后的白色图像；分割子模块，用于采用预设分割网络，并根据标记后的白色图像，对公式图像进行分割。可选地，所述生成模块，包括：构建子模块，用于根据各字符区域中的字符，构建公式语法树；生成子模块，用于根据公式语法树生成公式图像对应的拉泰赫latex格式的公式文本。第三方面，本专利技术实施例提供一种公式识别设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当公式识别设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如第一方面所述的公式识别方法。第四方面，本专利技术实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行如第一方面所述的公式识别方法。本专利技术的有益效果是：本专利技术实施例通过获取公式图像，采用预设分割网络对公式图像进行分割，获取公式图像中所包含的至少一个字符区域，对至少一个字符区域进行识别，获取各字符区域中的字符，并根据各字符区域中的字符，生成公式图像对应的latex格式的公式文本，可以识别得到公式图像中所包含的公式。其中，预设分割网络可以通过采用样本公式图像、以及样本公式图像对应的蒙版所构成的样本公式图像集合对Unet网络进行训练所获取，采用该预设分割网络可以对公式图像中的字符区域进行更准确地分割，有效降低字符之间粘连对分割效果所造成的不确定影响，进而提高公式识别的准确性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本专利技术实施例提供的公式识别方法的流程示意图；图2示出了本专利技术实施例提供的公式本文档来自技高网...

【技术保护点】
1.一种公式识别方法，其特征在于，所述方法包括：/n获取公式图像；/n采用预设分割网络对所述公式图像进行分割，获取所述公式图像中所包含的至少一个字符区域；其中，所述预设分割网络通过采用样本公式图像集合对Unet网络进行训练所获取，所述样本公式图像集合包括：样本公式图像、以及所述样本公式图像对应的蒙版；/n对所述至少一个字符区域进行识别，获取各所述字符区域中的字符；/n根据各所述字符区域中的字符，生成所述公式图像对应的拉泰赫latex格式的公式文本。/n

【技术特征摘要】
1.一种公式识别方法，其特征在于，所述方法包括：
获取公式图像；
采用预设分割网络对所述公式图像进行分割，获取所述公式图像中所包含的至少一个字符区域；其中，所述预设分割网络通过采用样本公式图像集合对Unet网络进行训练所获取，所述样本公式图像集合包括：样本公式图像、以及所述样本公式图像对应的蒙版；
对所述至少一个字符区域进行识别，获取各所述字符区域中的字符；
根据各所述字符区域中的字符，生成所述公式图像对应的拉泰赫latex格式的公式文本。


2.根据权利要求1所述的方法，其特征在于，所述获取公式图像，包括：
获取包含有公式的图像信息；
采用预设的高校场景文本检测网络对所述图像信息中的公式区域进行定位，得到所述公式图像。


3.根据权利要求1所述的方法，其特征在于，所述采用预设分割网络对所述公式图像进行分割，获取所述公式图像中所包含的至少一个字符区域之前，所述方法还包括：
获取随机生成的样本公式图像、以及所述样本公式图像对应的蒙版，得到所述样本公式图像集合；
根据所述样本公式图像集合对Unet网络进行训练，得到所述预设分割网络。


4.根据权利要求1所述的方法，其特征在于，所述对所述至少一个字符区域进行识别，获取各所述字符区域中的字符之前，所述方法还包括：
获取样本字符图像集合，所述样本字符图像集合包括：样本字符图像、以及所述样本字符图像对应的字符标签，所述字符标签用于指示对应的所述样本字符图像中的字符；
根据所述样本字符图像集合，对卷积神经网络进行训练，得到预设识别网络；
所述对所述至少一个字符区域进行识别，获取各所述字符区域中的字符，包括：
对于任一个所述字符区域：
采用所述预设识别网络对所述字符区域进行识别，获取所述字符区域中的字符。


5.根据权利要求2所述的方法，其特征在于，所述采用预设分割网络对所述公式图像进行分割，包括：
...

【专利技术属性】
技术研发人员：易显维，
申请(专利权)人：中国建设银行股份有限公司，建信金融科技有限责任公司，
类型：发明
国别省市：北京;11