图像识别方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种图像识别方法、装置、设备及存储介质。所述方法包括：基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果，其中，所述数学公式图像中至少包括一组数学公式；对所述latex结果反向转换得到所述数学公式图像的识别结果。本申请实施例提供的技术方案，通过将数据公式识别为latex结果，并将latex结果转化为数学公式，进而得到数学公式识别结果。

Image Recognition Method, Device, Equipment and Storage Media

【技术实现步骤摘要】
图像识别方法、装置、设备及存储介质
本申请实施例涉及自然语言处理领域，尤其涉及一种图像识别方法、装置、设备及存储介质。
技术介绍
随着互联网的不断普及和互联网技术的迅速发展，传统的教育模式也在逐渐发生改变，信息、在线化、智能化等辅助教学手段正在向传统教育领域渗透，并逐步获得广大教师、家长和学生的认可。在以考试为主要评价方式的教育模式下，试题是学生巩固所学知识和教育者评价学生水平的基础数据资源，因此，试题资源的构建显得尤为重要。试题资源构建时，需要对大量包含公式的数据进行解析，判断试题的难度、给出试题的答案等，因此如何准确地将公式字符从数据中识别出来具有重大意义。现有方法在进行文本解析时，一般不单独对数学公式进行识别，而是直接将公式字符作为普通字符进行处理，如文本“若f(x)＝x+1”中既包含非公式字符“若”，又包含公式字符“f(x)＝x+1”，进行文本解析时，直接将公式字符看作普通字符进行分词处理或者按照固定的规则将文本字符与公式字符拆分开，然而现有方法中很难得到正确的文本解析结果。现有的方法将公式字符作为普通字符进行分词处理，显然不合理，由于歧义字符的存在，造成大量错误的分词结果，影响后续操作。
技术实现思路
本申请实施例提供一种图像识别方法、装置、设备及存储介质，以辅助用户背诵需要记忆的内容。在第一方面，本申请实施例提供了一种图像识别方法，所述方法包括：基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果，其中，所述数学公式图像中至少包括一组数学公式；对所述latex结果反向转换得到所述数学公式图像的识别结果。在一种可能的实现方式中，在基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果之前，所述方法还包括：从待处理图像中截取得到数学公式图像。在一种可能的实现方式中，所述方法还包括：预训练所述图像识别模型。在一种可能的实现方式中，所述预训练所述图像识别模型包括：将所述初始样本图像输入至所述图像识别模型，得到对应于数学公式的latex结果，其中，所述初始样本图像中至少包括一组数学公式；对所述latex结果反向转换得到所述数学公式图像的识别结果；根据所述识别结果生成识别结果图像；根据所述识别结果图像和所述初始样本图像得到识别结果准确度；在所述识别结果准确度符合预设条件的情况下，将所述初始样本图像加入训练集；基于包括多个初始样本图像的训练集训练所述图像识别模型。在第二方面，本申请实施例提供了一种图像识别装置，所述装置包括：识别模块，用于基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果，其中，所述数学公式图像中至少包括一组数学公式；转换模块，用于对所述latex结果反向转换得到所述数学公式图像的识别结果。在一种可能的实现方式中，所述装置还包括：截取模块，用于从待处理图像中截取得到数学公式图像。在一种可能的实现方式中，所述装置还包括：预训练模块，用于预训练所述图像识别模型。在一种可能的实现方式中，所述预训练模块包括：图像输入单元，用于将所述初始样本图像输入至所述图像识别模型，得到对应于数学公式的latex结果，其中，所述初始样本图像中至少包括一组数学公式；转换单元，用于对所述latex结果反向转换得到所述数学公式图像的识别结果；生成单元，用于根据所述识别结果生成识别结果图像；识别结果准确度确定单元，用于根据所述识别结果图像和所述初始样本图像得到识别结果准确度；训练集确定单元，用于在所述识别结果准确度符合预设条件的情况下，将所述初始样本图像加入训练集；训练单元，用于基于包括多个初始样本图像的训练集训练所述图像识别模型。在第三方面，本申请实施例提供了一种设备，包括：存储器以及一个或多个处理器；所述存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的图像识别方法。在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述的图像识别方法。本申请实施例通过本申请实施例提供的技术方案，通过将数据公式识别为latex结果，并将latex结果转化为数学公式，进而得到数学公式识别结果。附图说明图1是本申请实施例提供的一种图像识别方法的流程图；图2是本申请实施例提供的一种图像识别装置的结构示意图；图3是本申请实施例提供的一种设备的结构示意图。具体实施方式为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。图1给出了本申请实施例提供的一种图像识别方法的流程图，本实施例提供的图像识别方法可以由图像识别装置来执行，该图像识别装置可通过硬件和/或软件的方式实现中。参考图1，该图像识别方法具体包括：步骤110、基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果，其中，所述数学公式图像中至少包括一组数学公式。其中，图像识别模型可以是用于识别数学公式的特征，并进行相关的卷积运算，得到数学公式图像中数学公式对应的latex结果，其中，所述latex结果可以是数学公式的一种表现形式。在一种可能的实现方式中，所述数学公式图像包括一组数学公式，例如数学公式图像中的数学公式可以是对应的识别得到的latex结果可以是\frac{l}{2}。在一种可能的实现方式中，所述数学公式可以包括多个元素，本实现方式既可以对数学公式中的多个元素进行整体识别，得到识别结果，也可以对数学公式中的各个元素分别进行识别，以得到各个元素的子结果，并对各个子结果进行整合，得到所述识别结果。步骤120、对所述latex结果反向转换得到所述数学公式图像的识别结果。其中，反向转换可以是根据latex的语法规则将latex结果反向转换为数学公式。在一种可能的实现方式中，所述数学公式图像的latex结果可以是\frac{l}{2}，对应的识别结果即为1/2。本实施例中，通过将数据公式识别为latex结果，并将latex结果转化为数学公式，进而得到数学公式识别结果。在一种可能的实现方式中，在基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果之前，所述方法还包括：从待处理图像中截取得到数学公式图像。其中，所述待处理图像可以是包括多个数学公式图像的图像，本实现方式中，所述待处理图像可以是一篇图像格式的数学论文，其中包括了大量的数学公式。便于描述，本实现方式可以将待处理图像中各个数学公式所处的区域定义为特征区域。本实现方式中可以将每一个特征区域的图像部分进行截取，进而本文档来自技高网...

【技术保护点】
1.一种图像识别方法，其特征在于，所述方法包括：基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果，其中，所述数学公式图像中至少包括一组数学公式；对所述latex结果反向转换得到所述数学公式图像的识别结果。

【技术特征摘要】
1.一种图像识别方法，其特征在于，所述方法包括：基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果，其中，所述数学公式图像中至少包括一组数学公式；对所述latex结果反向转换得到所述数学公式图像的识别结果。2.根据权利要求1所述的方法，其特征在于，在基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果之前，还包括：从待处理图像中截取得到数学公式图像。3.根据权利要求1或2中任意一项所述的方法，其特征在于，所述方法还包括：预训练所述图像识别模型。4.根据权利要求3所述的方法，其特征在于，所述预训练所述图像识别模型包括：将所述初始样本图像输入至所述图像识别模型，得到对应于数学公式的latex结果，其中，所述初始样本图像中至少包括一组数学公式；对所述latex结果反向转换得到所述数学公式图像的识别结果；根据所述识别结果生成识别结果图像；根据所述识别结果图像和所述初始样本图像得到识别结果准确度；在所述识别结果准确度符合预设条件的情况下，将所述初始样本图像加入训练集；基于包括多个初始样本图像的训练集训练所述图像识别模型。5.一种图像识别装置，其特征在于，所述装置还包括：识别模块，用于基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果，其中，所述数学公式图像中至少包括一组数学公式；转换模块，用于对所述la...

【专利技术属性】
技术研发人员：魏誉荧，
申请(专利权)人：广东小天才科技有限公司，
类型：发明
国别省市：广东,44