人工智能理科图文题解题方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种人工智能理科图文题解题方法、装置、设备及存储介质，通过对理科图文题进行识别，获得电子文本和向量化图像，对电子文本进行向量转化，获得电子文本的向量序列，根据理科图文题的类别信息选取文本模型池及关系子图模型池，根据文本模型池对向量序列进行向量计算匹配，获得直陈关系和/或隐含关系，根据关系子图模型池对向量化图像进行关系子图匹配，获得关系子图，从关系子图中获得图形关系，根据图形关系、直陈关系和/或隐含关系组成关系组，从关系组中选取子集作为题目理解结果，对题目理解结果进行求解，获得求解过程。本发明专利技术基于关系演变、模型池、图形关系子图、直陈关系和隐含关系提高解答理科图文题的范围及效率。

【技术实现步骤摘要】
人工智能理科图文题解题方法、装置、设备及存储介质
本专利技术涉及人工智能
，尤其涉及一种人工智能理科图文题解题方法、装置、设备及存储介质。
技术介绍
基础教育中理科包括数学、物理、化学三个科目，图文题是指这些科目里用各种自然语言描述和包含图形表示的题目。理科科目的代数型题目是涉及代数关系计算的题目，包括物理代数题、化学代数题、算术题、数学中代数题、平面几何计算题和平面几何证明题等。理科图文题是指这些题目中既涉及代数关系计算又涉及图形关系计算的题目，包含代数型图文题和平面几何证明图文题等。在机器解答基础教育中理科题目方面，机器解答基础教育中数学题多次成为活跃研究问题，在相关领域的技术进步和智能化教育需求的合力推动之下以机器解答基础教育中理科题的形式近年来再次成为了研究热点，一些面向智能化教育服务的几何专家系统、解答系统、在线解答辅导系统等陆续投入实际应用中。目前针对基础教育中理科图文题目的机器解答主要有以下五类技术：1.机器解答算术图文题的双框架方法双框架方法预先建立解题框架和知识框架，在解题时先识别题目的类型，进而根据类型选择对应的解题框架，抽取题目中的知识并放到知识框中。由知识框和解题框一起推断各个框架的关系并计算未知量而形成解答过程。Kinsch等人(1995)提出了自动求解算术图文题的解题理论和双框架解题法，但只能解答一步的算术图文题。马玉慧等人(2012)扩展了Kinsch等人的知识框表示，实现了多步小学数学应用题的机器求解。华盛顿大学的Hosseini等人(2014)采用动词分类及解题过程框来解决算术应用题，是Kinsch解题理论的另一种实现方式。该类方法由于没有公认的问题分类方法和系统，对于较为复杂的问题，难以采用题目类型来匹配适合的知识框和解题框。2.基于形式语言的基础教育中几何图文题目的机器理解基于形式语言的基础教育中几何图文题目的机器理解就是将所要理解的几何题目用形式化的语言来表示，并进一步将形式化语言转换成几何关系来表示几何图文题理解的结果。郭海燕等人(2012)提出了基于模板匹配的方法进行几何图文题目的理解，通过设计好的几何句子模板来匹配几何语句将题目转化为形式化的受限几何命题。该方法的目标是将这种受限几何命题作为中间语言进而生成作图命令序列从而自动构建几何图形，没有给出机器理解几何图文题目的具体形式，也难以扩展到其他类别的题目解答中。3.基于形式语言的算术图文题机器解答基于形式语言的算术图文题机器解答就是将所要解答的题目用比自然语言简单的形式语言来表示，并建立将自然语言转换成形式语言的方法来进一步推理解答题目。Shi等人(2015)开发了Dolphin系统来自动完成算术图文题的语义分析与推理，创立具有结构化语义的DOL语言用以表示题目文本，利用语义分析器实现将数学问题文本变换为DOL树，进而通过对DOL树的分析，推导出其中所包含的数量关系，从而完成题目理解。Liang等人(2016)提出了基于语义和标签的解答简单算术图文题的方法，将图文题目转化成固定的语义结构从而理解题目，通过推理模块选择题目问题中相关的部分进行推理，最终给出类人的解题表达。这种方法针对具体类别设计具体的形式语言表示，也就是没有统一的形式语言表示，难以扩展到其他类别的题目解答中。4.基于机器学习的算术图文题理解Kushman等人(2014)提出使用基于机器学习的算术图文题理解方法。该方法首先建立一个线性方程组模板库，采用统计模型来获取问题中的变量和参数与方程模板参数之间的对应关系，从而实例化得到解题所需要的线性方程组。这个方法目前的方程组模板只能由线性方程构成，模板的数量也有限，所以这个方法能理解的题目还很有限。另外，此方法没有经过题目语言分析，因此对题目中的不相关信息较为敏感，面对较复杂的题目时性能严重下降。5.序列到序列的算术图文题解答Wang等人(2017)首先提出了序列到序列(Seq2Seq)的方法解答算术图文题。这种方法设计了一个深度神经网络将输入序列转换为输出序列，其中输入序列为题目文本，而输出序列则是由数字和操作数组成的答案表达式。答案表达式中出现的数字是出现在题目文本或其变体中的数字，以及从题目文本转换而来的一些数字。这种方法的主要缺点是它无法生成可读的解答过程，因为它的整个过程都在深层神经网络的黑盒内。另外，该方法解答题目的能力和范围非常有限，仅能解答数学文字题中单一未知量的题目。综上所述，目前机器解答图文题的方法主要还都是集中在图文中的代数关系计算部分，对于图形关系的计算还没有很深入的研究，因此，机器解答理科图文题在解答方法、题目理解的深度以及大规模推广应用等方面还亟需进一步提高。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种人工智能理科图文题解题方法、装置、设备及存储介质，旨在解决现有技术中理科图文题解答范围有限且解答效率低的技术问题。为实现上述目的，本专利技术提供一种人工智能理科图文题解题方法，所述人工智能理科图文题解题方法包括以下步骤：获取理科图文题，对所述理科图文题进行识别提取，获得所述理科图文题对应的电子文本和向量化图像；通过已训练的分类器对所述电子文本和所述向量化图像进行分类，获得所述理科图文题的类别信息；通过分词工具对所述电子文本进行分词和词性标注，根据关键词表对题目内容的关键词进行标注，根据词性和词语到向量的对应表，将词性和词语转化为向量，获得所述理科图文题电子文本的向量序列；根据所述类别信息选取对应的文本模型池和关系子图模型池；根据所述文本模型池对所述向量序列进行向量计算匹配，获得所述理科图文题中的直陈关系和/或隐含关系；根据所述关系子图模型池对所述向量化图像进行关系子图匹配，获得关系子图，并从所述关系子图中获得所述理科图文题中的图形关系；根据所述图形关系、所述理科图文题中的直陈关系和/或隐含关系组成关系组，按照所述类别信息对应的挑选规则从所述关系组中选取一个子集作为题目理解结果；对所述题目理解结果进行求解，获得所述理科图文题对应的求解过程。优选地，所述文本模型池包括句法语义模型池和隐含关系模型池；所述获取理科图文题之前，还包括：获取理科科目里各教学分领域中的所有图文题目，作为图文题目集合；根据所述图文题目集合中的文本集为各教学分领域构建向量化的句法语义模型池和向量化的隐含关系模型池；根据所述图文题目集合中的图形集，构建关系子图模型池。优选地，根据所述关系子图模型池对所述向量化图像进行关系子图匹配，获得关系子图，并从所述关系子图中获得所述理科图文题中的图形关系，包括：根据所述关系子图模型池中的各模型子图生成对应的挖掘过程；根据各模型子图的挖掘过程对所述向量化图像进行关系子图匹配，获得所述向量化图像对应的关系子图；从所述关系子图中挖掘图形关系，获得所述理科图文题中的图形关系。优选地，所述根据所本文档来自技高网...

【技术保护点】
1.一种人工智能理科图文题解题方法，其特征在于，所述人工智能理科图文题解题方法包括以下步骤：/n获取理科图文题，对所述理科图文题进行识别提取，获得所述理科图文题对应的电子文本和向量化图像；/n通过已训练的分类器对所述电子文本和所述向量化图像进行分类，获得所述理科图文题的类别信息；/n通过分词工具对所述电子文本进行分词和词性标注，根据关键词表对题目内容的关键词进行标注，根据词性和词语到向量的对应表，将词性和词语转化为向量，获得所述电子文本的向量序列；/n根据所述类别信息选取对应的文本模型池和关系子图模型池；/n根据所述文本模型池对所述向量序列进行向量计算匹配，获得所述理科图文题中的直陈关系和/或隐含关系；/n根据所述关系子图模型池对所述向量化图像进行关系子图匹配，获得关系子图，并从所述关系子图中获得所述理科图文题中的图形关系；/n根据所述图形关系、所述理科图文题中的直陈关系和/或隐含关系组成关系组，按照所述类别信息对应的挑选规则从所述关系组中选取一个子集作为题目理解结果；/n对所述题目理解结果进行求解，获得所述理科图文题对应的求解过程。/n

【技术特征摘要】
1.一种人工智能理科图文题解题方法，其特征在于，所述人工智能理科图文题解题方法包括以下步骤：
获取理科图文题，对所述理科图文题进行识别提取，获得所述理科图文题对应的电子文本和向量化图像；
通过已训练的分类器对所述电子文本和所述向量化图像进行分类，获得所述理科图文题的类别信息；
通过分词工具对所述电子文本进行分词和词性标注，根据关键词表对题目内容的关键词进行标注，根据词性和词语到向量的对应表，将词性和词语转化为向量，获得所述电子文本的向量序列；
根据所述类别信息选取对应的文本模型池和关系子图模型池；
根据所述文本模型池对所述向量序列进行向量计算匹配，获得所述理科图文题中的直陈关系和/或隐含关系；
根据所述关系子图模型池对所述向量化图像进行关系子图匹配，获得关系子图，并从所述关系子图中获得所述理科图文题中的图形关系；
根据所述图形关系、所述理科图文题中的直陈关系和/或隐含关系组成关系组，按照所述类别信息对应的挑选规则从所述关系组中选取一个子集作为题目理解结果；
对所述题目理解结果进行求解，获得所述理科图文题对应的求解过程。


2.如权利要求1所述的人工智能理科图文题解题方法，其特征在于，所述文本模型池包括句法语义模型池和隐含关系模型池；
所述获取理科图文题之前，还包括：
获取理科科目里各教学分领域中的所有图文题目，作为图文题目集合；
根据所述图文题目集合中的文本集为各教学分领域构建向量化的句法语义模型池和向量化的隐含关系模型池；
根据所述图文题目集合中的图形集，构建关系子图模型池。


3.如权利要求2所述的人工智能理科图文题解题方法，其特征在于，所述根据所述关系子图模型池对所述向量化图像进行关系子图匹配，获得关系子图，并从所述关系子图中获得所述理科图文题中的图形关系，包括：
根据所述关系子图模型池中的各模型子图生成对应的挖掘过程；
根据各模型子图的挖掘过程对所述向量化图像进行关系子图匹配，获得所述向量化图像对应的关系子图；
从所述关系子图中挖掘图形关系，获得所述理科图文题中的图形关系。


4.如权利要求2所述的人工智能理科图文题解题方法，其特征在于，所述根据所述文本模型池对所述向量序列进行向量计算匹配，获得所述理科图文题中的直陈关系和/或隐含关系，包括：
根据所述句法语义模型池，通过基于嵌入句法语义模型的推理图对所述向量序列计算匹配网络，获得所述理科图文题中的直陈关系；
和/或，
根据所述隐含关系模型池，通过基于嵌入隐含关系模型的推理图对所述向量序列计算匹配网络，获得所述理科图文题中的隐含关系。


5.如权利要求4所述的人工智能理科图文题解题方法，其特征在于，所述根据所述句法语义模型池，通过基于嵌入句法语义模型的推理图对所述向量序列计算匹配网络，获得所述理科图文题中的直陈关系，包括：
将所述向量序列与所述句法语义模型池中向量化的句法语义模型中的每一个词语作为起点，按照所述句法语义模型的匹配规则进行匹配，获得第一匹配置信度和第一关系；
若匹配成功，则记录所述句法语义模型中的实体对应于所述理科图文题中的实体位置，并将所述第一匹配置信度和所述第一关系记录在所述句法语义模型的推理图的下一层节点中，若下一层节点没有空余的节点则淘汰所述第一匹配置信度中最小值对应的匹配；
循环匹配步骤，直到所有的匹配起点和所述句法语义模型池中的所有句法语义模型进行了匹配为止，获得所述理科图文题中的直陈关系；
其中，所述句法语义模型为一个四元组M＝(K,P,V,R)，K代表关键字元素，P是POS词性和是标点符号的变化模式，V是计算匹配过程，R为相关实体之间的关系；所述句法语义模型池为Σ＝{...

【专利技术属性】
技术研发人员：余新国，彭饶，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北;42