基于双解码器融合的数学应用题自动解答方法及系统技术方案

本发明专利技术提供了基于双解码器融合的数学应用题自动解答方法及系统，基于

【技术实现步骤摘要】
基于双解码器融合的数学应用题自动解答方法及系统


[0001]本专利技术属于自然语言处理领域，尤其涉及基于双解码器融合的数学应用题自动解答方法及系统
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]近年来，基于自然语言处理
(Natural Language Processing
，
NLP)
的问题求解
、
自动证明
、
类人答题等应用已经成为研究的热点
。
数学应用题的求解是评估机器阅读理解能力级别的一个重要场景，需要机器根据简短的文本描述生成问题的解表达式，此过程包含着复杂而密集的推理
。
在初等教育中，数学应用题是
K
‑
12
教研的重要内容，如果机器能够完美理解题目并用于辅导学生，这将对人工智能在教育领域的应用产生巨大影响，同时推动教育事业的发展
。
此外，教育辅助企业
(
如小猿搜题
、
题拍拍
、
答案喵等
)
的数据库中有很多用户上传或通过爬虫获取的数学应用题，许多题目存在答案缺失或错误的问题
。
目前，企业主要通过众筹人工的方式解答或核验题目，效率低且成本高，迫切需要一种自动解答数学应用题的方法
。
[0004]自动求解数学应用题问题
(Math Word Problem
，
MWP)
一直是国内外
NLP
研究人员的兴趣所在
。
早期的研究采用统计机器学习和语义解析方法求解
MWPs
，然而这些方法需要耗费大量精力设计复杂的表达式模板和特征，且难以扩展，无法应对未见过的表达式或运算关系词，缺少普适性，无法很好地生成表达式
。
随着深度学习的发展，越来越多的深度学习方法被引入以处理
MWP
求解任务
。
基于深度学习的方法得益于其自动学习特征的能力，能够处理未遇见的新表达式，在
MWPs
求解中有更好的表现
。
现有深度学习方法按照神经网络模型结构和问题答案的求解方式，主要分为三种类别：基于序列到序列
(Sequence to Sequence
，
Seq2Seq)
的方法
、
基于树解码器的方法和基于关系提取的方法
。2017
年研究人员首次引入
Seq2Seq
用于求解
MWPs
，此后基于
Seq2Seq
的方法常使用循环神经网络
(RNN)、
长短期记忆递归神经网络
(LSTM)
或变种门控循环单元
(GRU)
等从问题描述中提取信息，以求解
MWPs。
然而，求解
MWPs
的过程中往往涉及许多额外知识，仅从简短文本中提取生成问题的表示，限制了模型的推理能力
。
之后有学者提出了基于二叉树结构，以目标驱动方式生成前缀表达式的树解码器
。
二叉树中节点填充运算符，叶子填充数字使生成的表达式必定可计算，提升了模型求解
MWPs
的性能，然而编码器的信息提取和文本表示能力仍是瓶颈
。
随着
BERT、RoBERTa
等大规模预训练语言模型
(Pre
‑
trained language models
，
PLM)
的提出和应用，得益于
PLMs
内隐的语言知识，其在
MWP
求解中表现相比
LSTM、GRU
等有显著提升，但与一些基于
LSTM
或
GRU
改进的方法相比，
PLMs
缺少如对
MWPs
中数字实体级结构等信息的提取
。
数字实体由数字和与数字相关表示单位
、
增加或减少等关系的重要属性词构成，对模型提取数字间的逻辑关系有重要作用
。
近期，有学者把
MWP
求解视为一种复杂关系的提取过程，受人类通过演绎推理求解问题的启发，提出了更符合人类认知的迭代关系提取方法，由局部关系到
全局逐步生成解表达式，但如何处理推理过程产生的新变量和判定推理结束的位置是难点
。
[0005]目前，在数学应用题自动解答领域中的研究主要是基于
Seq2Seq
或树解码器，生成对应结构表达式，并计算得到最终答案
。
该领域的研究主要存在以下三点问题：
[0006](1)
应用题文本中存在很多与数字相关的词，它们常为描述数字的单位或表示与数字相关的逻辑关系，与数字构成的数字实体结构是提取数字间逻辑关系的重要属性
。
然而，现有基于
PLMs
的编码器缺少对数字实体级结构信息的提取
。
[0007](2)
现有的基于
PLMs
的方法中，提出了针对
BERT、RoBERTa
等编码器结构
PLMs
的逻辑推理和数值特性增强任务，以获得隐含理解数值性质等额外知识的编码器
。
但当前却缺少包含内隐数学知识的
Seq2Seq
解码器或相关的针对性增强任务，以增强其生成表达式的表现
。
[0008](3)
当前，基于
Seq2Seq
或树解码器的单一结构模型，遵循自顶向下或自顶向上的表达式生成方法
。
然而，不同形式表达式所隐含的数字间关系和结构信息不同，仅遵循单一方向生成表达式，限制了编码器对文本中数字间多样性关系和结构信息的提取，进而影响了编码器的问题表示能力
。

技术实现思路

[0009]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供了基于双解码器融合的数学应用题自动解答方法及系统，基于数字实体信息
、
编码器
‑
解码器权重共享和多结构表达式生成策略，增强编码器对数字间多重内隐关系的提取，提高了数学应用题解答的准确度
。
[0010]为了实现上述目的，本专利技术采用如下技术方案：
[0011]本专利技术的第一个方面提供基于双解码器融合的数学应用题自动解答方法，包括以下步骤：
[0012]对待求解的问题文本进行预处理，并根据标点划分为多段短文本；
[0013]利用语法依存分析，提取预处理后问题文本中的数字及与数字相关的属性词；
[0014]引入数字实体嵌入，重构基于数学语料增强的预训练语言模型作为编码器，得到输入数据的问题表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于双解码器融合的数学应用题自动解答方法，其特征在于，包括：对待求解的问题文本进行预处理，并根据标点划分为多段短文本；利用语法依存分析，提取预处理后问题文本中的数字及与数字相关的属性词；引入数字实体嵌入，重构基于数学语料增强的预训练语言模型作为编码器，得到输入数据的问题表示和编码器最终隐藏层状态；基于编码器结构和参数，构建参数权重共享的序列到序列解码器，输入编码器最终隐藏层状态，推理生成中缀
、
后缀形式解表达式；基于序列到序列解码器结构和树解码器结构，构建二者融合的多形式表达式生成模型，结合预处理后的问题文本
、
数字和其相关属性词，学习生成多形式表达式并计算得到问题答案
。2.
如权利要求1所述的基于双解码器融合的数学应用题自动解答方法，其特征在于，所述预处理包括文本分词
、
数据纠错
、
数字替换
、
表达式清理和数据增强处理
。3.
如权利要求1所述的基于双解码器融合的数学应用题自动解答方法，其特征在于，所述数字实体嵌入包括数字位置嵌入和属性词位置嵌入
。4.
如权利要求1所述的基于双解码器融合的数学应用题自动解答方法，其特征在于，所述重构基于数学语料增强的预训练语言模型作为编码器，得到输入数据的问题表示和编码器最终隐藏层状态具体为：将预处理后的文本数据和提取的数字
、
属性词位置列表输入编码器，经由编码器处理输出问题表示和编码器最终隐藏层状态
。5.
如权利要求1所述的基于双解码器融合的数学应用题自动解答方法，其特征在于，所述融合的多形式表达式生成模型的具体步骤为：将数字和数字相关属性词转化为，其所在预处理后问题文本中位置的对应表示，进而转化为数字实体嵌入；叠加数字实体嵌入
、
文本的词嵌入和位置嵌入，作为问题嵌入输入编码器；编码器提取
、
解析问题嵌入中的语义信息，转化为隐表示并生成问题输出...

【专利技术属性】
技术研发人员：马坤，衣禹桥，纪科，陈贞翔，杨波，
申请(专利权)人：济南大学，
类型：发明
国别省市：