一种自动求解数学题的伪对偶学习方法技术

本发明专利技术公开了一种自动求解数学题的伪对偶学习方法，在数学题自动求解器训练优化过程中，引入一个伪对偶任务来模拟复查过程，即得到求解表达式后，将表达式中的数字填充回原始的文本问题描述中，从而提升自动求解器对数学问题的数量捕获能力和数学逻辑能力。此外，在联合训练优化过程中，本发明专利技术还设计了一种计划融合策略，在训练初期阶段利用正确表达式进行数字填充，平滑过渡到训练后期利用预测表达式进行数字填充，以解决预测表达式在训练阶段初期并不理想，会误导伪对偶学习的问题，同时，计划融合策略可以在训练过程中平衡求解过程和伪对偶填充过程的学习。通过实验研究，本发明专利技术显著提高了多个具有代表性的数学题自动求解器的性能。器的性能。

【技术实现步骤摘要】
一种自动求解数学题的伪对偶学习方法


[0001]本专利技术属于数学题自动求解器训练
，更为具体地讲，涉及一种自动求解数学题的伪对偶学习方法。

技术介绍

[0002]自动求解数学题是机器推理的一个重要子问题，其目标是针对一个由文本描述构成的数学题目，求解器需要理解问题描述，生成符合规范、可计算的解题等式，并通过这个表达式来计算题目最终的答案。
[0003]随着深度学习取得长足的进步，现有自动求解数学题的方法通常采用以神经网络为基础的编码器
‑
解码器体系结构，技术重点集中于升级改进编码器和解码器模块。其中一个具有代表性的方法是使用基于RNN(循环神经网络)的序列到序列模型，通过RNN编码问题描述中的语义信息，按序列从左向右生成算术表达式，然而，序列到序列模型很难提取出数学表达式的结构信息。
[0004]树形结构具有表示数学表达式的优势，树的深度可以对应数学表达式中运算的优先级，使得优先级较高的运算放在较低的层次上，树的上层次节点即为优先级较低的算子，因此基于树形结构的解码器被提出，通过自顶向下的方式来生成目标表达式。此外，从关系提取的角度出发，识别不同数量之间的运算关系，通过推理步骤来迭代构造求解表达式也是主流的方法。
[0005]尽管现有自动求解数学题方法能较有效捕获问题描述的语义信息并生成表达式计算答案，但改进方案仅集中于编码器或解码器的模块技术升级，缺乏适用于各种模型框架的泛化性训练方案。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的不足，提供一种自动求解数学题的伪对偶学习方法，将数学题求解与其逆向填充过程这一双向任务集成到伪对偶学习方案中，从而提升数学题自动求解器对数学问题的数量捕获能力和数学逻辑能力，提高数学题自动求解器的性能。
[0007]为实现上述专利技术目的，本专利技术自动求解数学题的伪对偶学习方法，其特征在于，包括以下步骤：
[0008](1)、获得预测表达式
[0009]对于一个包含N个单词的待求解数学题P＝{w1，w2，...，w
N
}输入到数学题自动求解器中进行自动求解，得到由数字集合Q、算符和常数组成预测表达式S＝{s1，s2，...，s
K
}，其中，w
n
表示第n个单词，n＝1，2，
…
，N，数字Q＝{q1，q2，...，q
M
}，q
m
表示第m个数字，m＝1，2，
…
，M，s
k
表示第k个表达式元素；
[0010]数学题自动求解器包含一个数学题编码器和一个表达式解码生成器，待求解数学题P输入数学题编码器，获得待求解数学题P的语义特征E
p
，语义特征E
p
再输入到表达式解码
生成器按最大概率输出预测表达式S，即满足：
[0011][0012]其中，Pr表示取到字符s
k
的概率值，Θ
en
和Θ
dec
分别数学题编码器和表达式解码生成器的学习参数；
[0013](2)、数字填充
[0014]2.1)、对预测表达式S进行重采样，获得预测表达式S的连续近似值
[0015]2.2)、将连续近似值S
g
输入到表达式编码器得到预测表达式S的语义特征E
g
，将待求解数学题P正确的目标表达式输入到表达式编码器得到目标表达式S
t
的语义特征E
t
；
[0016]2.3)、从语义特征E
g
中取出预测表达式S中数字的语义特征从语义特征E
t
中取出目标表达式S
t
中数字的语义特征然后进行加权求和，得到计划融合后的表达式数字语义特征
[0017]E
f_num
＝εE
t_num
+(1
‑
ε)E
g_num
[0018]其中，权重ε来调整两部分的比例，ε随着训练优化过程从1指数衰减到0；
[0019]从语义特征E
p
中取出数学问题中数字的语义特征其中，表示M
×
D维的实数空间，D是表达式编码器隐层的维度大小；
[0020]2.4)、利用一个指针网络计算待求解数学题P中第m个数字与预测表达式S中M个数字相匹配的概率分布向量：
[0021][0022]其中，概率分布向量为Prob
m
为M维度，为语义特征E
p
中的第m行，W1、W2为指针网络的学习权重矩阵，u为列权重向量；
[0023]这样得到待求解数学题P中M个数字与预测表达式S中M个数字相匹配的概率分布向量的集合{Prob1，Prob2，...，Prob
M
}；
[0024](3)、训练优化
[0025]3.1)、在训练优化过程中，对于数学题自动求解器，正确的目标表达式S
t
作为监督信号与预测表达式S之间计算得到负对数似然损失函数L
G
；
[0026]对于数字填充，待求解数学题P中数字q
m
的标签为当其在对应预测表达式S中位于第j个位置时，o
m
的第j维值为1，其他维值为0，对应填充损失函数计算如下：
[0027][0028]3.2)、构建损失函数L＝L
G
+L
I
，通过最小化损失函数L来训练优化数学题自动求解器，从而完成伪对偶学习。
[0029]本专利技术的目的是这样实现的。
[0030]考虑到人类处理数学问题时，将求解表达式代入原问题中进行复查从而提高求解准确性。本专利技术引入一个伪对偶任务来模拟复查过程，即得到求解表达式后，将表达式中的
数字填充回原始的文本问题描述中。进而，本专利技术创新性地提出一种与模型独立的训练学习方案，将数学题求解与其逆向填充过程这一双向任务集成到伪对偶学习方案中，从而提升自动求解器对数学问题的数量捕获能力和数学逻辑能力。在联合训练优化过程中，为了将求解过程和伪对偶填充过程进行有效的联合学习，本专利技术还设计了一种计划融合策略，在训练初期阶段利用正确表达式进行数字填充，平滑过渡到训练后期利用预测表达式进行数字填充，以解决预测表达式在训练阶段初期并不理想，会误导伪对偶学习的问题，同时，计划融合策略可以在训练过程中平衡求解过程和伪对偶填充过程的学习。通过实验研究，本专利技术显著提高了多个具有代表性的数学题自动求解器的性能。
附图说明
[0031]图1是本专利技术自动求解数学题的伪对偶学习方法一种具体实施方式原理示意图；
[0032]图2是本专利技术自动求解数学题的伪对偶学习方法一种具体实施方式流程图。
具体实施方式
[0033]下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动求解数学题的伪对偶学习方法，其特征在于，包括以下步骤：(1)、获得预测表达式对于一个包含N个单词的待求解数学题P＝{w1，w2，...，w
N
}输入到数学题自动求解器中进行自动求解，得到由数字集合Q、算符和常数组成预测表达式S＝{s1，s2，...，s
K
}，其中，w
n
表示第n个单词，n＝1，2，
…
，N，数字Q＝{q1，q2，...，q
M
}，q
m
表示第m个数字，m＝1，2，
…
，M，s
k
表示第k个表达式元素；数学题自动求解器包含一个数学题编码器和一个表达式解码生成器，待求解数学题P输入数学题编码器，获得待求解数学题P的语义特征E
p
，语义特征E
p
再输入到表达式解码生成器按最大概率输出预测表达式S，即满足：其中，Pr表示取到字符s
k
的概率值，Θ
en
和Θ
dec
分别数学题编码器和表达式解码生成器的学习参数；(2)、数字填充2.1)、对预测表达式S进行重采样，获得预测表达式S的连续近似值2.2)、将连续近似值S
g
输入到表达式编码器得到预测表达式S的语义特征E
g
，将待求解数学题P正确的目标表达式输入到表达式编码器得到目标表达式S
t
的语义特征E
t
；2.3)、从语义特征E
g
中取出预测表达式S中数字的语义特征从语义特征E

【专利技术属性】
技术研发人员：杨阳，宾燚，史文浩，韩孟群，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：