数学题解答模型训练方法及装置制造方法及图纸

本公开涉及机器学习技术领域，提供了一种数学题解答模型训练方法及装置。该方法包括：利用数学题训练数据对预训练语言模型进行训练；冻结训练后的预训练语言模型的模型参数，基于数学题推理数据控制被冻结模型参数后的预训练语言模型按照每道数学题对应的推理过程解答该数学题，直至得到该数学题对应的答案，使得预训练语言模型从多道数学题对应的推理过程中学习到解答各种数学题的思维链；将学习到解答各种数学题的思维链的预训练语言模型作为数学题解答模型，利用数学题解答模型多次生成待解答的目标数学题对应的推理过程和答案，将生成次数最多的推理过程和答案作为目标数学题对应的最终结果。标数学题对应的最终结果。标数学题对应的最终结果。

【技术实现步骤摘要】
数学题解答模型训练方法及装置


[0001]本公开涉及机器学习
，尤其涉及一种数学题解答模型训练方法及装置。

技术介绍

[0002]近年来，神经网络模型在计算机视觉、模式匹配、自然语言处理、强化学习等领域取得了巨大成功，也有人将神经网络模型应用到求解数学题上。从数据形式上来说，一道数学题可以看作是一个序列，而其解答（解题步骤或者求解表达式）往往也是以序列的形式呈现，所以目前神经网络模型求解数学题是被理解为从自然语言到数学语言的翻译过程。这种认识或者看法在一定程度忽略了求解数学题的推理过程，所以基于这种认识或者看法得到的神经网络模型求解数学题时推理能力较差。

技术实现思路

[0003]有鉴于此，本公开实施例提供了一种数学题解答模型训练方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，神经网络模型求解数学题时推理能力较差的问题。
[0004]本公开实施例的第一方面，提供了一种数学题解答模型训练方法，包括：获取数学题训练数据和数学题推理数据，其中，数学题训练数据包括多道数学题以及每道数学题对应的答案，数学题推理数据包括多道数学题以及每道数学题对应的推理过程和答案；利用数学题训练数据对预训练语言模型进行训练；冻结训练后的预训练语言模型的模型参数，基于数学题推理数据控制被冻结模型参数后的预训练语言模型按照每道数学题对应的推理过程解答该数学题，直至得到该数学题对应的答案，使得预训练语言模型从多道数学题对应的推理过程中学习到解答各种数学题的思维链；将学习到解答各种数学题的思维链的预训练语言模型作为数学题解答模型，利用数学题解答模型多次生成待解答的目标数学题对应的推理过程和答案，将生成次数最多的推理过程和答案作为目标数学题对应的最终结果。
[0005]本公开实施例的第二方面，提供了一种数学题解答模型训练装置，包括：获取模块，被配置为获取数学题训练数据和数学题推理数据，其中，数学题训练数据包括多道数学题以及每道数学题对应的答案，数学题推理数据包括多道数学题以及每道数学题对应的推理过程和答案；训练模块，被配置为利用数学题训练数据对预训练语言模型进行训练；推理模块，被配置为冻结训练后的预训练语言模型的模型参数，基于数学题推理数据控制被冻结模型参数后的预训练语言模型按照每道数学题对应的推理过程解答该数学题，直至得到该数学题对应的答案，使得预训练语言模型从多道数学题对应的推理过程中学习到解答各种数学题的思维链；解题模块，被配置为将学习到解答各种数学题的思维链的预训练语言模型作为数学题解答模型，利用数学题解答模型多次生成待解答的目标数学题对应的推理过程和答案，将生成次数最多的推理过程和答案作为目标数学题对应的最终结果。
[0006]本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在
存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
[0007]本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0008]本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过获取数学题训练数据和数学题推理数据，其中，数学题训练数据包括多道数学题以及每道数学题对应的答案，数学题推理数据包括多道数学题以及每道数学题对应的推理过程和答案；利用数学题训练数据对预训练语言模型进行训练；冻结训练后的预训练语言模型的模型参数，基于数学题推理数据控制被冻结模型参数后的预训练语言模型按照每道数学题对应的推理过程解答该数学题，直至得到该数学题对应的答案，使得预训练语言模型从多道数学题对应的推理过程中学习到解答各种数学题的思维链；将学习到解答各种数学题的思维链的预训练语言模型作为数学题解答模型，利用数学题解答模型多次生成待解答的目标数学题对应的推理过程和答案，将生成次数最多的推理过程和答案作为目标数学题对应的最终结果，因此，采用上述技术手段，可以解决现有技术中，神经网络模型求解数学题时推理能力较差的问题，进而提高神经网络模型求解数学题的推理能力。
附图说明
[0009]为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0010]图1是本公开实施例提供的一种数学题解答模型训练方法的流程示意图；图2是本申请实施例提供的一种解答数学题的方法的流程示意图；图3是本公开实施例提供的一种数学题解答模型训练装置的结构示意图；图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
[0011]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
[0012]图1是本公开实施例提供的一种数学题解答模型训练方法的流程示意图。图1的数学题解答模型训练方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该数学题解答模型训练方法包括：S101，获取数学题训练数据和数学题推理数据，其中，数学题训练数据包括多道数学题以及每道数学题对应的答案，数学题推理数据包括多道数学题以及每道数学题对应的推理过程和答案；S102，利用数学题训练数据对预训练语言模型进行训练；S103，冻结训练后的预训练语言模型的模型参数，基于数学题推理数据控制被冻
结模型参数后的预训练语言模型按照每道数学题对应的推理过程解答该数学题，直至得到该数学题对应的答案，使得预训练语言模型从多道数学题对应的推理过程中学习到解答各种数学题的思维链；S104，将学习到解答各种数学题的思维链的预训练语言模型作为数学题解答模型，利用数学题解答模型多次生成待解答的目标数学题对应的推理过程和答案，将生成次数最多的推理过程和答案作为目标数学题对应的最终结果。
[0013]预训练语言模型可以是GPT模型或者BERT模型，GPT英文全称是Generative Pre
‑
trainedTransformer，BERT英文全称是Bidirectional EncoderRepresentations from Transformers。数学题训练数据中的数学题没有对应的推理过程，数学题训练数据中的数学题看作是样本，数学题对应的答案看作是样本的标签，利用数学题训练数据对预训练语言模型进行训练，属于模型训练阶段，用的是常见的模型训练方法，不再赘述。数学题推理数据中的数学题具有对应的推理过程，基于数学题推理数据控制被冻结模型参数后的预训练语言模型按照每道数学题对应的推理过程解答该数学题，属于模型推理阶段，模型推理阶段是为了预训练语言模型从多道数学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数学题解答模型训练方法，其特征在于，包括：获取数学题训练数据和数学题推理数据，其中，所述数学题训练数据包括多道数学题以及每道数学题对应的答案，所述数学题推理数据包括多道数学题以及每道数学题对应的推理过程和答案；利用所述数学题训练数据对预训练语言模型进行训练；冻结训练后的预训练语言模型的模型参数，基于所述数学题推理数据控制被冻结所述模型参数后的预训练语言模型按照每道数学题对应的推理过程解答该数学题，直至得到该数学题对应的答案，使得所述预训练语言模型从多道数学题对应的推理过程中学习到解答各种数学题的思维链；将学习到解答各种数学题的思维链的预训练语言模型作为数学题解答模型，利用所述数学题解答模型多次生成待解答的目标数学题对应的推理过程和答案，将生成次数最多的推理过程和答案作为所述目标数学题对应的最终结果。2.根据权利要求1所述的方法，其特征在于，基于所述数学题推理数据控制被冻结所述模型参数后的预训练语言模型按照每道数学题对应的推理过程解答该数学题，直至得到该数学题对应的答案，使得所述预训练语言模型从多道数学题对应的推理过程中学习到解答各种数学题的思维链，包括：将所述数学题推理数据中的数学题按照难易程度进行划分，得到不同难易程度的多个题组，其中，每个题组包括多道数学题以及每道数学题对应的推理过程和答案；按照多个题组由易到难的顺序多次控制被冻结所述模型参数后的预训练语言模型按照每个题组中的每道数学题对应的推理过程解答该数学题，直至得到该数学题对应的答案，使得所述预训练语言模型从多道数学题对应的推理过程中学习到解答各种数学题的思维链，其中，每次基于一个题组控制被冻结所述模型参数后的预训练语言模型。3.根据权利要求1所述的方法，其特征在于，将学习到解答各种数学题的思维链的预训练语言模型作为数学题解答模型之后，所述方法还包括：获取待解答的数学题集合，将所述数学题集合中的多个数学题按照预设数量N和每个数学题对应的知识点进行划分，得到针对不同知识点的多个题组，其中，每个题组包括N条数据，第i条数据为第（i+1）/2道数学题，第i+1条数据为第（i+1）/2道数学题对应的推理过程和答案，N为奇数，第N条数据表示的数学题没有对应的推理过程和答案，i为开区间（0，N）内的奇数，i+1小于N；将多个题组依次输入所述数学题解答模型，输出每个题组中第N条数据表示的数学题对应的推理过程和答案，其中，每个题组中第N条数据表示的数学题对应的推理过程和答案，是所述数学题解答模型通过上下文学习的方法得到的。4.根据权利要求3所述的方法，其特征在于，将多个题组依次输入所述数学题解答模型，输出每个题组中第N条数据表示的数学题对应的推理过程和答案，包括：将每个题组中的第i条数据和第i+1条数据作为一对数据，每个题组具有（N
‑
1）/2对数据；所述数学题解答模型基于每个题组中的（N
‑
1）/2对数据，通过所述上下文学习的方法对该题组中第...

【专利技术属性】
技术研发人员：汪骞，暴宇健，王芳，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：