一种针对数学问题分类的预训练模型方法技术

本发明专利技术公开了一种针对数学问题分类的预训练模型方法，包括如下步骤：构建数学知识点关系的知识图谱，根据每个知识点之间的关系，对知识图谱中的每个知识点生成知识点向量；分别根据训练集和验证集中的数学问题生成文本向量，将文本向量和知识点向量导入并构建文本预训练模型，包括语义掩码语言模型训练、相关问题预测模型训练和问题相关性排序训练；将测试集导入预训练模型，对处理后的数学题目进行预测和输出结果。本发明专利技术集成了知识图谱，并提出了新颖的掩蔽和预测策略来增强知识点表示，使预测效果更加准确；模型使用知识嵌入算法编码知识图谱的图结构，并将多信息嵌入作为模型的输入，大大提高了预训练的准确度。

【技术实现步骤摘要】
一种针对数学问题分类的预训练模型方法
本专利技术涉及一种数学问题预测技术，尤其涉及一种针对数学问题分类的预训练模型方法。
技术介绍
如何教授数学中的概念性和过程性知识是教学的热点。程序性知识是“仅涉及记忆操作而不了解基本含义的学习”；概念知识是“对管辖领域的原理以及领域中知识之间的相互关系的明确或隐含的理解”。根据数学知识，我们可以设计基于过程知识或基于概念知识的问题。因此，在教与学方面，知识点具有许多优势，例如开发自动生成测试系统，测量学生的学习能力或影响基于实践的数学知识教学理论（MKT）。预测合适的知识指向问题并非易事，这主要有三个挑战：（1）短上下文分类：对于给定的数学问题，上下文的长度通常比原始文本分类任务短，如何在如此短的文本中学习，尤其是在预培训过程中，是一个重要的问题；（2）数学知识点编码：在语言模型问题分类任务中，应提取数学知识图中的知识点和关系并进行编码；（3）异构信息学习：数学问题既包含正常内容又包含数学关键词，导致两个单独的向量空间。在一个问题中将数学的词汇、句法和关键词与正常上下文区分开，并且在预训练和微调过程本文档来自技高网...

【技术保护点】
1.一种针对数学问题分类的预训练模型方法，其特征在于，包括如下步骤：/n构建数学知识点关系的知识图谱，根据每个知识点之间的关系，对知识图谱中的每个知识点生成知识点向量；/n分别根据训练集和验证集中的数学问题生成文本向量，将文本向量和知识点向量导入并构建文本预训练模型，包括语义掩码语言模型训练、相关问题预测模型训练和问题相关性排序训练；/n将测试集导入预训练模型，对处理后的数学题目进行预测和输出结果。/n

【技术特征摘要】
1.一种针对数学问题分类的预训练模型方法，其特征在于，包括如下步骤：
构建数学知识点关系的知识图谱，根据每个知识点之间的关系，对知识图谱中的每个知识点生成知识点向量；
分别根据训练集和验证集中的数学问题生成文本向量，将文本向量和知识点向量导入并构建文本预训练模型，包括语义掩码语言模型训练、相关问题预测模型训练和问题相关性排序训练；
将测试集导入预训练模型，对处理后的数学题目进行预测和输出结果。


2.如权利要求1所述的一种针对数学问题分类的预训练模型方法，其特征在于：对知识图谱中的每个知识点生成知识点向量，步骤包括：根据输入知识图谱内容，将知识点与知识之间的关系通过向量来表示，当关系成立时，通过平移距离模型将相同空间Rd中将关系转化为向量，得到向量关系句子公式为：
ei+r≈ej，其中，ei为知识点头向量，ej为知识点尾向量，r为关系向量。


3.如权利要求2所述的一种针对数学问题分类的预训练模型方法，其特征在于：平移距离模型为TransE、TransH、TransR或KG2E。


4.如权利要求2所述的一种针对数学问题分类的预训练模型方法，其特征在于：语义掩码语言模型训练包括：
获取测试集中数学问题内容，对于数学问题中的词汇进行分解；
根据替换规则，将内容中的词汇进行遮盖，并将处理好的向量关系句子带入到词汇被遮盖的位置，使用交叉熵损失函数对替换的词汇和预测填充词汇之间差异进行计算，得到第一损失值。


5.如权利要求4所述的一种针对数学问题分类的预训练模型方法，其特征在于：替换规则为：使用随机函数生成范围为0~1的随机值，如该随机值小于0.5，则对知识点进行全部遮盖，如该随机值大于或等于0.5，则使用如下策略：80%的内容对知识点进行全部遮盖，10%的内容使用词表中的词来替换该知识点，10%的内容用于语句通顺替换。


6.如权利要求5所述的一种针对数学问题分类的预训练模型方法，其特征在于：相关问题预测模型训练包括：
对测试集内所有问题根据内容设置标签...

【专利技术属性】
技术研发人员：王伟松，于业江，郑欢，阮涛，
申请(专利权)人：浙江学海教育科技有限公司，
类型：发明
国别省市：浙江;33