一种面向小学藏语文阅读问题自动生成的服务系统技术方案

本发明专利技术涉及一种面向小学藏语文阅读问题自动生成的服务系统，该系统包括藏语阅读语料库构建模型和藏文阅读文本问题生成模型；其中，藏语阅读语料库构建模型，通过提取小学藏语文章特征数据，并设计混合的多策略文本筛选模型，得到藏语阅读语料库；藏文阅读文本问题生成模型包括编码端和解码端，其中，编码端使用双向RNN网络和注意力机制；解码端使用单向RNN网络、注意力机制和复制机制。本发明专利技术通过设计的混合的多策略文本筛选模型，可以在大规模百科藏文文本中筛选出适合小学阅读的藏语文文章。并且设计了端到端的自动问题生成模型，它解决了小学藏语文阅读教学材料体裁少、更新速度慢，人工出题量少等问题，从而推动民族地区藏语教学的发展。区藏语教学的发展。区藏语教学的发展。

【技术实现步骤摘要】
一种面向小学藏语文阅读问题自动生成的服务系统


[0001]本专利技术涉及自然语言处理
，特别涉及一种面向小学藏语文阅读问题自动生成的服务系统。

技术介绍

[0002]目前自然语言处理(NLP)领域备受关注，自然语言处理的研究目标是让计算机学会理解和运用人类的自然语言，是人工智能领域中的重要研究方向。近年来，自然语言处理方面的运用层出不穷，如Facebook的SimpleQuestions、百度的文本生成工具逐渐应用于教育领域，以改善教学为目的的阅读理解问题生成、文章摘要生成等技术系统也开始涌现，助力教学效率提升和学生的阅读理解能力训练。
[0003]相比与汉语文教学，藏语文的阅读材料相对较少，更新速度较慢、选择面也较窄，在出阅读理解题目时，采用的方式依然是通过老师人工出题，这导致藏语文阅读教学材料的更新速度难以满足学生的需求，限制了民族地区的藏语教学的发展。

技术实现思路

[0004]本专利技术的目的在于，解决小学藏语文阅读教学材料体裁少、更新速度慢、人工出题量小等问题，推动民族地区藏语教学的发展。
[0005]为实现上述目的，本专利技术提供了一种面向小学藏语文阅读问题自动生成的服务系统，该系统包括藏语阅读语料库构建模型和藏文阅读文本问题生成模型；其中，
[0006]藏语阅读语料库构建模型，通过提取小学藏语文章特征数据，并设计混合的多策略文本筛选模型，构建藏语阅读语料库；
[0007]藏文阅读文本问题生成模型，包括编码端和解码端，其中，编码端使用双向 RNN网络和注意力机制；解码端使用单向RNN网络、注意力机制和复制机制。
[0008]本专利技术通过设计的混合的多策略文本筛选模型，可以在大规模百科藏文文本中筛选出适合小学阅读的藏语文文章。并且设计了端到端的自动问题生成模型，它解决了小学藏语文阅读教学材料体裁少、更新速度慢，人工出题量少等问题，从而推动民族地区藏语教学的发展。
附图说明
[0009]图1为本专利技术实施例提供的一种面向小学藏语文阅读问题自动生成的服务系统结构示意图；
[0010]图2为本专利技术实施例提供的另一种面向小学藏语文阅读问题自动生成的服务系统结构示意图。
具体实施例
[0011]本专利技术实施例设计了一种小学藏语阅读理解问题自动生成的智能服务系统。主要
包括：
[0012]首先，以小学藏语文教材(1
‑
6年级)为训练语料，以文章长度、文章体裁、句子数量、平均句长、文章词汇量、词汇覆盖度、冗余度为特征，设计了一种混合的多策略文本筛选模型，从大规模百科藏文文本中得到适合小学藏语文阅读的材料。
[0013]然后，由中央民族大学国家语言资源监测与研究中心带领藏族学生完成藏语文本答案的标注和对应问题的生成，得到大规模阅读文本的问题和答案，并设计了一种基于注意力机制和复制机制的端到端的藏文阅读文本问题生成模型。编码端使用双向循环RNN网络，加入注意力机制来解决RNN网络容易遗忘的问题。解码端使用单向RNN网络，加入复制机制提高问题答案的可读性。同时，使用答案位置信息输入到神经网络当中，从而减少长文本输入时的噪声，提高问题的生成效果。
[0014]最后，使用Django框架搭建小学藏语阅读理解问题自动生成的智能服务系统，实现藏语文阅读文章的自动筛选和出题。
[0015]图1和图2分别为本专利技术实施例提供的一种面向小学藏语文阅读问题自动生成的服务系统结构示意图。如图1和图2所示，该系统包括：藏语阅读语料库构建模型和藏文阅读文本问题生成模型。
[0016]藏语阅读语料库构建模型，通过提取小学藏语文章特征数据，并设计混合的多策略文本筛选模型。为筛选出合适的小学藏语阅读材料，对每篇文章提取文章长度、文章体裁、句子数量、平均句长、文章词汇量、词汇覆盖度、冗余度作为特征。
[0017]筛选模型中集成了逻辑回归、KNN算法模型以及随机森林模型，设定7个类别，分别代表适合1
‑
6年级阅读和不适合小学阅读，采用绝对多数投票法作为输出策略。
[0018]逻辑回归的公式如下：
[0019]f
w，b
(x)＝σ(∑
i
w
i
x
i
+b)，
[0020]其中，x
i
表示小学藏语文章的特征，w
i
表示特征所具有的权重，b表示偏置，并加入对率函数σ(Sigmoid)，将回归任务输出的连续因变量，变为输出不同类别的概率值，取概率值最高的为文本的最终类别。
[0021]对于训练的损失函数，选择了交叉熵损失函数，公式如下：
[0022][0023]其中，M为类别的数量；y
ic
是指示变量(0或1)，如果该类别和样本i的类别相同，y
ic
就是1，否则是0；f
w，b
(x)是逻辑的回归的输出，表示某特定类别的概率。
[0024]KNN算法中，定义了7个类别，并对所有的类别特征做归一化处理，来映射到同一个空间中。使用欧式距离公式作为不同类别距离的度量公式，公式如下：
[0025][0026]其中，和为特征的空间坐标，L(x
i
，x
j
)得到的是两个特征的距离大小。在KNN算法中，先将文章特征归一化到共同的特征空间中，然后设置参数k，根据距离计算结果L(x
i
，x
j
)，取距离最近的k个特征点，其中哪个类别出现的最多，这个文章就属于这个类别。
[0027]对于随机森林模型，模型通过对训练集的抽样获得分布不同的训练子集。通过不
同的训练子集来训练不同的决策树，随机森林包含训练得到的所有决策树。在做分类任务时遵循“少数服从多数原则”，将决策树分类结果最多的类别作为文章的最终分类结果。
[0028]其中，决策树使用的是ID3算法，每个决策树用信息增益来获得最优划分属性a，其公式为：
[0029][0030]a为类别的属性，v表示类别的划分，在文章分类任务中v＝7，表示文章分为7个类别。D表示所有的训练集，D
v
表示第v个类别的数据集。Ent(D
v
)表示第v个类别的数据集的信息熵。Gain(D,a)为信息增益，如果值越大，说明使用属性a来划分的效果越好。
[0031]最终各个模型的输出量都用类别数据表示为f(x)＝[1,2,3,4,5,6,7]，其中不同数字代表着不同的年级，7代表超出小学阅读能力的文章。
[0032]对于混合模型，其最终的输出采用绝对多数投票法。绝对多数投票法的原则是得票过半数才可以得到输出，否则拒绝分类，其公式如下：
[0033][0034]在绝对多数投票法中，f
i
(x)依旧为模型的分类结果，T为分类模型的数量，如果有一半以上的模型给出了相同结果(if Count(f
i
(x))>本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向小学藏语文阅读问题自动生成的服务系统，其特征在于，包括藏语阅读语料库构建模型和藏文阅读文本问题生成模型；其中，藏语阅读语料库构建模型，通过提取小学藏语文章特征数据，并设计混合的多策略文本筛选模型，构建藏语阅读语料库；藏文阅读文本问题生成模型，包括编码端和解码端，其中，编码端使用双向RNN网络和注意力机制；解码端使用单向RNN网络、注意力机制和复制机制。2.根据权利要求1所述系统，其特征在于，所述藏语阅读语料库构建模型具体用于，以小学藏语文教材(1
‑
6年级)为训练语料，以文章长度、文章体裁、句子数量、平均句长、文章词汇量、词汇覆盖度、冗余度为特征，设计混合的多策略文本筛选模型，并从大规模百科藏文文本中得到适合小学藏语文阅读的材料。3.根据权利要求1所述系统，其特征在于，所述筛选模型中集成了逻辑回归、KNN算法模型以及随机森林模型，设定7个类别，分别代表适合1
‑
6年级阅读和不适合小学阅读，采用绝对多数投票法作为输出策略。4.根据权利要求3所述系统，其特征在于，所述逻辑回归的公式为：f
w,b
(x)＝σ(∑
i
w
i
x
i
+b)，其中，x
i
表示小学藏语文章的特征，w
i
表示特征所具有的权重，b表示偏置，最终使用对率函数σ(Sigmoid)得到输出f
w,b
(x)；对于训练的损失函数，选择了交叉熵损失函数，公式如下：其中，M为类别的数量；y
ic
是指示变量(0或1),如果该类别和样本i的类别相同，y
ic
就是1，否则是0；f
w,b
(x)是逻辑回归的输出,表示某特定类别的概率。5.根据权利要求3所述系统，其特征在于，所述KNN算法模型中，使用欧式距离公式作为不同类别距离的度量公式。公式如下：其中，和为特征的空间坐标，L(x
i
,x
j
)得到的是两个特征的距离大小。在KNN算法中，先将文章特征归一化到共同的特征空间中，然后设置参数k，根据距离计算结果L(x
i
,x
j
)，取距离最近的k个特征点，其中哪个类别出现的最多，这个文章就属于这个类别。6.根据权利要求3所述系统，其特征在于，所述随机森林模型，通过对训练集的抽样获得分布不同的训练子集；通过不同的训练子集来训练不同的决策树，随机森林包含训练得到的所有决策树；在做分类任务时遵循“少数服从多数原则”，将决策树分类结果最多的类别作为文章的最终分类结果；其中，决策树使用的是ID3算法，每个决策树用信息增益来获得最优划分属性a，其公式为：
a为类别的属性，v表示类别的划分，在文章分类任务中v＝7，表示文章分为7个类别；D表示所有的训练集，D
v
表示第v个类别的数据集；Ent(D
v
)表示第v个类别的数据集的信息熵；Gain(D,a)为信息增益，如果值越大，说明使用属性a来划分的效果越好。7.根据权利要求3所述系统，其特征在于，所述绝对多数投票法的原则是得票过半数才可以得到输出，否则取最小数值作为最终输出，其公式如下：f
i
(x)为模型的分类结果，T为分类模型的数量，如果有一半以上的模型给出了相同结果(if Count(f
i
(x))>0.5T)，将这个分类作...

【专利技术属性】
技术研发人员：孙媛，陈安东，
申请(专利权)人：中央民族大学，
类型：发明
国别省市：