一种语言能力发展评估方法技术

本发明专利技术公开了一种语言能力发展评估方法

【技术实现步骤摘要】
一种语言能力发展评估方法、装置、设备及存储介质


[0001]本专利技术涉及计算机信息处理领域，尤其涉及一种语言能力发展评估方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]语言能力发展评估任务旨在判断同一学生在不同时间所写的不同文章的时间先后顺序，现有的研究主要分成两种类型，一种是基于语言特征构建语言能力发展评估模型，以根据构建好的模型进行语言能力发展评估，例如，利用从学生的书面表达中自动提取的各种语言特征来跟踪语言学习者书面语言能力的演变，再例如，依赖于捕捉文本风格方面的一系列语言动机特征，基于自然语言处理的风格测量方法跟踪语言学习者书面语言能力的演变；另一种是基于神经网络构建语言能力发展评估模型构建，以根据构建好的模型进行语言能力发展评估
。
[0003]然而，现有技术中基于语言特征的方法依赖于语言特征的构建，缺乏语言扩展性，基于神经网络的方法没有考虑文本之间的信息交互，导致在进行语言能力发展评估时，不能适应各种语言的差异和文本之间的依赖关系，使语言能力发展评估结果准确性较低
。

技术实现思路

[0004]本专利技术实施例所要解决的技术问题是：提供了一种语言能力发展评估方法
、
装置
、
设备及存储介质，通过基于顺序信息的注意力机制，构建一个具有语言扩展性的方法，不依赖于特定的语言特征，增强文本之间的信息交互，从而提高语言能力发展评估结果的准确性
。
[0005]为了解决上述技术问题，第一方面，本专利技术实施例提供一种语言能力发展评估方法，包括：
[0006]获取待评估对象的历史文本和当前文本，并对所述历史文本和所述当前文本进行拼接；
[0007]将拼接后的文本输入到训练后的语言模型中进行编码，生成基于文本的语义表示；
[0008]将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示；
[0009]通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
[0010]根据所述增强的历史文本表示
、
所述增强的当前文本表示
、
所述基于文本的语义表示和所述信息相似度计算语言发展评估预测概率；
[0011]根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估
。
[0012]进一步地，所述将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示，包括：
[0013]基于顺序信息的注意力机制计算所述历史文本的第一注意力权重，根据所述第一注意力权重对所述历史文本进行文本更新，对更新后的历史文本进行平均池化处理得到增强的历史文本表示；
[0014]基于顺序信息的注意力机制计算所述当前文本的第二注意力权重，根据所述第二注意力权重对所述当前文本进行文本更新，对更新后的当前文本进行平均池化处理得到增强的当前文本表示
。
[0015]所述基于顺序信息的注意力机制计算所述历史文本的第一注意力权重，根据所述第一注意力权重对所述历史文本进行文本更新，对更新后的历史文本进行平均池化处理得到增强的历史文本表示，包括：
[0016]根据公式
w1＝
softmax(H
a
·
(H
b
)
T
)
计算所述当前文本对所述历史文本的第一注意力权重；
[0017]根据公式使用所述第一关注权重对所述历史文本进行更新，得到更新后的历史文本；
[0018]根据公式对所述更新后的历史文本进行平均池化处理得到所述增强的历史文本表示；
[0019]其中，
w1为所述第一注意力权重，
H
a
为历史文本语义表示，
H
b
为当前文本语义表示，
(H
b
)
T
为所述当前文本语义表示的转置，为所述更新后的历史文本，为所述增强的历史文本表示
。
[0020]所述基于顺序信息的注意力机制计算所述当前文本的第二注意力权重，根据所述第二注意力权重对所述当前文本进行文本更新，对更新后的当前文本进行平均池化处理得到增强的当前文本表示，包括：
[0021]根据公式
w2＝
softmax(H
b
·
(H
a
)
T
)
计算所述历史文本对所述当前文本的第二注意力权重；
[0022]根据公式使用所述第二注意力权重对所述当前文本进行更新，得到更新后的当前文本；
[0023]根据公式对所述更新后的当前文本进行平均池化处理得到所述增强的当前文本表示；
[0024]其中，
w2为所述第二注意力权重，
H
a
为历史文本语义表示，
H
b
为当前文本语义表示，
(H
a
)
T
为所述历史文本语义表示的转置，为所述更新后的当前文本，为所述增强的当前文本表示
。
[0025]进一步地，所述通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度，具体为：
[0026]根据公式计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
[0027]其中，
W
g
是一个全局参数矩阵，
|
·
|2、||
·
||2分别表示元素的平方和
L2
范数，为所述增强的历史文本表示，为所述增强的当前文本表示，
s
g
为所述信息相似度
。
[0028]进一步地，所述根据所述增强的历史文本表示
、
所述增强的当前文本表示
、
所述基于文本的语义表示和所述信息相似度计算语言发展评估预测概率，包括：
[0029]将所述增强的历史文本表示
、
所述增强的当前文本表示
、
所述基于文本的语义表示和所述信息相似度拼接起来，得到语句的整体特征表示
h
c
如下：
[0030][0031]将所述语句的整体特征表示
h
c
馈送到具有
softmax
函数的线性分类器中，得到语言发展评估预测概率
y
如下：
[0032]y
＝
softmax(W
T
·
h
c
+b)
；
[0033]其中，
h
[u]为所述基于文本的语义表示中的具有预设标记的语义表示，为所述增强的历史文本表示，为所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种语言能力发展评估方法，其特征在于，包括：获取待评估对象的历史文本和当前文本，并对所述历史文本和所述当前文本进行拼接；将拼接后的文本输入到训练后的语言模型中进行编码，生成基于文本的语义表示；将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示；通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；根据所述增强的历史文本表示
、
所述增强的当前文本表示
、
所述基于文本的语义表示和所述信息相似度计算语言发展评估预测概率；根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估
。2.
如权利要求1所述的语言能力发展评估方法，其特征在于，所述将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示，包括：基于顺序信息的注意力机制计算所述历史文本的第一注意力权重，根据所述第一注意力权重对所述历史文本进行文本更新，对更新后的历史文本进行平均池化处理得到增强的历史文本表示；基于顺序信息的注意力机制计算所述当前文本的第二注意力权重，根据所述第二注意力权重对所述当前文本进行文本更新，对更新后的当前文本进行平均池化处理得到增强的当前文本表示
。3.
如权利要求2所述的语言能力发展评估方法，其特征在于，所述基于顺序信息的注意力机制计算所述历史文本的第一注意力权重，根据所述第一注意力权重对所述历史文本进行文本更新，对更新后的历史文本进行平均池化处理得到增强的历史文本表示，包括：根据公式
w1＝
softmax(H
a
·
(H
b
)
T
)
计算所述当前文本对所述历史文本的第一注意力权重；根据公式使用所述第一关注权重对所述历史文本进行更新，得到更新后的历史文本；根据公式对所述更新后的历史文本进行平均池化处理得到所述增强的历史文本表示；其中，
w1为所述第一注意力权重，
H
a
为所述基于文本的语义表示中的历史文本语义表示，
H
b
为所述基于文本的语义表示中的当前文本语义表示，
(H
b
)
T
为所述当前文本语义表示的转置，为所述更新后的历史文本，为所述增强的历史文本表示
。4.
如权利要求2所述的语言能力发展评估方法，其特征在于，所述基于顺序信息的注意力机制计算所述当前文本的第二注意力权重，根据所述第二注意力权重对所述当前文本进行文本更新，对更新后的当前文本进行平均池化处理得到增强的当前文本表示，包括：根据公式
w2＝
softmax(H
b
·
(H
a
)
T
)
计算所述历史文本对所述当前文本的第二注意力权重；根据公式使用所述第二注意力权重对所述当前文本进行更新，得到
更新后的当前文本；根据公式对所述更新后的当前文本进行平均池化处理得到所述增强的当前文本表示；其中，
w2为所述第二注意力权重，
H
a
为所述基于文本的语义表示中的历史文本语义表示，
H
b
为所述基于文本的语义表示中的当前文本语义表示，
(H
a
)
T
为所述历史文本语义表示的转置，为所述更新后的当前文本，为所述增强的当前文本表示
。5.
如权利要求1所述的语言能力发展评估方法，其特征在于，所述通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度，具体为：根据公式计算所述增强的历史文...

【专利技术属性】
技术研发人员：蒋盛益，武洪艳，林楠铠，
申请(专利权)人：广东外语外贸大学，
类型：发明
国别省市：