一种基于注意力机制的作文评分方法技术

本发明专利技术提供一种基于注意力机制的作文评分方法，所述方法包括，在作文评分系统中采用单词—句子—文档三层结构的神经网络注意力框架，并使用人工抽取的特征在所述框架的句子和文档层进行融合，进而设置所述句子和文档层的注意力权重。本发明专利技术综合考虑语言的局部特性和全局特性，句子的完整程度、用词的准确性、词汇的多样性、语句的连贯性以及是否离题等因素对评分任务的影响，最大程度提升作文打分的效果。

【技术实现步骤摘要】
一种基于注意力机制的作文评分方法
本专利技术涉及一种作文评分方法，特别是一种基于注意力机制多跳结构的作文评分方法。
技术介绍
作文自动高评分AES(AutomatedEssayScoring)相较于人工评分系统具有更加客观，高效，低成本的优势。利用AES构建的作文评分系统在美国已成功应用到GMAT、TOEFL、GRE等考试系统当中，随着技术的进步，机器评分系统逐渐成为一种趋势。传统的自动评分系统依赖自然语言处理等机器学习技术，通过浅层文本语义特征对文本进行建模分析。然而，文本特征需要相关领域的专家手工设计，成本过高，并且浪费大量人力。随着近年来深度学习的发展，基于深度神经网络的技术在计算机视觉、文本、语音等领域不断突破瓶颈，取得了比传统模型更好的成果。现有的利用深度学习技术对作文进行评分的方案主要采用循环神经网络和卷积神经网络想结合的方案，并取得了比基于纯人工特征更优的结果。在现有技术中，第一层神经网络结构采用了Word2Vec模型，对one-hot表示的单词进行低维向量表示。给定用one-hot表示的句子[w1，w2，...，wM]，第一层输出由下面的公式(1)进行计算：LT(W)本文档来自技高网...

【技术保护点】
一种基于注意力机制的作文评分方法，其特征在于，所述方法包括，在作文评分系统中采用单词－句子－文档三层结构的神经网络注意力框架，并使用人工抽取的特征在所述框架的句子和文档层进行融合，进而设置所述句子和文档层的注意力权重。

【技术特征摘要】
1.一种基于注意力机制的作文评分方法，其特征在于，所述方法包括，在作文评分系统中采用单词－句子－文档三层结构的神经网络注意力框架，并使用人工抽取的特征在所述框架的句子和文档层进行融合，进而设置所述句子和文档层的注意力权重。2.如权利要求1所述的方法，其特征在于，所述框架的句子层次采用将相邻的若干个单词作为窗口，用多个卷积核对窗口内所有单词向量拼接得到的矩阵进行卷积运算得到多种特征映射，所述框架的文档层次采用双向的循环神经网络对所述卷积运算得到的向量进一步编码，生成上下文相关的向量，使得每一个句子的状态编码被其前面句子的特征以及后面的句子所影响，并使...

【专利技术属性】
技术研发人员：赵鑫，
申请(专利权)人：中国人民大学，李亮，张明，
类型：发明
国别省市：北京,11