一种看图写作型作文自动评分方法和系统技术方案

本发明专利技术公开了一种看图写作型作文自动评分方法和系统。所述方法包括获取所述作文文本对应的n‑gram特征，获取作文文本对应的句子表示，获取所述句子表示对应的隐含层输出矩阵，获取所述图片对应的特征向量矩阵，计算所述隐含层输出矩阵和特征向量矩阵对应的相似度矩阵，执行第一注意力操作和第二注意力操作，计算得到交互信息矩阵，以及将所述交互信息矩阵输入到全连接层，输出评分分数等步骤。本发明专利技术通过执行co‑attention机制将隐含层输出矩阵中的文本语义信息与特征向量矩阵中的视觉语义信息融合，可以实现针对看图写作型作文的自动评分。本发明专利技术广泛应用于看图写作型作文自动评分技术领域。

An Automatic Scoring Method and System for Picture-reading Writing Compositions

【技术实现步骤摘要】
一种看图写作型作文自动评分方法和系统
本专利技术涉及图像识别和自然语言处理
，尤其是一种看图写作型作文自动评分方法和系统。
技术介绍
看图写作是指应试人员根据题目给出的图片进行写作的过程，看图写作型作文的评分标准之一是应试人员所写的作文文本所反映的内容与题目图片所反映的内容的契合程度，即作文文本越能全面准确地反映题目图片的内容，则作文文本的评分分数越高。现代考试具有规模化和标准化的趋势，这使得人工阅卷的难度越来越大。由于人工阅卷具有很强的主观性，很难在大规模考试中保持稳定的阅卷标准以及较高的阅卷效率。通过计算机阅卷可以在一定程度上解决阅卷公平和阅卷效率的问题。现有的针对作文的计算机自动阅卷技术主要基于传统特征工程或基于神经网络实现，其中基于神经网络的计算机自动阅卷技术具有更优的技术效果。基于神经网络的计算机自动阅卷技术的原理是将作文文本中的词语转换为词向量输入到卷积神经网络或循环神经网络进行句子编码和文章编码，最终得到包含作文高级抽象语义特征的作文表示，但这种技术由于没有获取题目图片中的语义信息，只能应用于话题作文等题型，难以适应看图写作型作文的评分要求。
技术实现思路
为了解决上述技术问题，本专利技术的目在于提供一种看图写作型作文自动评分方法和系统。一方面，本专利技术实施例包括一种看图写作型作文自动评分方法，所述看图写作型作文包括作为题目的图片和作为作答内容的作文文本，所述方法包括以下步骤：使用第一卷积神经网络获取所述作文文本句子对应的n-gram特征；使用注意力机制模型根据所述n-gram特征获取所述作文文本对应句子的隐含表示；使用长短时记忆网络获取所述作文文本对应的隐含层输出矩阵；使用第二卷积神经网络获取所述图片对应的特征向量矩阵；计算所述隐含层输出矩阵和特征向量矩阵对应的相似度矩阵；执行第一注意力操作和第二注意力操作；所述第一注意力操作用于对所述特征向量矩阵进行线性变换；所述第二注意力操作用于对所述隐含层输出矩阵进行线性变换；根据所述隐含层输出矩阵、隐含层输出矩阵经过线性变换后的结果以及特征向量矩阵经过线性变换后的结果，计算得到交互信息矩阵；将所述交互信息矩阵输入到全连接层，输出评分分数。进一步地，所述使用第一卷积神经网络获取所述作文文本对应的n-gram特征这一步骤，所用的计算公式为：zi＝f(Wz·[wi:wi+l-1]+bz)式中，zi为n-gram特征，Wz为第一卷积神经网络的权重矩阵，bz为第一卷积神经网络的偏置，l为第一卷积神经网络的卷积窗口大小，wi为所述作文文本对应句子中各单词的词向量。进一步地，所述使用注意力机制模型根据所述n-gram特征获取作文文本对应的句子表示这一步骤，所用的计算公式为：式中，Wm和wa为注意力机制模型的参数矩阵，bm为注意力机制模型的偏置，zi为所述n-gram特征，s为句子表示。进一步地，所述计算所述隐含层输出矩阵和特征向量矩阵对应的相似度矩阵这一步骤，所用的计算公式为：式中，Sim为相似度矩阵，Wsim为权重矩阵，bsim为偏置，ht为隐含层输出矩阵H＝{h1，h2，...}中的第t行元素，pt为特征向量矩阵P＝{p1，p2，...}中的第t行元素，*表示矩阵中的对应元素相乘，[；]表示向量拼接运算。进一步地，所述第一注意力操作所用的计算公式为：式中，Sim为相似度矩阵，P为特征向量矩阵，为特征向量矩阵经过线性变换后的结果。进一步地，所述第二注意力操作所用的计算公式为：式中，Sim为相似度矩阵，H为隐含层输出矩阵，用于自身复制多次后得到为特征向量矩阵经过线性变换后的结果。进一步地，所述根据所述隐含层输出矩阵、隐含层输出矩阵经过线性变换后的结果以及特征向量矩阵经过线性变换后的结果，计算得到交互信息矩阵这一步骤，所用的计算公式为：式中，H为隐含层输出矩阵，为隐含层输出矩阵经过线性变换后的结果，为特征向量矩阵经过线性变换后的结果，[；]表示向量拼接运算。另一方面，本专利技术实施例还包括一种看图写作型作文自动评分系统，包括：第一卷积神经网络模块，用于所述作文文本对应句子的n-gram特征；注意力机制模型模块，用于根据所述n-gram特征获取作文文本对应句子的隐含表示；长短时记忆网络模块，用于获取所述作文文本对应的隐含层输出矩阵；第二卷积神经网络模块，用于获取所述图片对应的特征向量矩阵；相似度矩阵计算模块，用于计算所述隐含层输出矩阵和特征向量矩阵对应的相似度矩阵；注意力操作模块，用于执行第一注意力操作和第二注意力操作；所述第一注意力操作用于对所述特征向量矩阵进行线性变换；所述第二注意力操作用于对所述隐含层输出矩阵进行线性变换；交互信息矩阵计算模块，用于根据所述隐含层输出矩阵、隐含层输出矩阵经过线性变换后的结果以及特征向量矩阵经过线性变换后的结果，计算得到交互信息矩阵；全连接层模块，用于将所述交互信息矩阵输入到全连接层，输出评分分数。本专利技术的有益效果是：本专利技术通过执行co-attention机制将隐含层输出矩阵中的文本语义信息与特征向量矩阵中的视觉语义信息融合，可以实现针对看图写作型作文的自动评分。附图说明图1为本专利技术看图写作型作文自动评分方法的实施例流程图；图2和图3为本专利技术实施例中长短时记忆网络的原理图；图4为本专利技术实施例中第二卷积神经网络的原理图；图5为本专利技术实施例中所进行的实验处理的图片。具体实施方式本实施例包括一种看图写作型作文自动评分方法，参照图1，所述方法包括以下步骤：S1.使用第一卷积神经网络获取所述作文文本句子对应的n-gram特征；S2.使用注意力机制模型根据所述n-gram特征获取所述作文文本对应句子的隐含表示；S3.使用长短时记忆网络获取所述作文文本对应的隐含层输出矩阵；S4.使用第二卷积神经网络获取所述图片对应的特征向量矩阵；S5.计算所述隐含层输出矩阵和特征向量矩阵对应的相似度矩阵；S6.执行第一注意力操作和第二注意力操作；所述第一注意力操作用于对所述特征向量矩阵进行线性变换；所述第二注意力操作用于对所述隐含层输出矩阵进行线性变换；S7.根据所述隐含层输出矩阵、隐含层输出矩阵经过线性变换后的结果以及特征向量矩阵经过线性变换后的结果，计算得到交互信息矩阵；S8.将所述交互信息矩阵输入到全连接层，输出评分分数。步骤S1中，使用第一卷积神经网络提取作文文本对应句子的n-gram特征信息，这一过程用公式表示为：zi＝f(Wz·[wi:wi+l-1]+bz)其中，在将作文文本输入到第一卷积神经网络前，对作文文本进行了句子划分和单词划分两个处理，使得作文文本表示为m个句子的集合{s1，s2，…，sm}，每个句子表示为n个单词的集合{w1，w2，…，wn}，其中wn是相应单词的词向量表示。在步骤S1中，使用tanh函数作为第一卷积神经网络的激活函数，将第一卷积神经网络的权重矩阵设为Wz，偏置设为bz，卷积窗口大小设为l，可以得到作文文本对应句子的n-gram特征zi。在步骤S2中，注意力机制模型对作文文本对应句子的n-gram特征zi的处理过程可以用公式来表示。其中，注意力机制模型的参数矩阵设为Wm和wa，偏置设为bm，最终得到的s为作文文本对应句子的隐含表示。步骤S1和S2完成了针对作文文本的句子层级的编码，即作文文本{s1，s2，…，sm}中本文档来自技高网...

【技术保护点】
1.一种看图写作型作文自动评分方法，所述看图写作型作文包括作为题目的图片和作为作答内容的作文文本，其特征在于，包括以下步骤：使用第一卷积神经网络获取所述作文文本句子对应的n‑gram特征；使用注意力机制模型根据所述n‑gram特征获取所述作文文本对应句子的隐含表示；使用长短时记忆网络获取所述作文文本对应的文档级隐含层输出矩阵；使用第二卷积神经网络获取所述图片对应的特征向量矩阵；计算所述隐含层输出矩阵和特征向量矩阵对应的相似度矩阵；执行第一注意力操作和第二注意力操作；所述第一注意力操作用于对所述特征向量矩阵进行线性变换；所述第二注意力操作用于对所述隐含层输出矩阵进行线性变换；根据所述隐含层输出矩阵、隐含层输出矩阵经过线性变换后的结果以及特征向量矩阵经过线性变换后的结果，计算得到交互信息矩阵；将所述交互信息矩阵输入到全连接层，输出评分分数。

【技术特征摘要】
1.一种看图写作型作文自动评分方法，所述看图写作型作文包括作为题目的图片和作为作答内容的作文文本，其特征在于，包括以下步骤：使用第一卷积神经网络获取所述作文文本句子对应的n-gram特征；使用注意力机制模型根据所述n-gram特征获取所述作文文本对应句子的隐含表示；使用长短时记忆网络获取所述作文文本对应的文档级隐含层输出矩阵；使用第二卷积神经网络获取所述图片对应的特征向量矩阵；计算所述隐含层输出矩阵和特征向量矩阵对应的相似度矩阵；执行第一注意力操作和第二注意力操作；所述第一注意力操作用于对所述特征向量矩阵进行线性变换；所述第二注意力操作用于对所述隐含层输出矩阵进行线性变换；根据所述隐含层输出矩阵、隐含层输出矩阵经过线性变换后的结果以及特征向量矩阵经过线性变换后的结果，计算得到交互信息矩阵；将所述交互信息矩阵输入到全连接层，输出评分分数。2.根据权利要求1所述的一种看图写作型作文自动评分方法，其特征在于，所述使用第一卷积神经网络获取所述作文文本句子对应的n-gram特征这一步骤，所用的计算公式为：zi＝f(Wz·[wi：wi+l-1]+bz)式中，zi为n-gram特征，Wz为第一卷积神经网络的权重矩阵，bz为第一卷积神经网络的偏置，l为第一卷积神经网络的卷积窗口大小，wi为所述作文文本句子中各单词对应的词向量。3.根据权利要求1所述的一种看图写作型作文自动评分方法，其特征在于，所述使用注意力机制模型根据所述n-gram特征获取作文文本对应的句子表示这一步骤，所用的计算公式为：式中，Wm和wa为注意力机制模型的参数矩阵，bm为注意力机制模型的偏置，zi为所述n-gram特征，s为句子表示。4.根据权利要求1所述的一种看图写作型作文自动评分方法，其特征在于，所述计算所述作文文本隐含层输出矩阵和题目图片特征向量矩阵对应的相似度矩阵这一步骤，所用的计算公式为：式中，Sim为相似度矩阵，Wsim为权重矩阵，bsim为偏置，ht为所述作文文本隐含层输...

【专利技术属性】
技术研发人员：李霞，陈敏萍，
申请(专利权)人：广东外语外贸大学，
类型：发明
国别省市：广东,44