【技术实现步骤摘要】
本专利技术属于自然语言处理领域，具体涉及一种面向文本的隐喻识别模型及方法。
技术介绍
1、根据文本中是否包含显式情感词，文本的情感可以分为显式情感和隐式情感。例如，显式情感词“love”和“bad”，根据这些词可以直接推断出用户的情感倾向。按照表达方式的不同，隐式情感又可分为事实型隐式情感和修辞型隐式情感。事实型隐式情感通常出现于无显式情感词但表达了情感色彩的客观陈述句中，例如“there is ash on thistable.”没有显式情感词，但用户明显在表达消极情感。修辞型隐式情感则通过修辞方法来传达情感。常见的隐式情感修辞方法包括隐喻、反讽和幽默等。面向文本的隐喻识别旨在赋予计算机像人类一样分析理解隐喻的能力，研究隐喻有助于更好地挖掘语义和情感信息。面向文本的隐喻识别的方法主要分为三种类型，即基于手工特征和机器学习的隐喻识别方法、基于深度学习的隐喻识别方法和基于预训练语言模型的隐喻识别方法。
2、基于手工特征和机器学习的隐喻识别方法。shutova等人采用基于规则的算法，从语料库中收集大量具有类似句法结构的隐喻表达。通过聚类动词和名词的关联规则构建隐喻识别模型，进而捕捉隐喻表达。但是手工特征工程对于不同的任务需要进行不同的特征提取，需要耗费大量的人力物力。
3、基于深度学习的隐喻识别方法。随着深度学习的兴起和词嵌入模型的出现，手工特征工程逐渐退出历史舞台。le等人认为单独考虑隐喻识别这一个任务会缺少和其他相关任务的交互信息，因此提出使用多任务学习框架来获取相关任务的交互信息。该多任务学习框架采用图
4、基于预训练语言模型的隐喻识别方法。su等人将隐喻识别视为阅读理解问题，使用bert的变体模型roberta对全局和局部上下文进行编码，并结合了查询特征、细粒度词性特征和上下文特征等多种语言特征。
5、虽然深度学习方法和预训练语言模型能够提升隐喻识别的准确率，但目前的研究仍存在两个不足之处。首先，现有的隐喻识别模型没有充分结合先验常识知识，而隐喻目标词的新含义往往与日常生活中的含义不同，这可能导致模型无法充分理解句子的语义信息。其次，语法信息有利于提升隐喻识别模型的性能，但过于宽泛的语法上下文可能会引入噪声，导致隐喻目标词无法聚焦于语法关联性更强的上下文词，从而难以获得语法上下文信息增强的目标词特征表示。
技术实现思路
1、针对现有技术的不足，本专利技术设计一种面向文本的隐喻识别模型及方法。
2、一种面向文本的隐喻识别模型，包括：bert词嵌入层、常识知识嵌入层、目标词上下文层、目标词注意力层、目标词语义层和预测层六个模块；
3、所述bert词嵌入层bert embedding layer，bel，将句子s和目标词t转化为考虑上下文语义关系的词向量表示；
4、所述常识知识嵌入层commonsense embedding layer，cel，包括常识知识获取和常识知识选择两个子模块，首先采用comet引入外部常识知识，然后衡量各类型常识知识的重要性，构建出融合多类型常识知识的特征表示；
5、所述目标词上下文层target context layer，tcl，首先采用基于面向目标词的句法依赖树的gcn建模来融合常识知识特征的目标词语法上下文信息，然后通过掩码机制掩盖非目标词的特征表示，仅保留上下文信息增强的目标词表示；
6、所述目标词注意力层target attention layer，tal，通过注意力机制对cel和tcl输出结果进行交互，捕获与目标词在语义上关联性更强的重要特征，输出概率分布y1；
7、所述目标词语义层target semantic layer，tsl，首先利用bel的输出提取目标词的字面意思和在特定上下文中的非字面意思，然后根据隐喻识别理论即“隐喻识别程序”和“选择倾向冲突”对目标词语义信息构建特征表示，输出概率分布y2；
8、所述预测层prediction layer，pl，对tal得到的概率分布y1和tsl得到的概率分布y2进行加权求和，并通过softmax函数进行归一化处理，得到最终的隐喻标签预测概率分布预测出隐喻标签；
9、一种面向文本的隐喻识别方法，基于上述一种面向文本的隐喻识别模型实现，具体包括以下步骤：
10、步骤1：获取包含隐喻识别基准英文数据记录的数据集，并对其进行预处理；
11、所述对数据集进行预处理，具体为：
12、数据集解析；数据集中每条记录包括句子、目标词及位置索引以及隐喻标签，读取并去除句子首尾多余空格，将句子中所有字符转化为小写形式；
13、分词处理；选取transformers库中的berttokenizer进行分词，该分词方式首先用空格将文本划分为原始的单词序列，然后依次遍历每个单词，采用基于贪婪最长优先匹配原则将单词进一步拆分为若干个子词；
14、文本序列化表示；采用bert预训练模型中的词汇表将分词后的单词转化为对应的位置索引，得到以位置索引构成的文本序列化表示；
15、截断与补齐；当文本中句子长度超过设置的句子最大长度时，则将多余部分截断；当句子长度不足最大长度时，则使用[pad]标识符来对长度不足的部分进行填充；
16、标记；将文本按照空格拆分为单词序列，然后依次对每个单词采用berttokenizer进行分词，直至遍历至目标词时停止，此时记录目标词在序列中的起始索引区间，并将该区间内单词标记为分词后的目标词；
17、步骤2：读取经过预处理后数据集中的每条句子si和目标词wi，根据spacy工具构建每条句子si的面向目标词的句法依赖树t，并将其转换为邻接矩阵a；
18、构建句法依赖树具体为：将目标词作为依赖树的根节点，然后遍历原始依赖树中所有节点，保留其中所有子节点是目标词的节点以及目标词的所有子节点，并舍弃原始依赖树中的其他边关系，并将其转换为邻接矩阵a；
19、步骤3：利用bert词嵌入层，分别得到句子si和目标词wi的上下文嵌入表示hs和ht，并进一步得到句子和目标词的字面意思；
20、把句子si转换为句子上下文sc：[cls]+si+[sep]，将目标词wi转换为目标词上下文tc：[cls]+wi+[sep]；然后，对句子上下文和目标词上下文按照步骤1进行预处理，将其转换为文本序列化表示；其中，目标词被berttokenizer拆分为v个token；句子si经过berttokenizer后的分词序列为tokens＝{t1,t2,...,tu,...,tu+v-1,...,tn}，其中{tu,...,tu+v-1}为分词后的目标词部分，u表示目标词在分词后序列中的起始位置；最后，将数据预处理后的句子上下文和目标词上下文分别输入到bert模型中，得到句子上下文嵌入和目标词上下本文档来自技高网...
【技术保护点】
1.一种面向文本的隐喻识别模型，其特征在于，包括：BERT词嵌入层、常识知识嵌入层、目标词上下文层、目标词注意力层、目标词语义层和预测层六个模块；
2.一种面向文本的隐喻识别方法，基于上述权利要求1一种面向文本的隐喻识别模型实现，其特征在于，具体包括以下步骤：
3.根据权利要求2所述的一种面向文本的隐喻识别方法，其特征在于，步骤1所述对数据集进行预处理，具体为：
4.根据权利要求2所述的一种面向文本的隐喻识别方法，其特征在于，步骤3具体为：
5.根据权利要求2所述的一种面向文本的隐喻识别方法，其特征在于，步骤4所述利用常识知识获取子模块得到九种常识知识向量具体为：先将句子si转换为COMET能处理的形式常识知识类型ri∈R，R＝{xIntent,xReact,oReact,xWant,oWant,xEffect,oEffect,xNeed,xAttr}，i＝1,2,...,9，表示拼接操作，S表示句子集合；弃用COMET的解码器部分，采用编码器部分对进行常识知识特征提取，并取编码器最后一层输出作为常识知识特征i代表常识知识类型，d是
6.根据权利要求2所述的一种面向文本的隐喻识别方法，其特征在于，步骤5具体为：
7.根据权利要求2所述的一种面向文本的隐喻识别方法，其特征在于，步骤6具体为：
8.根据权利要求2所述的一种面向文本的隐喻识别方法，其特征在于，步骤7具体为：
9.根据权利要求2所述的一种面向文本的隐喻识别方法，其特征在于，步骤8具体为：
10.根据权利要求2所述的一种面向文本的隐喻识别方法，其特征在于，步骤9采用交叉熵损失函数，并添加L2正则化缓解过拟合，具体为：
...【技术特征摘要】
1.一种面向文本的隐喻识别模型，其特征在于，包括：bert词嵌入层、常识知识嵌入层、目标词上下文层、目标词注意力层、目标词语义层和预测层六个模块；
2.一种面向文本的隐喻识别方法，基于上述权利要求1一种面向文本的隐喻识别模型实现，其特征在于，具体包括以下步骤：
3.根据权利要求2所述的一种面向文本的隐喻识别方法，其特征在于，步骤1所述对数据集进行预处理，具体为：
4.根据权利要求2所述的一种面向文本的隐喻识别方法，其特征在于，步骤3具体为：
5.根据权利要求2所述的一种面向文本的隐喻识别方法，其特征在于，步骤4所述利用常识知识获取子模块得到九种常识知识向量具体为：先将句子si转换为comet能处理的形式常识知识类型ri∈r，r＝{xintent,xreact,oreact,xwant,owant,xeffect,oeffect,xneed,xattr}，i＝1,2,...,9，...
【专利技术属性】
技术研发人员：潘徐思，马步云，赵雄雄，韩东红，段欣伸，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。