自验证式的探索预训练语言模型中明喻知识的方法及其系统技术方案

本发明专利技术属于自然语言处理技术领域，具体涉及一种自验证式的探索预训练语言模型中明喻知识的方法及其系统。步骤1、构建多级明喻识别数据集；步骤2、创建多级明喻识别任务，帮助PLMs评估明喻质量；步骤3、将多级明喻识别分数融合进明喻生成任务。本发明专利技术为解决现有预训练语言模型无法很好评价明喻好坏从而无法很好地探索明喻知识的问题。

【技术实现步骤摘要】

本专利技术属于自然语言处理，具体涉及一种自验证式的探索预训练语言模型中明喻知识的方法及其系统。

技术介绍

1、明喻是日常交流中常见的语言现象，对于使话语更加生动、有趣和易于理解在人类语言中扮演着重要角色(vlad niculae and cristian danescu-niculescu-mizil.brighter than gold:figurative language in user generated comparisons.inproceedings of the 2014 conference on empirical methods in natural languageprocessing,emnlp 2014；jiayi zhang,zhi cui,xiaoqiang xia,yalong guo,yanran li,chen wei,and jianwei cui.writing polishment with simile:task,dataset andaneural approach.in thirty-fifth aaai 本文档来自技高网...

【技术保护点】

1.一种自验证式的探索预训练语言模型中明喻知识的方法，其特征在于，所述方法包括以下步骤，

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体为，构建具有多个明喻级别的明喻数据；利用明喻数据训练PLMs为每个级别分配质量分数。

3.根据权利要求2所述的方法，其特征在于，定义四个具有不同明喻质量的明喻级别；

4.根据权利要求3所述的方法，其特征在于，所述替换规则，首先，替换使用与原词相同词性的词语，即共享属性被替换为形容词，而主体/喻体被替换为可作为动词主语/宾语的名词/短语/句子；

5.根据权利要求2所述的方法，其特征在于，所述步骤2具...

【技术特征摘要】

1.一种自验证式的探索预训练语言模型中明喻知识的方法，其特征在于，所述方法包括以下步骤，

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体为，构建具有多个明喻级别的明喻数据；利用明喻数据训练plms为每个级别分配质量分数。

3.根据权利要求2所述的方法，其特征在于，定义四个具有不同明喻质量的明喻级别；

4.根据权利要求3所述的方法，其特征在于，所述替换规则，首先，替换使用与原词相同词性的词语，即共享属性被替换为形容词，而主体/喻体被替换为可作为动词主语/宾语的名词/短语/句子；

5.根据权利要求2所述的方法，其特征在于，所述步骤2具体为，采用了多级对比学习方法来训练plm；对于每个明喻层次，分配一个介于0和1之间的参考分数(1.000，0.667，0.333，0.000)；在训练过程中，mlsr模型学习预测输入序列的分数；训练目标是最小化预测分数与参考分数之间的距离；此处假设参考质量分数与明喻层次之间存在线性关系，是便于让模型自动学习不同层次的质量分数；

6.根据权利要求5所述的方法，其特征在于，分离损失通过区分代表不同明喻...

【专利技术属性】
技术研发人员：张伟男，马龙轩，柯昌鑫，刘挺，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：