基于句子空间的模型语义理解评估方法、装置和介质制造方法及图纸

本发明专利技术公开了一种基于句子空间的模型语义理解评估方法、装置和介质，该方法包括采集能够按照语义进行分类的语句集合；收集系统对语句集合中所有句子两两之间的蕴含关系进行打分，获取蕴含得分矩阵；根据蕴含得分矩阵构建句子距离矩阵，形成句子语义空间；使用可视化方法定性观察模型的句子语义空间，获取模型的句子语义空间图；使用句子语义空间评估器根据评估指标定量评价模型的句子语义空间性质；其中评估指标包括空间稀疏度、语义相关句子聚类效果以及与人类空间的相似性。本发明专利技术无需大量人力编写，能够通过两两组合打破数据集中存在的简单规律，从而更全面地测试模型的语言理解能力。

【技术实现步骤摘要】

本专利技术涉及语义理解评估，尤其涉及一种基于句子空间的模型语义理解评估方法、装置和介质。

技术介绍

1、文本蕴含识别(natural language inference，nli)是一项经典的自然语言处理任务，该任务要求判断两个句子之间的逻辑蕴含关系，即判断根据给定的前提句能否推导得到给定的假设句。文本蕴含识别体现了语言的理解和推理能力，是包括信息检索、信息抽取在内的很多自然语言理解任务的基础，也是模型能力测试的重要指标。

2、传统的文本蕴含识别模型评估方法是基准数据集上的正确率测试。现有的基于transformer的大语言模型已经能够在文本蕴含识别基准数据集中取得非常高的、甚至超过人类的答题正确率。然而，模型在实际应用中仍然存在泛化能力差、在对抗攻击中表现不稳定等问题。以上现象反映了传统的模型评估方法的不足。研究表明，现有的基准数据集，如斯坦福自然语言推断数据集(the stanford natural language inference，snli)和多类型自然语言推理数据库(the multi-genre natural language本文档来自技高网...

【技术保护点】

1.一种基于句子空间的模型语义理解评估方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于句子空间的模型语义理解评估方法，其特征在于，所述步骤(1)包括以下子步骤：

3.根据权利要求1所述的基于句子空间的模型语义理解评估方法，其特征在于，所述步骤(2)包括以下子步骤：

4.根据权利要求3所述的基于句子空间的模型语义理解评估方法，其特征在于，所述打分方法具体包括：

5.根据权利要求3所述的基于句子空间的模型语义理解评估方法，其特征在于，所述语义相关距离矩阵Drel表示两个句子之间相互蕴含的程度，其表达式为：>

6.根据权利...

【技术特征摘要】

1.一种基于句子空间的模型语义理解评估方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于句子空间的模型语义理解评估方法，其特征在于，所述步骤(1)包括以下子步骤：

3.根据权利要求1所述的基于句子空间的模型语义理解评估方法，其特征在于，所述步骤(2)包括以下子步骤：

4.根据权利要求3所述的基于句子空间的模型语义理解评估方法，其特征在于，所述打分方法具体包括：

5.根据权利要求3所述的基于句子空间的模型语义理解评估方法，其特征在于，所述语义相关距离矩阵drel表示两个句子之间相互蕴含的程度，其表达式为：

6.根据权利要求1所述的基于句...

【专利技术属性】
技术研发人员：丁鼐，林洁妤，陈泓桦，
申请(专利权)人：南湖脑机交叉研究院，
类型：发明
国别省市：