当前位置: 首页 > 专利查询>浙江大学专利>正文

一种大语言模型隐含语义识别能力的评估方法和装置制造方法及图纸

技术编号:41584133 阅读:20 留言:0更新日期:2024-06-06 23:59
本发明专利技术公开了一种大语言模型隐含语义识别能力的评估方法和装置,包括:构建评论文本隐含语义的测试数据集,其包含评论文本和多个维度上的标注标签;利用大语言模型预测得到测试数据集中评论文本的隐含语义、隐含意图和是否逻辑自洽;通过语义编码器对预测结果与标注标签进行语义编码后基于编码结果来评估模型在识别语义理解能力;采用了Cohen's Kappa统计分析算法对比模型的隐含意图预测结果与标注标签并评估模型在隐含意图识别能力;利用F1‑Score计算方法评估模型在逻辑自洽上的识别能力;综合三种能力得到模型的综合性隐含语义识别能力,能能促进评论文本分析领域的应用和发展。

【技术实现步骤摘要】

本专利技术属于自然语言处理与大语言模型相结合的,具体涉及一种大语言模型隐含语义识别能力的评估方法和装置


技术介绍

1、深入分析和准确识别评论文本中的隐含语义,在电商评论分析、媒体人物画像构建以及虚假信息传播监测等多个方面发挥着极为重要作用。

2、随着大语言模型的技术突破,模型在处理长文本时展现出较强的上下文的理解力及逻辑推理能力,显著提高了对文本深层语义的理解与识别水平。然而,国内外的各类网络平台上的评论文本在表达上具有很大的复杂性,产生这种复杂性的主要因素包括:在电商平台上商业竞争问题以及用户需求多样化问题等;在媒体和社交平台上隐晦发布虚假信息等。这些复杂性因素增加了大语言模型对评论文本隐含语义识别的难度,因此选择或研发一款适合分析评论文本的隐含语义的大语言模型变得至关重要。在此过程中,首先需要有一种对大语言模型在评论文本隐含语义的识别能力进行全面、准确评估的方法。

3、目前对大语言模型的主流测试和评估方法包括:标准化和通用化的语言理解测试、多任务导向的评估、以及模型输出的一致性评估等。这些主流测试和评估方法的主要原理是通过设计本文档来自技高网...

【技术保护点】

1.一种大语言模型隐含语义识别能力的评估方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,所述隐含语义标签为至少一句概括评论文本真实含义的文本;

3.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,提示词中包含的三类任务预测指令包括:预测评论文本的隐含语义,预测评论文本的隐含意图,以及预测评论文本在隐含语义中是否逻辑自洽。

4.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,利用语义编码器对隐含语义预测结果和隐含语义标签进行编码后,基于编码结果评估被测...

【技术特征摘要】

1.一种大语言模型隐含语义识别能力的评估方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,所述隐含语义标签为至少一句概括评论文本真实含义的文本;

3.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,提示词中包含的三类任务预测指令包括:预测评论文本的隐含语义,预测评论文本的隐含意图,以及预测评论文本在隐含语义中是否逻辑自洽。

4.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,利用语义编码器对隐含语义预测结果和隐含语义标签进行编码后,基于编码结果评估被测试大语言模型的语义理解能力,包括:

5.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,采用cohen's kappa统计分析算法并基于隐含意图预测结果和隐含意图标签评估被测试大语言模型的隐含意图识别能力,包括:

【专利技术属性】
技术研发人员:姚诚伟卜佳俊于智
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1