【技术实现步骤摘要】
本专利技术属于自然语言处理与大语言模型相结合的,具体涉及一种大语言模型隐含语义识别能力的评估方法和装置。
技术介绍
1、深入分析和准确识别评论文本中的隐含语义,在电商评论分析、媒体人物画像构建以及虚假信息传播监测等多个方面发挥着极为重要作用。
2、随着大语言模型的技术突破,模型在处理长文本时展现出较强的上下文的理解力及逻辑推理能力,显著提高了对文本深层语义的理解与识别水平。然而,国内外的各类网络平台上的评论文本在表达上具有很大的复杂性,产生这种复杂性的主要因素包括:在电商平台上商业竞争问题以及用户需求多样化问题等;在媒体和社交平台上隐晦发布虚假信息等。这些复杂性因素增加了大语言模型对评论文本隐含语义识别的难度,因此选择或研发一款适合分析评论文本的隐含语义的大语言模型变得至关重要。在此过程中,首先需要有一种对大语言模型在评论文本隐含语义的识别能力进行全面、准确评估的方法。
3、目前对大语言模型的主流测试和评估方法包括:标准化和通用化的语言理解测试、多任务导向的评估、以及模型输出的一致性评估等。这些主流测试和评估方法
...【技术保护点】
1.一种大语言模型隐含语义识别能力的评估方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,所述隐含语义标签为至少一句概括评论文本真实含义的文本;
3.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,提示词中包含的三类任务预测指令包括:预测评论文本的隐含语义,预测评论文本的隐含意图,以及预测评论文本在隐含语义中是否逻辑自洽。
4.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,利用语义编码器对隐含语义预测结果和隐含语义标签进行编码后,
...【技术特征摘要】
1.一种大语言模型隐含语义识别能力的评估方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,所述隐含语义标签为至少一句概括评论文本真实含义的文本;
3.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,提示词中包含的三类任务预测指令包括:预测评论文本的隐含语义,预测评论文本的隐含意图,以及预测评论文本在隐含语义中是否逻辑自洽。
4.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,利用语义编码器对隐含语义预测结果和隐含语义标签进行编码后,基于编码结果评估被测试大语言模型的语义理解能力,包括:
5.根据权利要求1所述的大语言模型隐含语义识别能力的评估方法,其特征在于,采用cohen's kappa统计分析算法并基于隐含意图预测结果和隐含意图标签评估被测试大语言模型的隐含意图识别能力,包括:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。