当前位置: 首页 > 专利查询>复旦大学专利>正文

大语言模型不完全信息下的问题处理能力的评测装置制造方法及图纸

技术编号:42869772 阅读:46 留言:0更新日期:2024-09-27 17:30
本发明专利技术提供了一种大语言模型不完全信息下的问题处理能力的评测装置,具有这样的特征,包括评测实体生成模块用于根据现有的实体猜测数据,生成层次概念列表和相似实体;简单难度猜测模块用于根据实体及其对应的底层概念,得到对应的简单难度猜测结果和简单难度猜测轮数;普通难度猜测模块用于根据实体及其对应的中间层概念,得到对应的普通难度猜测结果和普通难度猜测轮数;困难难度猜测模块用于根据实体及其对应的底层概念和相似实体,得到对应的困难难度猜测结果、困难难度猜测轮数和问答记录;分析计算模块用于计算得到不完全信息下的问题处理能力结果。总之,本装置能够客观准确地评估大语言模型多个方面的不完全信息下的问题处理能力。

【技术实现步骤摘要】

本专利技术涉及问题处理评测领域,具体涉及一种大语言模型不完全信息下的问题处理能力的评测装置


技术介绍

1、不完全信息场景包括信息缺失、不确定性和错误信息,这些在商业谈判、军事战略、医学诊断和法律判决等领域中都可能遇到。在不完全信息下的解决问题能力是指在缺乏全面数据的情况下,能够有效处理现有信息、做出合理推论和决策的能力。这种能力在现实生活中至关重要,因为我们不可能拥有所有决策所需的信息。

2、这种能力对于大型语言模型即llms也很重要,这不仅能够反映llms的逻辑推理能力,还涉及在不断变化的环境中调整策略,从而显著提升它们在各个领域中的决策质量和稳健性。因此,一个自然的问题是:llms是否具备在不完全信息场景下的解决问题能力?

3、之前关于不完全信息场景下解决问题能力的研究,主要集中在通过游戏模拟复杂的决策环境,如狼人杀、扑克和阿瓦隆等。这些游戏要求玩家在没有完整信息的情况下做出决策,通常涉及欺骗和战略规划以隐瞒真实身份。谁是卧底是另一种不完全信息游戏,要求玩家根据他人的描述推断自己是否是间谍。在这个运行示例中,持有“面包”的玩家本文档来自技高网...

【技术保护点】

1.一种大语言模型不完全信息下的问题处理能力的评测装置,用于得到待评估大语言模型的智力水平结果,其特征在于,包括:

2.根据权利要求1所述的大语言模型不完全信息下的问题处理能力的评测装置,其特征在于:

3.根据权利要求2所述的大语言模型不完全信息下的问题处理能力的评测装置,其特征在于:

4.根据权利要求3所述的大语言模型不完全信息下的问题处理能力的评测装置,其特征在于:

5.根据权利要求2所述的大语言模型不完全信息下的问题处理能力的评测装置,其特征在于:

6.根据权利要求5所述的大语言模型不完全信息下的问题处理能力的评测装置,其...

【技术特征摘要】

1.一种大语言模型不完全信息下的问题处理能力的评测装置,用于得到待评估大语言模型的智力水平结果,其特征在于,包括:

2.根据权利要求1所述的大语言模型不完全信息下的问题处理能力的评测装置,其特征在于:

3.根据权利要求2所述的大语言模型不完全信息下的问题处理能力的评测装置,其特征在于:

4.根据权利要求3所述的大语言模型不完全信息下的问题处理能力的评测装置,其特征在于:

5.根据权利要求2所述的大语言模型不完全信息下的问题处理能力的评测装置,其特征...

【专利技术属性】
技术研发人员:陈昱妍李玥泽梁家卿肖仰华
申请(专利权)人:复旦大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1