一种基于多模型诘问的群体共识大模型幻觉降低方法技术

本发明专利技术涉及一种基于多模型诘问的群体共识大模型幻觉降低方法，包括：根据多维综合评分结果从候选模型集中筛选出Top‑N模型，对Top‑N模型执行全组合双向知识蒸馏，得到初始模型群体，对初始模型群体中每个模型加载多个领域知识库进行领域自适应微调，构建得到群体模型集；给定用户问题，触发群体模型集中多个微调后的领域专家模型进行并行推理生成初始回答，通过构建诘问集、生成诘问指令以及更新回答进行迭代优化，在迭代优化过程中采用混合核函数计算群体回答的相似度，当相似度和稳定性同时达到预设阈值，或达到最大迭代次数时，终止迭代并输出结果。与现有技术相比，本发明专利技术具有回答准确性高以及领域适应性强等优点。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其是涉及一种基于多模型诘问的群体共识大模型幻觉降低方法。

技术介绍

1、随着人工智能技术的飞速发展，大语言模型（llms）在自然语言处理的众多领域展现出了强大的能力，如文本生成、问答系统、机器翻译等。然而，大模型的幻觉问题却成为了其广泛应用的严重阻碍。幻觉是指大模型生成的文本中包含与事实不符或无中生有的内容，这使得模型输出的可靠性和实用性大打折扣，尤其在对信息准确性要求极高的场景，如医疗、金融、法律等领域，幻觉问题可能会导致严重的后果。

2、当前，针对大语言模型幻觉问题的研究众多，现有技术主要聚焦于单模型自我检测或简单多模型投票机制，但这些方法均存在一定的缺陷。

3、首先，souvik das和r. srihari在《compos mentis at semeval2024 task6: amulti-faceted role-based large language model ensemble to detecthallucination》中提出利用多模型、多角色对幻觉进行检测。他们采用的多角色模型集成本文档来自技高网...

【技术保护点】

1.一种基于多模型诘问的群体共识大模型幻觉降低方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多模型诘问的群体共识大模型幻觉降低方法，其特征在于，所述多维综合评分结果包括语义质量评分、事实准确性评分与逻辑连贯性评分，和/或所述语义质量评分综合考虑困惑度与文本生成的相关性，和/或所述事实准确性评分通过事实三元组提取器与知识图谱计算，和/或所述逻辑连贯性评分通过逻辑链分析器评估回答的逻辑推理深度。

3.根据权利要求1所述的一种基于多模型诘问的群体共识大模型幻觉降低方法，其特征在于，所述双向知识蒸馏的损失函数包括用于约束概率分布对齐的KL散度损失项、用于保持结...

【技术特征摘要】

1.一种基于多模型诘问的群体共识大模型幻觉降低方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多模型诘问的群体共识大模型幻觉降低方法，其特征在于，所述多维综合评分结果包括语义质量评分、事实准确性评分与逻辑连贯性评分，和/或所述语义质量评分综合考虑困惑度与文本生成的相关性，和/或所述事实准确性评分通过事实三元组提取器与知识图谱计算，和/或所述逻辑连贯性评分通过逻辑链分析器评估回答的逻辑推理深度。

3.根据权利要求1所述的一种基于多模型诘问的群体共识大模型幻觉降低方法，其特征在于，所述双向知识蒸馏的损失函数包括用于约束概率分布对齐的kl散度损失项、用于保持结构稳定性的均方误差损失项和用于防止过拟合的正则化损失项；其中，所述双向知识蒸馏的逆向蒸馏过程中增加有梯度反转层。

4.根据权利要求1所述的一种基于多模型诘问的群体共识大模型幻觉降低方法，其特征在于，所述领域自适应微调过程对应的领域适配损失函数包括任务损失项、蒸馏损失项和对齐损失项，采用加权和形式进行表征；其中，对齐损失采用最大均值差异度量。

5.根据权利要求4所述的一种基于多模型诘问的群体共识大模型幻觉降低方法，其特征在于，所述领域自适应微调过程包括：

<...

【专利技术属性】
技术研发人员：焦杰然，张卫东，方献平，常丽英，孙志坚，胡智焕，贺世伟，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：