当前位置: 首页 > 专利查询>之江实验室专利>正文

一种基于多模型并行推理的可交互问答系统及问答方法技术方案

技术编号:45534252 阅读:23 留言:0更新日期:2025-06-13 17:34
本发明专利技术公开一种基于多模型并行推理的可交互问答系统及问答方法,系统包括交互模块、模型数据库和答案整合模块;交互模块用于接收用户的输入,发送至答案整合模块,并进行信息展示;模型数据库用于储存n个大模型的信息集合;答案整合模块包括权重计算子模块、答案整合子模块和统计信息计算及可视化子模块;权重计算子模块基于用户提出的问题和各个大模型的信息,计算各个大模型对于用户问题的权重;答案整合子模块基于各个大模型给出的答案、各个模型权重以及用户的偏好设置参数,计算出最终整合答案;统计信息计算及可视化子模块计算统计信息和可视化处理。本发明专利技术能够便于用户干预最终整合答案和对答案溯源,使最终答案与用户需求匹配度更高。

【技术实现步骤摘要】

本专利技术设计大模型应用领域,具体涉及一种基于多模型并行推理的可交互问答系统及问答方法


技术介绍

1、gpt-3的发布让社会和市场认识到了大语言模型(下简称大模型)的价值和潜力。几年间,世界各地的公司、实验室、研究所以独立或合作的方式陆续推出了几百款大模型产品。最初发布的大模型通常基于海量的多源异构数据进行训练,这些数据来源广泛,如新闻报道、社交媒体、百科全书等,训练出的模型重点在于获得广泛的知识和语言模式,这类模型成为通用模型。在通用模型的基础上,将训练数据集中在特定领域内,例如医学专业模型的训练数据可能来自医疗记录、医学研究论文、临床影像等,这样训练出的模型在专业领域内的性能则会显著高于通用模型,称为专业模型。对于普通用户,大模型可以在工作学习生活中提供很多帮助。但目前大模型种类繁多,适配的应用场景各不相同,即使是高性能模型,在某些应用场景下的输出波动依然很大,令用户难以采信。而用户对众多大模型一一提问,再收集、评价答案,所消耗的时间成本过高,严重影响用户的生产学习效率。

2、为了能够让用户快速获得置信度较高的答案,目前采用多个大模型协作本文档来自技高网...

【技术保护点】

1.一种基于多模型并行推理的可交互问答系统,其特征在于,包括交互模块、模型数据库和答案整合模块;

2.根据权利要求1所述的基于多模型并行推理的可交互问答系统,其特征在于,所述权重计算子模块的具体执行过程如下:

3.根据权利要求2所述的基于多模型并行推理的可交互问答系统,其特征在于,所述步骤S1.4中,将提取到的用户问题的分类标签在模型数据库中对所有大模型拥有的标签进行匹配的具体匹配过程如下:

4.根据权利要求2所述的基于多模型并行推理的可交互问答系统,其特征在于,所述S1.5中,各个大模型的权重wi的计算公式如下:

5.根据权利要求2所述的...

【技术特征摘要】

1.一种基于多模型并行推理的可交互问答系统,其特征在于,包括交互模块、模型数据库和答案整合模块;

2.根据权利要求1所述的基于多模型并行推理的可交互问答系统,其特征在于,所述权重计算子模块的具体执行过程如下:

3.根据权利要求2所述的基于多模型并行推理的可交互问答系统,其特征在于,所述步骤s1.4中,将提取到的用户问题的分类标签在模型数据库中对所有大模型拥有的标签进行匹配的具体匹配过程如下:

4.根据权利要求2所述的基于多模型并行推理的可交互问答系统,其特征在于,所述s1.5中,各个大模型的权重wi的计算公式如下:

5.根据权利要求2所述的基于多模型并行推理的可交互问答系统,其特征在于,所述答案整合子模块计算出最终整合答案的过程如下:

6.根据权利要求1所述的...

【专利技术属性】
技术研发人员:舒舸李雪瑶谭笑池胜强周天舒李劲松
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1