【技术实现步骤摘要】
本专利技术属于信息检索与查询，具体涉及一种加速大模型问答输出的系统及方法。
技术介绍
1、目前的问答系统在使用过程中，通过智能终端设备发送用户问题，在通过大模型问答服务器对问题按需进行知识以及联网搜索，最后将推理输出的问题格式传输至智能终端设备，完成问答操作。
2、但是目前的问答系统中用户每次提问，都需要对问题进行多级多层次的推理以及分析，其再分析以及推理过程中，会消耗大量的算力，无法对热点问题进行缓冲存储，无法快速匹配热点问题，影响问答输出效率，为此我们提出一种加速大模型问答输出的系统及方法。
技术实现思路
1、本专利技术的目的在于提供一种加速大模型问答输出的系统及方法，以解决上述
技术介绍
中提出的但是目前的问答系统中用户每次提问，都需要对问题进行多级多层次的推理以及分析，其再分析以及推理过程中，会消耗大量的算力，无法对热点问题进行缓冲存储，无法快速匹配热点问题，影响问答输出效率的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种加速大模型问答输出的系统，...
【技术保护点】
1.一种加速大模型问答输出的系统，包括智能终端设备以及大模型问答服务器，其特征在于：所述智能终端设备内包括智能问答客户端模块，所述智能问答客户端模块通过无线网络与问题接收和分类预处理模块交互连接，所述问题接收和分类预处理模块设置在大模型问答服务器内，所述问题接收和分类预处理模块与热点问题智能检索模块交互连接，所述热点问题智能检索模块与问答高速缓存服务器交互连接，所述热点问题智能检索模块还与智能温度客户端模块连接，所述热点问题智能检索模块以及问答高速缓存服务器均设置在大模型问答服务器内。
2.根据权利要求1所述的一种加速大模型问答输出的系统，其特征在于，所述...
【技术特征摘要】
1.一种加速大模型问答输出的系统，包括智能终端设备以及大模型问答服务器，其特征在于：所述智能终端设备内包括智能问答客户端模块，所述智能问答客户端模块通过无线网络与问题接收和分类预处理模块交互连接，所述问题接收和分类预处理模块设置在大模型问答服务器内，所述问题接收和分类预处理模块与热点问题智能检索模块交互连接，所述热点问题智能检索模块与问答高速缓存服务器交互连接，所述热点问题智能检索模块还与智能温度客户端模块连接，所述热点问题智能检索模块以及问答高速缓存服务器均设置在大模型问答服务器内。
2.根据权利要求1所述的一种加速大模型问答输出的系统，其特征在于，所述热点问题智能检索模块用于对热点问题中的特征进行实时检索。
3.根据权利要求1所述的一种加速大模型问答输出的系统，其特征在于：所述问答高速缓存服务器用于对相应热点问题的问答结果进行存储。
4.根据权利要求1所述的一种加速大模型问答输出的系统，其特征在于，所述问题接收和分类预处理模块还与知识库检索服务模块以及联网搜索服务模块交互连接，所...
【专利技术属性】
技术研发人员：屈韬，徐鑫，曹辉，
申请(专利权)人：中科城市大脑数字科技无锡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。