【技术实现步骤摘要】
本专利技术涉及语言模型，具体而言，涉及一种大语言模型缓存系统。
技术介绍
1、大语言模型(large language model，llm)是指使用大量文本数据训练的大规模深度学习模型，经过训练后，大语言模型可以生成自然语言文本或理解语言文本的含义，可以处理多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的一条重要途径。
2、在现有技术中，一般的大语言模型每当进行查询功能时，都会调用模型接口，若存在相似或重复的查询请求时，也会重复调用模型接口，因为大语言模型的运行空间是有限度的，且调用模型接口需要计算成本的，重复调用模型接口不仅会导致大语言模型工作效率低，还会提高成本。
技术实现思路
1、本专利技术解决的问题是如何改善大语言模型重复调用语言接口的情况，以提高工作效率，降低成本。
2、为解决上述问题，本专利技术提供一种大语言模型缓存系统，包括向量模块、搜索模块、相似度模块、调用模块、存储模块以及反馈模块；
3、所述向量模块用于将用户的查询语句向量化，生成查询语句词向量；
4、所述搜索模块用于在所述存储模块中搜索与所述查询语句词向量相似的相似语句；
5、所述相似度模块用于生成所述查询语句与所述相似语句的语义相似度，还用于当所述语义相似度大于或等于预设阈值时，将所述相似语句传输至所述调用模块，当所述语义相似度小于所述预设阈值时，将所述查询语句传输至所述调用模块；
6、所述调用模块用于根据所述相似语句调用所述
7、所述存储模块用于存储所述查询语句、所述查询语句词向量以及所述第二查询结果；
8、所述反馈模块用于将所述第一查询结果或所述第二查询结果反馈给所述用户。
9、可选地，所述存储模块包括缓存存储单元以及矢量存储单元；
10、所述缓存存储单元用于存储所述查询语句、所述相似语句、所述第一查询结果和所述第二查询结果，所述缓存存储单元包括sqlite数据库、postgresql数据库、mysql数据库、mariadb数据库、sql server数据库和oracle数据库；
11、所述矢量存储单元用于存储所述查询语句词向量，所述矢量存储单元包括milvus数据库、zilliz cloud数据库和faiss数据库。
12、可选地，所述存储模块还包括缓存管理器，所述缓存管理器分别与所述缓存存储单元以及所述矢量存储单元连接；
13、所述缓存管理器用于控制所述缓存存储单元以及所述矢量存储单元的存储操作，还用于根据逐出策略，控制所述缓存存储单元以及所述矢量存储单元的逐出操作。
14、可选地，所述相似度模块包括嵌入生成器、cnn单元、相似度单元以及传输单元；
15、所述嵌入生成器用于将所述查询语句与所述相似语句分别转换为查询语句向量和相似语句向量；
16、所述cnn单元用于将所述查询语句向量和所述相似语句向量降维，生成查询语句低维向量和相似语句低维向量；
17、所述相似度单元用于根据所述查询语句低维向量和所述相似语句低维向量，生成所述语义相似度；
18、所述传输单元，用于当所述语义相似度大于或等于所述预设阈值时，将所述相似语句传输至所述调用模块，当所述语义相似度小于所述预设阈值时，将所述查询语句词向量传输至所述调用模块。
19、可选地，所述相似度单元包括第一相似度子单元、权重调整子单元以及第二相似度子单元；
20、所述第一相似度子单元用于根据所述语句低维向量和所述相似语句低维向量，生成初步相似度；
21、所述权重调整子单元用于根据所述初步相似度调整所述第二相似度子单元的相似度权重；
22、所述第二相似度子单元用于根据调整后的所述相似度权重、所述查询语句低维向量和所述相似语句低维向量，生成所述语义相似度。
23、可选地，所述调用模块包括llm适配器，所述llm适配器通过统一api和请求协议集成不同的大语言模型，所述llm适配器用于调用所述模型接口。
24、可选地，所述反馈模块还用于获取所述用户对于所述第一查询结果的再次查询指令，并将所述再次查询指令传输至所述调用模块；
25、所述调用模块还用于根据所述再次查询指令，调用所述模型接口，生成所述第二查询结果。
26、可选地，该系统还包括接收模块，所述接收模块与所述向量模块连接，所述接收模块用于接收所述用户的所述查询语句，并将所述查询语句传输至所述向量模块。
27、可选地，所述接收模块包括restful api接口，所述restful api接口用于接收所述用户发送的所述查询语句。
28、可选地，所述向量模块包括词向量模型，所述词向量模型用于将所述查询语句向量化，生成所述查询语句词向量。
29、本专利技术的大语言模型缓存系统的有益效果为：
30、通过向量模块将用户输入的查询语句向量化，生成数学向量空间中的数学表示，即查询语句词向量，便于搜索模块根据查询语句词向量在存储模块中搜索与查询语句词向量相似的相似语句，再通过相似度模块生成查询语句词向量与相似语句的语义相似度，并当语义相似度大于或等于预设阈值时，判定查询语句与相似语句相同，也就是说，此时的用户的查询语句在本次查询之前已有对应的查询请求，并有对应的查询结果，在这种情况下，直接通过调用模块调用相似语句对应的第一查询结果，并通过反馈模块将第一查询结果反馈给用户，不需要调用模型接口，减少了模型接口的调用次数，节约了大语言模型缓存系统的运行空间，从而提高了工作效率，同时降低了成本；当语义相似度小于预设阈值时，判定查询语句与相似语句不同，也就是说，此时的用户的查询语句在之前没有对应的查询请求和对应的查询结果，此时需要调用模型接口，通过模型接口采用对应的语言模型来生成查询语句词向量对应的第二查询结果，将第二查询结果通过反馈模块反馈给用户，并将查询语句、所述查询语句词向量以及对应的第二查询结果存储在存储模块中，以丰富存储模块的数据储备，扩充知识容量，以服务于后续的查询请求，增加查询语句词向量与相似语句相同的概率，从而减少调用模型接口的次数，进而提高工作效率，降低成本。
本文档来自技高网...【技术保护点】
1.一种大语言模型缓存系统，其特征在于，包括：向量模块、搜索模块、相似度模块、调用模块、存储模块以及反馈模块；
2.根据权利要求1所述的大语言模型缓存系统，其特征在于，所述存储模块包括缓存存储单元以及矢量存储单元；
3.根据权利要求2所述的大语言模型缓存系统，其特征在于，所述存储模块还包括缓存管理器，所述缓存管理器分别与所述缓存存储单元以及所述矢量存储单元连接；
4.根据权利要求1所述的大语言模型缓存系统，其特征在于，所述相似度模块包括嵌入生成器、CNN单元、相似度单元以及传输单元；
5.根据权利要求4所述的大语言模型缓存系统，其特征在于，所述相似度单元包括第一相似度子单元、权重调整子单元以及第二相似度子单元；
6.根据权利要求1所述的大语言模型缓存系统，其特征在于，所述调用模块包括LLM适配器，所述LLM适配器通过统一API和请求协议集成不同的大语言模型，所述LLM适配器用于调用所述模型接口。
7.根据权利要求1-6任一项所述的大语言模型缓存系统，其特征在于，所述反馈模块还用于获取所述用户对于所述第一查询结
8.根据权利要求1所述的大语言模型缓存系统，其特征在于，还包括接收模块，所述接收模块与所述向量模块连接，所述接收模块用于接收所述用户的所述查询语句，并将所述查询语句传输至所述向量模块。
9.根据权利要求8所述的大语言模型缓存系统，其特征在于，所述接收模块包括RESTfulAPI接口，所述RESTfulAPI接口用于接收所述用户发送的所述查询语句。
10.根据权利要求1所述的大语言模型缓存系统，其特征在于，所述向量模块包括词向量模型，所述词向量模型用于将所述查询语句向量化，生成所述查询语句词向量。
...【技术特征摘要】
1.一种大语言模型缓存系统，其特征在于，包括：向量模块、搜索模块、相似度模块、调用模块、存储模块以及反馈模块；
2.根据权利要求1所述的大语言模型缓存系统，其特征在于，所述存储模块包括缓存存储单元以及矢量存储单元；
3.根据权利要求2所述的大语言模型缓存系统，其特征在于，所述存储模块还包括缓存管理器，所述缓存管理器分别与所述缓存存储单元以及所述矢量存储单元连接；
4.根据权利要求1所述的大语言模型缓存系统，其特征在于，所述相似度模块包括嵌入生成器、cnn单元、相似度单元以及传输单元；
5.根据权利要求4所述的大语言模型缓存系统，其特征在于，所述相似度单元包括第一相似度子单元、权重调整子单元以及第二相似度子单元；
6.根据权利要求1所述的大语言模型缓存系统，其特征在于，所述调用模块包括llm适配器，所述llm适配器通过统一api...
【专利技术属性】
技术研发人员：周辉，宋颖，洒西涛，王松全，
申请(专利权)人：安徽航天信息有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。