基于压缩技术提示词优化方法技术

本发明专利技术公开了一种基于压缩技术提示词优化方法，包括：获取用户输入指令，并对输入指令的停用词进行删除处理，提取指令分词列表里的指令分词并通过搜索引擎进行检索处理；基于搜索结果语句进行组合处理；将搜索结果列表进行遍历并对停用词进行删除，以得到结果分词列表，根据所需压缩比设置相对应百分位数，以得到预设阈值；计算结果分词列表中每个分词词汇的

【技术实现步骤摘要】
基于压缩技术提示词优化方法、装置、设备及存储介质


[0001]本专利技术涉及大语言模型的
，尤其是涉及一种基于压缩技术提示词优化方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]近年来，随着人工智能的不断发展，一些知识问答的应用不断涌现，通过这种基于大语言模型的知识问答的应用，能够提高人们检索问题的效率，但是由于时代不断变化，势必会有一些新的问题出现，这个时候大模型在实时知识问答的应用中会缺少一些专业知识的补充，而缺乏最新专业知识补充，则在人们进行问答的时候大模型会通过搜索引擎进行搜索；
[0003]目前市面上普遍的解决办法是，根据用户指令先通过搜索引擎进行搜索，然后将搜索结果作为背景知识和用户输入指令一起交给大模型进行问答，但问题是，搜索结果会包含许多冗余文本
(
停用词
、
名词解释
、
常识等
)
，大模型计算资源宝贵，同时通常在上下文长度限制下，无法放置很多背景知识从而严重影响问答效果；
[0004]因此，针对上述问题本领域人员需要亟待解决
。

技术实现思路

[0005]为了解决上述
技术介绍
中提出的技术缺陷，本专利技术的目的是提供一种基于压缩技术提示词优化方法
、
装置
、
设备及存储介质，可提高回答效果，同时还能够节省大模型计算资源
。
[0006]本专利技术采用如下技术方案：
[0007]第一方面，提供了一种基于压缩技术提示词优化方法，其特征在于，包括：
[0008]获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表；提取所述指令分词列表里的指令分词并通过搜索引擎进行检索处理，以得到搜索结果语句；基于所述搜索结果语句进行组合处理，以得到搜索结果列表；将所述搜索结果列表进行遍历并对停用词进行删除，以得到结果分词列表，其中结果分词列表包括多个分词词汇；根据所需压缩比设置相对应百分位数，以得到预设阈值；计算所述结果分词列表中每个分词词汇的
Self
‑
information
，以得到多个词汇阈值；将所述结果分词列表中各所述词汇阈值与所述预设阈值进行比较，根据比较结果删除小于所述预设阈值的所述分词词汇；根据用户所述输入指令和保留所述结果分词列表中的分词词汇合并生成背景知识，以获得更好得回答效果
。
[0009]可选的，所述获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表，包括：基于所述输入指令生成指令文本；将指令文本进行分词处理以得到待处理分词；将所述待处理分词的停用词进行删除，以得到指令分词；将所述指令分词进行存储，以得到指令分词列表
。
[0010]可选的，所述将所述指令分词进行存储，以得到指令分词列表，包括：根据所述指
令文本顺序，对所述指令分词列表中的指令分词进行排序，以使所述指令分词列表的指令分词顺序与用户输入的所述指令文本顺序一致
。
[0011]可选的，所述检索处理的步骤包括：对所述指令分词列表中的指令分词进行提取；将所述提取后的指令分词通过空格进行拼接，以得到搜索语句；将所述搜索语句通过搜索引擎进行检索，以得到搜索结果语句
。
[0012]可选的，所述比较的步骤，包括：将各所述词汇阈值与预设阈值进行比较，得到多个比较结果；根据各比较结果删除小于所述预设阈值的所述结果分词词汇
。
[0013]第二方面，提供了一种基于压缩技术提示词优化装置，包括：
[0014]获取单元：用于获取用户输入指令；处理模块：用于对输入指令的停用词和搜索结果列表中的停用词进行删除，和对小于预设阈值的结果分词列表中的分词词汇进行删除；组合单元：用于对搜索结果语句进行组合；遍历模块：用于将搜索结果列表进行遍历；计算模块：用于将结果分词列表中的各分词词汇进行
Self
‑
information
计算并得出词汇阈值；预设单元：用于对所需压缩比进行百分位数设置；比较单元：用于将词汇阈值与预设阈值进行比较
。
[0015]第三方面，提供了一种基于压缩技术提示词优化设备，包括存储器和处理器：所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现如1‑6任一项所述的基于压缩技术提示词优化方法
。
[0016]第四方面，提供了一种存储介质，所述计算机程序被处理器执行时，实现如权利要求1‑7中任一项所述的基于压缩技术提示词优化方法的各个步骤
。
[0017]本专利技术的有益效果为
:
[0018]通过获取用户输入指令并对输入指令进行停用词的处理，能够使搜索结果更加精简，由于对问题进行了压缩，进而能够使其系统响应的更加快速，从而提升了用户的体验，同时将指令列表里的指令分词通过空格进行拼接作为搜索语句，再将搜索语句通过搜索引擎进行搜索，进而能够保证搜索结果语句的精确度，通过这样的方式，第一方面能够对背景知识进行压缩，第二方面能够提升其系统的响应速度，进而能够提升用户的体验；同时将检索出来的搜索结果语句进行组合处理，进而能够得到其搜索结果列表，随即再将搜索结果列表进行遍历，在遍历的同时将停用词进行删除，从而能够得到更加精准的结果分词列表；
[0019]通过计算结果分词列表中的分词词汇的
Self
‑
information
的词汇阈值，再根据所需压缩比设置相对应的预设阈值，再通过计算出每个结果分词列表中的词汇阈值与预设阈值进行比较，进而能够将小于预设阈值的结果分词列表中的分词词汇进行删除，进而保留下来的结果分词列表与用户输出指令生成背景知识，通过这种方式能够压缩文本的同时，将其冗余文本进行删除，且上述的操作不需要发送至大模型，直接在部署的时候可以以极低的成本大幅提高用户的体验
。
[0020]上述说明仅是本专利技术的技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其他目的
、
特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下
。
附图说明
[0021]图1是本专利技术实施例的一种基于压缩技术提示词优化方法流程图；
[0022]图2是本专利技术实施例的一种基于压缩技术提示词优化装置的结构示意图；
[0023]图3是本专利技术实施例的一种设备结构示意图
。
具体实施方式
[0024]在介绍本申请方案之前，首先对本文中涉及到的名词进行解释：
[0025]停用词：连接词
、
介词等，例如“和
、
的
、
于”等
。
[0026]Self
‑
information
：表示一个随机事件所包含的信息量
。
一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于压缩技术提示词优化方法，其特征在于，包括：获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表；提取所述指令分词列表里的指令分词并通过搜索引擎进行检索处理，以得到搜索结果语句；基于所述搜索结果语句进行组合处理，以得到搜索结果列表；将所述搜索结果列表进行遍历并对停用词进行删除，以得到结果分词列表，其中结果分词列表包括多个分词词汇；根据所需压缩比设置相对应百分位数，以得到预设阈值；计算所述结果分词列表中每个分词词汇的
Self
‑
information
，以得到多个词汇阈值；将所述结果分词列表中各所述词汇阈值与所述预设阈值进行比较，根据比较结果删除小于所述预设阈值的所述分词词汇；根据用户所述输入指令和保留所述结果分词列表中的分词词汇合并生成背景知识，以获得更好得回答效果
。2.
根据权利要求1所述的一种基于压缩技术提示词优化方法，其特征在于，所述获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表，包括：基于所述输入指令生成指令文本；将指令文本进行分词处理以得到待处理分词；将所述待处理分词的停用词进行删除，以得到指令分词；将所述指令分词进行存储，以得到指令分词列表
。3.
根据权利要求2所述的一种基于压缩技术提示词优化方法，其特征在于，所述将所述指令分词进行存储，以得到指令分词列表，包括：根据所述指令文本顺序，对所述指令分词列表中的指令分词进行排序，以使所述指令分词列表的指令分词顺序与用户输入的所述指令文本顺序一致
。4.
根据权利要求1所述的一种...

【专利技术属性】
技术研发人员：孙基栩，司红星，
申请(专利权)人：四维创智北京科技发展有限公司，
类型：发明
国别省市：