一种大模型提示词优化方法技术

本发明专利技术公开了一种大模型提示词优化方法，获取用户输入的指令文本；对指令文本进行分词处理，以生成指令分词列表；从所述指令分词列表里提取合适的指令分词

【技术实现步骤摘要】
一种大模型提示词优化方法、装置、设备及存储介质


[0001]本专利技术涉及大语言模型的
，尤其是涉及一种大模型提示词优化方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]近年来，随着人工智能的不断发展，一些知识问答的应用不断涌现，通过这种基于大语言模型的知识问答的应用，能够提高人们检索问题的效率，但是由于时代不断变化，势必会有一些新的问题出现，这个时候大模型在实时知识问答的应用中会缺少一些专业知识的补充，而缺乏最新专业知识补充，就很难保证模型响应的正确性和稳定性；
[0003]目前市面上普遍解决的办法是根据用户指令先通过搜索引擎进行搜索，然后将搜索结果作为背景知识和用户指令一起交给大模型进行问答，但是这种方式会使搜索引擎返回的数据会受到一些广告
、
无关信息和
html
代码等信息的干扰，从而会降低大模型响应的质量，进而提示词的质量不佳，降低了用户的体验
。
[0004]因此，解决上述问题是本领域人员亟待解决的问题
。

技术实现思路

[0005]为了解决上述
技术介绍
中提出的技术缺陷，本专利技术的目的是提供一种大模型提示词优化方法
、
装置
、
设备及存储介质，可提高大模型的响应质量
。
[0006]本专利技术采用如下技术方案：
[0007]第一方面，提供了一种大模型提示词优化方法，包括：
[0008]获取用户输入的指令文本，所述指令文本用于描述用户提出的问题；对指令文本进行分词处理，以生成指令分词列表；从所述指令分词列表里提取合适的指令分词
、
将提取出的指令分词组合为搜索语句，并通过搜索引擎进行检索，以得到检索结果并生成检索结果列表；对所述检索结果列表中的每个检索结果进行分词处理，并基于分词处理后的检索结果生成结果分词列表；计算所述指令分词列表和每一个所述结果分词列表的
Jaccard
系数，并将得到的
Jaccard
系数与预设的
Jaccard
系数阈值进行比较，进而保留与大于或等于所述预设的
Jaccard
系数阈值的
Jaccard
系数相对应的结果分词列表；将所述指令文本和保留下来的结果分词列表分别作为用户指令和背景知识发送至大模型
。
[0009]可选的，所述对指令文本进行分词处理，以生成指令分词列表之前步骤，还包括：建立停用词数据库，所述停用词数据库包含
N
个停用词；基于停用词数据库对指令文本进行筛选，从指令文本中剔除与停用词相同的词语，将指令文本剩下的关键词作为组合为分词列表；
[0010]可选的，所述将所述指令分词进行储存，以得到指令分词列表，包括：根据所述指令文本的顺序，对所述指令分词列表中的指令分词进行排序，以使所述指令分词列表的指令分词顺序与用户输入的所述指令文本顺序一致
。
[0011]可选的，所述检索步骤包括：对所述指令分词列表中的指令分词进行提取；将所述
提取后的指令分词通过空格进行拼接，以得到搜索语句；将所述搜索语句通过搜索引擎进行检索，以得到检索结果；将所述检索结果以
List
集合的形式进行存储并生成检索结果列表
。
[0012]可选的，所述将所述检索结果列表进行遍历以得到结果分词列表，包括：
[0013]基于所述检索结果列表进行遍历处理，以得到待处理结果分词；将所述待处理结果分词的停用词进行删除，以得到结果分词；根据所述结果分词以
List
集合的形式进行存储并生成结果分词列表
。
[0014]第二方面，提供了一种大模型提示词优化装置，包括：
[0015]输入信息获取单元，用于获取用户输入的指令文本，所述指令文本用于描述用户提出的问题；
[0016]分词处理模块，用于将关键词和结果分词的停用词删除；
[0017]提取单元，用于提取指令分词列表中指令分词；
[0018]搜索单元，用于对提取后的指令分词进行检索；
[0019]计算单元，用于计算所述指令分词列表和每一个所述结果分词列表以计算出多个
Jaccard
系数；
[0020]比较单元：用于将多个所述
Jaccard
系数与预设的
Jaccard
系数阈值进行比较；
[0021]判断单元
:
用于保留所述
Jaccard
系数大于或等于所述预设的
Jaccard
系数阈值的所述结果分词列表；
[0022]第三方面，提供了一种大模型提示词优化设备，包括存储器和处理器，
[0023]所述存储器，用于存储程序；
[0024]所述处理器，用于执行所述程序，实现如1‑5任一项所述的提示词优化方法
。
[0025]第四方面，提供了一种存储介质，所述计算机程序被处理器执行时，实现如权利要求1‑6中任一项所述的知识问答方法的各个步骤
。
[0026]本专利技术的有益效果为
:
[0027]通过获取用户输入的指令文本，并将指令文本通过分词处理模块进行处理，将其停用词进行删除进而能够使其用户的问题描述更加精简，同时能够节省指令分词数据的传输大小，再通过将指令文本整理生成指令分词列表，并且指令列表中的指令分词的前后顺序与用户输入的指令文本中的关键词保持一致，进而能够保证用户问题描述的准确性，同时还能保证后续搜索结果的准确性，随即将指令分词列表中的指令分词进行提取并按照顺序对其通过空格进行拼接成搜索语句，进而能够根据搜索语句通过搜索引擎进行搜索，通过拼接成搜索语句进行搜索能够保证指令分词适配搜索引擎的语法，进而能够保证其搜索的准确度，随即将搜索出来的结果分词列表进行遍历并进行停用词删除的处理，进而能够得到结果分词并将其存储倒结果分词列表中；
[0028]进一步的，通过将指令分词列表与每一个结果分词列表进行
Jaccard
系数计算，同时事先预设
Jaccard
系数阈值，再将计算好的
Jaccard
系数和预设
Jaccard
系数阈值进行比较，将小于预设
Jaccard
系数阈值的结果分词列表进行删除，从而保留下来大于或等于设定好
Jaccard
系数阈值的结果分词列表，进而能够将一些搜索到的不相关的一些广告和无关的结果信息进行抛弃，从而保留用户想要的结果分词列表，再基于所述指令文本和所述结果分词列表生成优化后的提示词，并发送至大模型，以使大模型获得更好的响应
。
[0029]上述说明仅是本专利技术的技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其他目的
、
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种大模型提示词优化方法，其特征在于，包括：获取用户输入的指令文本，所述指令文本用于描述用户提出的问题；对指令文本进行分词处理，以生成指令分词列表；从所述指令分词列表里提取合适的指令分词
、
将提取出的指令分词组合为搜索语句，并通过搜索引擎进行检索，以得到检索结果并生成检索结果列表；对所述检索结果列表中的每个检索结果进行分词处理，并基于分词处理后的检索结果生成结果分词列表；计算所述指令分词列表和每一个所述结果分词列表的
Jaccard
系数，并将得到的
Jaccard
系数与预设的
Jaccard
系数阈值进行比较，进而保留与大于或等于所述预设的
Jaccard
系数阈值的
Jaccard
系数相对应的结果分词列表；将所述指令文本和保留下来的结果分词列表分别作为用户指令和背景知识发送至大模型
。2.
根据权利要求1所述的一种大模型提示词优化方法，其特征在于，所述对指令文本进行分词处理，以生成指令分词列表之前步骤，还包括：建立停用词数据库，所述停用词数据库包含
N
个停用词；基于停用词数据库对指令文本进行筛选，从指令文本中剔除与停用词相同的词语；将指令文本剩下的关键词作为组合为分词列表
。3.
根据权利要求2所述的一种大模型提示词优化方法，其特征在于，所述将所述指令分词进行储存，以得到指令分词列表，包括：根据所述指令文本的顺序，对所述指令分词列表中的指令分词进行排序，以使所述指令分词列表的指令分词顺序与用户输入的所述指令文本顺序一致
。4.
根据权利要求1所述的一种大模型提示词优化方法，其特征在于，所述检索步骤包括：对所述指令分词列表中的指令分词进行提取；将所述提取后的指令分词通过...

【专利技术属性】
技术研发人员：孙基栩，司红星，
申请(专利权)人：四维创智北京科技发展有限公司，
类型：发明
国别省市：