【技术实现步骤摘要】
本专利技术涉及知识库构建，尤其涉及一种基于llm的书籍知识问题索引知识库构建方法和系统。
技术介绍
1、随着人工智能技术的不断发展，知识库的构建也逐渐转向使用自然语言处理技术。llm大语言模型具有强大的自然语言处理和理解能力，研究如何利用llm技术帮助构建书籍知识库，实现对知识要素的快速获取、管理和应用，可以提高知识库构建能力和效率，并很好的激活书籍知识作为数据要素流通交易的商业价值。
2、书籍知识库依据各领域的大量书籍知识进行构建，提供准确性较高的科普知识和专业知识。传统的书籍知识库通常让用户可以方便地通过输入关键词、短语或作者信息等找到所需要的书籍信息，能够进行搜索的书籍信息一般包括书籍的标题、作者、出版社、isbn号、简介、目录、定价等。但是，想要获得某方面的具体知识概念、技术或应用还需要入书籍详情页进行阅读查找。
3、因此，如何提供一种更加高效的书籍知识库构建方法，提高知识匹配和知识提取功能，使其具有快速、准确查找所需书籍知识的能力，从而提高用户的使用体验和知识的利用率，成为亟待解决的技术问题。
技术实现思路
1、有鉴于此，为了克服现有技术的不足，本专利技术旨在提供一种基于llm的书籍知识问题索引知识库构建方法和系统。
2、根据本专利技术的第一方面，提供一种基于llm的书籍知识问题索引知识库构建方法，包括：
3、采集书籍知识文本信息，通过分割采集的书籍知识文本信息，构建书籍知识片段集；
4、根据构建的书籍知识片段集
5、根据生成的语料集构建问题索引向量库和辅助索引向量库；
6、通过建立书籍知识片段集与问题索引向量库和辅助索引向量库的映射关系，构建书籍知识问题索引知识库。
7、优选地，本专利技术基于llm的书籍知识问题索引知识库构建方法中，采集书籍知识文本信息，通过分割采集的书籍知识文本信息，构建书籍知识片段集，包括：
8、根据书籍知识问题索引知识库的构建规模、构建目标和构建类型，采集书籍知识文本信息；
9、构建书籍知识文本分割策略，根据构建的书籍知识文本分割策略对采集的书籍知识文本信息进行分割，获得文本向量；
10、根据采集的书籍知识文本信息为分割获得的文本向量生成对应的向量标签，将文本向量和对应的向量标签存储为书籍知识片段集。
11、优选地，本专利技术基于llm的书籍知识问题索引知识库构建方法中，构建书籍知识文本分割策略，根据构建的书籍知识文本分割策略对采集的书籍知识文本信息进行分割，获得文本向量，包括：依次按照章、节、小节、段落和符号的优先级顺序对采集的书籍知识文本信息进行分割，在书籍知识文本信息分割过程中通过语义约束模型对分割进行约束。
12、优选地，本专利技术基于llm的书籍知识问题索引知识库构建方法中，根据构建的书籍知识片段集，通过prompt提示工程配置和llm大语言模型生成语料集，包括：
13、根据构建的书籍知识片段集，配置生成问题、摘要和关键词的prompt提示工程；
14、调用llm大语言模型服务接口根据生成的prompt提示工程分别生成语料集，所述语料集包括问题集、摘要集和关键词集。
15、优选地，本专利技术基于llm的书籍知识问题索引知识库构建方法中，根据生成的语料集构建问题索引向量库和辅助索引向量库，包括：
16、对语料集中问题集中的问题进行有效性测评，对经过测评的问题进行抽样，采用测评结果对抽样的问题进行问题有效性标注；
17、采用标注的问题对llm大语言模型进行微调训练，为llm大语言模型设置问题有效性标注准确率阈值，根据问题有效性标注准确率阈值对微调训练后的llm大语言模型进行评估；
18、当经过微调训练后的llm大语言模型的输出结果不小于设置的问题有效性标注准确率阈值，采用所述llm大语言模型对语料集中的问题集进行问题有效性标注；
19、根据问题有效性标注对问题集中的无效问题进行剔除，获得有效问题集，通过文本向量化将有效问题集转换为问题索引向量库。
20、优选地，本专利技术基于llm的书籍知识问题索引知识库构建方法中，根据生成的语料集构建问题索引向量库和辅助索引向量库，包括：通过文本向量化将语料集中的摘要集和关键词集转换为辅助索引库。
21、优选地，本专利技术基于llm的书籍知识问题索引知识库构建方法中，通过建立书籍知识片段集与问题索引向量库和辅助索引向量库的映射关系，构建书籍知识问题索引知识库，包括：
22、将问题索引向量库作为主索引，建立书籍知识片段集与问题索引向量库的主映射关系；
23、将辅助索引向量库作为辅助索引，建立书籍知识片段集与辅助索引向量库的辅助映射关系；
24、通过建立映射关系的书籍知识片段集、问题索引向量库以及辅助索引向量库构建书籍知识问题索引知识库。
25、根据本专利技术的第二方面，提供一种基于llm的书籍知识问题索引知识库构建系统，该系统包括构建服务端，该构建服务端用于：采集书籍知识文本信息，通过分割采集的书籍知识文本信息，构建书籍知识片段集；根据构建的书籍知识片段集，通过prompt提示工程配置和llm大语言模型生成语料集；根据生成的语料集构建问题索引向量库和辅助索引向量库；通过建立书籍知识片段集与问题索引向量库和辅助索引向量库的映射关系，构建书籍知识问题索引知识库。
26、优选地，本专利技术基于llm的书籍知识问题索引知识库构建系统中，构建服务端包括：
27、采集分割模块，用于采集书籍知识文本信息，通过分割采集的书籍知识文本信息，构建书籍知识片段集；
28、语料集生成模块，用于根据构建的书籍知识片段集，通过prompt提示工程配置和llm大语言模型生成语料集；
29、书籍知识问题索引知识库构建模块，用于根据生成的语料集构建问题索引向量库和辅助索引向量库；通过建立书籍知识片段集与问题索引向量库和辅助索引向量库的映射关系，构建书籍知识问题索引知识库。
30、根据本专利技术的第三方面，提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本专利技术第一方面所述的方法。
31、本专利技术基于llm的书籍知识问题索引知识库构建方法和系统，通过对采集的书籍知识文本信息分割获得书籍知识片段集；融合prompt提示工程配置和llm大语言模型生成语料集；根据生成的语料集构建问题索引向量库和辅助索引向量库；通过建立书籍知识片段集与问题索引向量库和辅助索引向量库的映射关系，实现了一种书籍知识问题索引知识库构建模式，基于构建的书籍知识问题索引知识库，用户可以准确进行书籍知识搜索、提取和问答，从而提高书籍知识的可用性和利用率。
本文档来自技高网...【技术保护点】
1.一种基于LLM的书籍知识问题索引知识库构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于LLM的书籍知识问题索引知识库构建方法，其特征在于，采集书籍知识文本信息，通过分割采集的书籍知识文本信息，构建书籍知识片段集，包括：
3.根据权利要求2所述的基于LLM的书籍知识问题索引知识库构建方法，其特征在于，构建书籍知识文本分割策略，根据构建的书籍知识文本分割策略对采集的书籍知识文本信息进行分割，获得文本向量，包括：依次按照章、节、小节、段落和符号的优先级顺序对采集的书籍知识文本信息进行分割，在书籍知识文本信息分割过程中通过语义约束模型对分割进行约束。
4.根据权利要求1所述的基于LLM的书籍知识问题索引知识库构建方法，其特征在于，根据构建的书籍知识片段集，通过prompt提示工程配置和LLM大语言模型生成语料集，包括：
5.根据权利要求1所述的基于LLM的书籍知识问题索引知识库构建方法，其特征在于，根据生成的语料集构建问题索引向量库和辅助索引向量库，包括：
6.根据权利要求1所述的基于LLM的书籍知识问题索
7.根据权利要求1所述的基于LLM的书籍知识问题索引知识库构建方法，其特征在于，通过建立书籍知识片段集与问题索引向量库和辅助索引向量库的映射关系，构建书籍知识问题索引知识库，包括：
8.一种基于LLM的书籍知识问题索引知识库构建系统，其特征在于，所述系统包括构建服务端，所述构建服务端用于：采集书籍知识文本信息，通过分割采集的书籍知识文本信息，构建书籍知识片段集；根据构建的书籍知识片段集，通过prompt提示工程配置和LLM大语言模型生成语料集；根据生成的语料集构建问题索引向量库和辅助索引向量库；通过建立书籍知识片段集与问题索引向量库和辅助索引向量库的映射关系，构建书籍知识问题索引知识库。
9.根据权利要求8所述的基于LLM的书籍知识问题索引知识库构建系统，其特征在于，构建服务端包括：
10.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于llm的书籍知识问题索引知识库构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于llm的书籍知识问题索引知识库构建方法，其特征在于，采集书籍知识文本信息，通过分割采集的书籍知识文本信息，构建书籍知识片段集，包括：
3.根据权利要求2所述的基于llm的书籍知识问题索引知识库构建方法，其特征在于，构建书籍知识文本分割策略，根据构建的书籍知识文本分割策略对采集的书籍知识文本信息进行分割，获得文本向量，包括：依次按照章、节、小节、段落和符号的优先级顺序对采集的书籍知识文本信息进行分割，在书籍知识文本信息分割过程中通过语义约束模型对分割进行约束。
4.根据权利要求1所述的基于llm的书籍知识问题索引知识库构建方法，其特征在于，根据构建的书籍知识片段集，通过prompt提示工程配置和llm大语言模型生成语料集，包括：
5.根据权利要求1所述的基于llm的书籍知识问题索引知识库构建方法，其特征在于，根据生成的语料集构建问题索引向量库和辅助索引向量库，包括：
6.根据权利要求1所述的基于llm的书籍知识问题索引知识库构建方法，其特征在于，根据生成的语料...
【专利技术属性】
技术研发人员：陆志鹏，国丽，韩光，郑曦，王晓亮，刘国栋，范国浩，唐超，王欢，张文琴，李一凡，吕轩，
申请(专利权)人：中电数据产业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。