本公开提供了一种问答方法、电子设备、存储介质及程序产品。本公开的问答方法包括：接收用户输入的问题并在终端进行显示；根据用户输入的问题在终端显示问题的答案，答案为基于预先建立的知识库搜索并经由大模型生成得到；预先建立知识库的步骤包括：对提取的第一文档集进行解析或转换处理，得到目标文档集，其中目标文档集包括目标文本信息、目标图片信息和目标表格信息；建立目标文档集的知识库。
【技术实现步骤摘要】
本公开涉及数据融合，本公开尤其涉及一种问答方法、电子设备、存储介质及程序产品。
技术介绍
1、以chatgpt为代表的llm(large language model)为通用人工智能(agi)的发展提供了新的方向，llm通过海量的公开数据，如互联网、书籍等语料进行大规模自监督训练，获得了强大的语言理解、语言生成、推理等能力。然而，大模型对于私域数据的利用仍然面临一些挑战。私域数据是指由特定企业或个人所拥有的数据，通常包含了领域特定的知识。将大模型与私域数据进行结合，将会发挥巨大价值。私域数据从数据形态上又可以分为非结构化与结构化数据。对于非结构化数据，例如文档，通常通过检索的方式进行增强，以快速实现问答。通过检索知识库，大语言模型可以回答其本身能力之外的专业问题，使得大语言模型支持的问题边界扩大。这种方式和引入专业数据的微调方法对比，无需重新训练就可以部署一个专业领域大语言模型。
2、当前基于llm的问答装置基本上都是以文本形式的问答为主，然而在实际应用中，问答信息不止只有文本一种表达形式，还包括图片以及表格的形式。这对于问答装置的直观性、丰富性等方面提出了更高的要求。
3、但是当前基于文本的llm问答装置存在以下问题：无法满足用户多模态的信息查询。对用户的回答展示方式只有文本一种单一形式，缺少多种模态更为丰富的展示形式。
技术实现思路
1、本公开提供了一种问答方法、电子设备、存储介质及程序产品。
2、一方面，提供了一种问答方法，包括：
<
p>3、接收用户输入的问题并在终端进行显示；4、根据用户输入的问题在终端显示所述问题的答案，所述答案为基于预先建立的知识库搜索并经由大模型生成得到；
5、其中，预先建立知识库的步骤包括：
6、对提取的第一文档集进行解析或转换处理，得到目标文档集，其中所述目标文档集包括目标文本信息、目标图片信息和目标表格信息；
7、建立所述目标文档集的知识库。
8、根据本公开一种优选的实施方式，根据用户的问题在终端显示所述问题的答案，包括：
9、当终端显示的问题为包含结构化信息的问题时，从所述结构化信息的问题中提取结构化信息，基于提取的结构化信息按照预设检索规则与所述知识库进行匹配；
10、基于匹配结果在终端显示所述结构化信息的问题的答案。
11、根据本公开一种优选的实施方式，根据用户的问题在终端显示所述问题的答案，还包括：
12、当终端显示的问题为不包含结构化信息的问题时，基于预先建立的知识库搜索并经由大模型生成和所述不包含结构化信息的问题的语义在预设范围内的答案，将所述预设范围内的答案在终端显示。
13、根据本公开一种优选的实施方式，建立所述目标文档集的知识库，包括：
14、基于所述目标文本信息中的分隔符和分段大小将目标文本进行分段，得到分段文本；
15、将所述分段文本用向量表征得到所述目标文本信息的知识库。
16、根据本公开一种优选的实施方式，建立所述目标文档集的知识库，包括：
17、获取目标图片信息和表格信息的标题的语义描述；
18、基于所述目标图片和目标表格的标题的语义描述建立所述目标图片信息和目标表格信息的知识库。
19、根据本公开一种优选的实施方式，对提取的第一文档集进行解析或转换处理，得到目标文本信息，包括：
20、提取解析处理后的第一文档集中的第一文本，获取第一文本的第一位置信息；
21、将具有所述第一位置信息的第一文本作为所述目标文本信息。
22、根据本公开一种优选的实施方式，对提取的第一文档集进行解析或转换处理，得到目标图片信息，包括：
23、获取将所述第一文档集转换成第一图像中图片的标题信息、结构化元数据信息以及布局分布信息；
24、基于所述第一图像中图片的标题信息、结构化元数据信息以及布局分布信息得到所述目标图片信息。
25、根据本公开一种优选的实施方式，其中，所述结构化元数据信息用于表示所述第一图像中图片所在第一文档集中的文档名、所在文档中的页数以及编号。
26、根据本公开一种优选的实施方式，获取将所述第一文档集提取为第一图像中图片的标题信息，包括：
27、获取所述第一图像中图片在所述第一文档集中的上文文本和下文文本；
28、基于所述第一图像中图片在所述第一文档集中的上文文本和下文文本确定所述第一图像中图片的标题信息。
29、根据本公开一种优选的实施方式，获取所述第一图像在所述第一文档集中的上文文本和下文文本，包括：
30、获取所述第一图像中图片在所述第一文档集中的第二位置信息；
31、基于所述第二位置信息确定所述第一图像中图片在所述第一文档集中的上文文本和下文文本。
32、根据本公开一种优选的实施方式，对提取的第一文档集进行解析或转换处理，得到目标表格信息，包括：
33、获取所述第一图像中第一表格的第三位置信息、结构信息以及单元格坐标信息；
34、基于所述第一表格的第三位置信息、结构信息以及单元格坐标信息得到所述目标表格信息。
35、根据本公开一种优选的实施方式，通过pp-structurev2中的layout模型，以及layoutlm模型或layoutlmv2模型获取所述第一图像中第一表格的第三位置信息；
36、通过pp-structurev2中的slanet模型，或tablemaster模型获取所述第一图像中第一表格的结构信息以及单元格坐标信息。
37、根据本公开一种优选的实施方式，基于所述第一表格的第三位置信息、结构信息以及单元格坐标信息得到所述目标表格信息，包括：
38、基于所述第一表格的第三位置信息、结构信息以及单元格坐标信息，将所述第一表格与所述目标文本进行映射，得到采用字符串形式和文本形式表征的目标表格信息。
39、根据本公开一种优选的实施方式，对提取的第一文档集进行解析或转换处理，得到目标表格信息，还包括：
40、获取所述第一表格的页眉位置信息和页脚位置信息；
41、基于所述第一表格的页眉位置信息和页脚位置信息确定所述第一表格是否为跨页表格；
42、若是跨页表格，则对跨页表格进行合并，得到所述目标表格信息。
43、根据本公开实施方式的另一方面，提供了一种电子设备，包括：
44、存储器，所述存储器存储执行指令；
45、处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述中任一项所述的问答方法。
46、根据本公开实施方式的还一方面，提供了一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述中任一项所述的问答方法。
47、根据本公开实施本文档来自技高网
...
【技术保护点】
1.一种问答方法，其特征在于，包括：
2.根据权利要求1所述的问答方法，其特征在于，建立所述目标文档集的知识库，包括：
3.根据权利要求1或2所述的问答方法，其特征在于，建立所述目标文档集的知识库，包括：
4.根据权利要求1或2所述的问答方法，其特征在于，对提取的第一文档集进行解析或转换处理，得到目标文本信息，包括：
5.根据权利要求1所述的问答方法，其特征在于，对提取的第一文档集进行解析或转换处理，得到目标图片信息，包括：
6.根据权利要求5所述的问答方法，其特征在于，其中，所述结构化元数据信息用于表示所述第一图像中图片所在第一文档集中的文档名、所在文档中的页数以及编号。
7.根据权利要求5或6所述的问答方法，其特征在于，获取将所述第一文档集提取为第一图像中图片的标题信息，包括：
8.一种电子设备，其特征在于，包括：
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现1至7中任一项所述的问答方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现1至7中任一项所述的问答方法。
...
【技术特征摘要】
1.一种问答方法，其特征在于，包括：
2.根据权利要求1所述的问答方法，其特征在于，建立所述目标文档集的知识库，包括：
3.根据权利要求1或2所述的问答方法，其特征在于，建立所述目标文档集的知识库，包括：
4.根据权利要求1或2所述的问答方法，其特征在于，对提取的第一文档集进行解析或转换处理，得到目标文本信息，包括：
5.根据权利要求1所述的问答方法，其特征在于，对提取的第一文档集进行解析或转换处理，得到目标图片信息，包括：
6.根据权利要求5所述的问答方法，其特征在于，其中，所述结构...
【专利技术属性】
技术研发人员：赵竹珺，李志飞，
申请(专利权)人：出门问问创新科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。