一种基于多模态知识融合增强的问答方法和装置制造方法及图纸

技术编号:42869604 阅读:31 留言:0更新日期:2024-09-27 17:30
本申请公开一种基于多模态知识融合增强的问答方法和装置,方法包括,将输入的第一文档数据转换成超文本标记语言格式的第二文档数据,第一文档数据和第二文档数据具有不同格式,第一文档数据包括文本数据、图片数据和表格数据中至少两种数据;解析第二文档数据,得到第三文本数据;利用大语言模型识别第三文本数据的上下文关联信息,并根据上下文关联信息将第三文本数据拆分为多个第三上下文分块;对多个第三上下文分块进行向量化处理,得到第三文本数据对应的第三文本向量,并将第三文本向量和第三文本数据存入文档向量数据库,以利用文档向量数据库存储的第三文本数据和第三文本向量进行文档问答。

【技术实现步骤摘要】

本申请涉及问答,特别涉及一种基于多模态知识融合增强的问答方法和装置


技术介绍

1、文档问答(document question answering)是大语言模型的一个重要应用,它可以使计算机程序理解并回答人类使用自然语言提出的问题。这种技术的意义在于,它可以让计算机程序更方便地与人类进行交流,使人们更容易地从大量知识文档中获取信息。

2、用于文档问答时,大语言模型可以接收用户输入的问题,然后根据问题在存储有大量文档的数据库中检索适于回答该问题的文档并进行输出。

3、目前现有的大语言模型文档问答方法在向数据库输入文档时,需要输入文档为txt格式,以方便对其文本内容进行直接读取。但在现实生产生活中,常用文档格式为pdf、word、excel等,现有的文档回答方法无法对这些文档进行合理解析,这就导致大语言模型无法正确理解输入到数据库的文档,进而无法根据这些文档正确回答用户输入的问题。


技术实现思路

1、为此,本申请公开如下技术方案:

2、本申请第一方面提供一种基于多模态知识融合本文档来自技高网...

【技术保护点】

1.一种基于多模态知识融合增强的问答方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述解析所述第二文档数据,得到第三文本数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述利用大语言模型识别所述第三文本数据的上下文关联信息,包括:

4.根据权利要求1所述的方法,其特征在于,还包括:

5.根据权利要求4所述的方法,其特征在于,所述将所述第三文本向量和所述第三文本数据存入文档向量数据库,包括;

6.一种基于多模态知识融合增强的问答装置,其特征在于,包括:

7.根据权利要求6所述的装置,其特征...

【技术特征摘要】

1.一种基于多模态知识融合增强的问答方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述解析所述第二文档数据,得到第三文本数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述利用大语言模型识别所述第三文本数据的上下文关联信息,包括:

4.根据权利要求1所述的方法,其特征在于,还包括:

5.根据权利要求4所述的方法,其特征在于,所述将所述第三文本向量和所述第三文本数据存入文档向量数据库,包括;

6.一种基于多模态知识融合...

【专利技术属性】
技术研发人员:宋勇周雨忱袁志勇叶晓舟欧阳晔
申请(专利权)人:亚信科技中国有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1