【技术实现步骤摘要】
本专利技术涉及一种知识库构建方法，更具体的说是涉及一种基于特征表示的领域大模型多模态知识库的构建方法。
技术介绍
1、多模态大模型同时处理文本、图片、音频以及视频等多类信息，与现实世界融合度高，有望成为人类智能助手，推动ai迈向agi；多模态更符合人类接收、处理和表达信息的方式。人类能够感知多元信息，每一类信息均为一种模态，这些信息往往是相互关联的。多模态信息使得大模型更为智能。多模态与用户交互方式更便捷，得益于多模态输入的支持，用户可以以更灵活的方式与智能助手进行交互和交流，提升任务解决能力。
2、随着互联网的诞生，信息迅速暴增。根据问题从大量信息中有效地找到答案已成为一项重大挑战。开放式多模态问答可以基于问题去检索外部知识库并生成正确答案来帮助缓解信息过载问题。近年来，人们对一些先进的多模态大语言模型，例如blip-2和gpt-4等，都进行了深入探索，通过在模型参数中隐式存储大量外部知识来提高其性能，这些参数现在已扩展到数千亿。虽然这些模型在各种任务上取得了令人兴奋的结果，但它们存储方式不仅可解释性差，计算成本高昂，而且...
【技术保护点】
1.一种基于特征表示的领域大模型多模态知识库的构建方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于特征表示的领域大模型多模态知识库的构建方法，其特征在于：所述步骤一中收集并处理用于构建知识库的信息的具体步骤如下：
3.根据权利要求2所述的基于特征表示的领域大模型多模态知识库的构建方法，其特征在于：所述步骤二中的基于步骤一收集的知识库的信息进行多模态信息特征提取的具体步骤如下：
4.根据权利要求3所述的基于特征表示的领域大模型多模态知识库的构建方法，其特征在于：所述步骤三中构建多模态知识库的具体步骤如下：
5...
【技术特征摘要】
1.一种基于特征表示的领域大模型多模态知识库的构建方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于特征表示的领域大模型多模态知识库的构建方法，其特征在于：所述步骤一中收集并处理用于构建知识库的信息的具体步骤如下：
3.根据权利要求2所述的基于特征表示的领域大模型多模态知识库的构建方法，其特征在于：所述步骤二中的基于步骤一收集的知识库的信息进行多模态信息特征提取的具体步骤如下：
4.根据权利要求3所述的基于特征表示的领域大模型多模态知识库的构建方法，其特征在于：所述步骤三中构建多模态知识库的具体步骤如下：
5.根据权利要求4所述的基于特征表示的领域大模型多模态知识库的构建方法，其特征在于：所述步骤四中构建领域意图识别模型，确定...
【专利技术属性】
技术研发人员：沈诗婧，金泳，李香玉，高扬华，潘晓华，
申请(专利权)人：浙江大学滨江研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。