一种基于多模态知识图谱的智能问答方法技术

本发明专利技术涉及一种基于多模态知识图谱的智能问答方法，包括以下步骤：基于互联网的文本数据和图像数据构建多模态知识图谱；获取非结构化的自然语言问题，从所述自然语言问题中分析出语义信息，并基于所述语义信息生成查询语句，根据所述查询语句在所述多模态知识图谱中检索出最终答案。本发明专利技术能够促进不同模态知识的深层推理和实际应用。的深层推理和实际应用。的深层推理和实际应用。

【技术实现步骤摘要】
一种基于多模态知识图谱的智能问答方法


[0001]本专利技术涉及大数据及知识图谱
，特别是涉及一种基于多模态知识图谱的智能问答方法。

技术介绍

[0002]近年来伴随着人工智能浪潮，知识图谱作为大数据时代的产物，以其强大的知识语义表示、存储和推理能力，正推动着人工智能由感知向认知智能转变，为大数据知识化组织和智能应用提供了有效的解决方案。因此，新一代的知识图谱的构建及其关键技术研究逐渐受到学术界和工业界的广泛关注。
[0003]传统的知识图谱研究主要使用文本符号表示知识，缺少图像、视频等丰富的多模态信息，例如，ConceptNet、WordNet、TechNet等知识图谱。尽管目前已开发了一些多模态知识图谱，如DBpedia包含了超过260万个实体，覆盖地理、人物、医药、图书等多个领域知识；Wikidata中存在大量的多模态资源，越来越多网站从Wikidata中获取有价值的数据提供更好的浏览服务，但上述多模态知识的组织仍是非结构化的，不利于进行高效地知识推理；Richpedia在知识图谱基本数据模型RDF框架下，对城市、人物实体的多模态知识进行组织和表达，但覆盖的领域过于局限，不能很好地支持开放领域的知识应用。在互联网时代和大数据环境下，数据对象和交互形式的日益丰富与变化，对新一代知识图谱的数据规模和知识粒度及其关键技术方面提出了新的需求，带来了新的挑战。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种基于多模态知识图谱的智能问答方法，能够促进不同模态知识的深层推理和实际应用。
[0005]本专利技术解决其技术问题所采用的技术方案是：提供一种基于多模态知识图谱的智能问答方法，包括以下步骤：
[0006]基于互联网的文本数据和图像数据构建多模态知识图谱(Multi
‑
ModalKnowledge Graph,MMKG)；
[0007]获取非结构化的自然语言问题，从所述自然语言问题中分析出语义信息，并基于所述语义信息生成查询语句，根据所述查询语句在所述多模态知识图谱中检索出最终答案。
[0008]所述基于互联网的文本数据和图像数据构建多模态知识图谱，包括：
[0009]从互联网百科中获取原始非结构化数据作为构建多模态知识图谱的文本数据；
[0010]从互联网的图像搜索引擎中获取文本条目相关的图像作为构建多模态知识图谱的图像数据；
[0011]对所述文本数据进行实体和关系抽取处理，得到由文本数据的实体及其语义关系组成的三元组；
[0012]根据所述图像数据的搜索关键词确定图像数据的实体，融合所述文本数据的实体
和所述图像数据的实体，建立对应的文本数据的实体和图像数据的实体之间的语义关系。
[0013]所述对所述文本数据进行实体和关系抽取处理，得到由文本数据的实体及其语义关系组成的三元组，具体包括：
[0014]对于文本数据中的每个文本条目，根据其描述信息来判断其是否为有效的条目，当描述信息为有效的条目时，将该文本条目作为实体；
[0015]对每个实体，抽取其属性信息构成属性知识三元组，同时抽取与实体关联的实体知识三元组。
[0016]所述的基于多模态知识图谱的智能问答方法还包括对每个实体添加唯一的ID的步骤；所述根据所述图像数据的搜索关键词确定图像数据的实体时，对每个图像实体进行唯一ID编号。
[0017]所述文本数据的实体通过id、name及description属性进行描述，不同文本数据的实体之间通过语义关系建立关联；所述图像数据的实体通过id、name和url属性进行描述；所述融合所述文本数据的实体和所述图像数据的实体时，将具有相同name的文本数据的实体和图像数据的实体之间建立关联。
[0018]所述获取非结构化的自然语言问题，从所述自然语言问题中分析出语义信息，并基于所述语义信息生成查询语句，根据所述查询语句在所述多模态知识图谱中检索出最终答案，具体包括：
[0019]接收非结构化的自然语言问题，并使用预训练的语义解析模型对所述自然语言问题进行分析，确定所述自然语言问题的问句分类、实体以及关系连接；
[0020]利用问句模板匹配的方式填充实体以及关系连接，得到结构化查询语句；
[0021]根据所述结构化查询语句在所述多模态知识图谱中检索出最终答案。
[0022]所述结构化查询语句能够检索在多模态知识图谱中文本数据的实体所属的概念、两个已知文本数据的实体之间的语义关系、以及文本数据的实体相关的图像数据的实体及图像数据的实体的url属性。
[0023]有益效果
[0024]由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术的多模态知识图谱是从Wikidata非结构化数据中抽取大量有价值的结构化三元组知识，并利用Web搜索引擎快速爬取海量的图像数据，建立多模态实体语义关系，并使用Neo4j图数据库实现大规模MMKG的构建而成。基于所构建的MMKG，提出了支持Neo4j图数据库的知识检索方法，能够根据输入实体或关系，采用三元组匹配、路径搜索等方式检索相关联的多模态知识。同时，本专利技术可以将自然语言问题自动转化为Cypher查询语句，从所构建的基于Neo4j的MMKG中获取答案，实现了面向开放领域的更全面、准确的问题回答。本专利技术构建了更大规模的、包含更细粒度知识的多模态知识图谱，通过开发相应的知识检索和智能问答方法，促进不同模态知识的深层推理和实际应用。
附图说明
[0025]图1是本专利技术实施方式的流程图；
[0026]图2是本专利技术实施方式的框架图；
[0027]图3是本专利技术实施方式中多模态知识图谱逻辑架构图；
[0028]图4是本专利技术实施方式中的智能问答结果示意图；
[0029]图5是本专利技术实施方式中检索结果示意图。
具体实施方式
[0030]下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0031]本专利技术的实施方式涉及一种基于多模态知识图谱的智能问答方法，如图1所示，包括以下步骤：基于互联网的文本数据和图像数据构建多模态知识图谱；获取非结构化的自然语言问题，从所述自然语言问题中分析出语义信息，并基于所述语义信息生成查询语句，根据所述查询语句在所述多模态知识图谱中检索出最终答案。
[0032]如图2所示，本实施方式主要包括多模态知识图谱MMKG的构建、基于MMKG的知识检索以及基于MMKG的智能问答三个部分。
[0033]知识图谱(knowledgegraph)本质上属于语义网络(semanticnetwork)范畴，通常采用图结构作为载体来组织和表达大规模知识。多模态知识图谱一般由不同模态的实体(如文本、图像等)及其语义关系组成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态知识图谱的智能问答方法，其特征在于，包括以下步骤：基于互联网的文本数据和图像数据构建多模态知识图谱；获取非结构化的自然语言问题，从所述自然语言问题中分析出语义信息，并基于所述语义信息生成查询语句，根据所述查询语句在所述多模态知识图谱中检索出最终答案。2.根据权利要求1所述的基于多模态知识图谱的智能问答方法，其特征在于，所述基于互联网的文本数据和图像数据构建多模态知识图谱，包括：从互联网百科中获取原始非结构化数据作为构建多模态知识图谱的文本数据；从互联网的图像搜索引擎中获取文本条目相关的图像作为构建多模态知识图谱的图像数据；对所述文本数据进行实体和关系抽取处理，得到由文本数据的实体及其语义关系组成的三元组；根据所述图像数据的搜索关键词确定图像数据的实体，融合所述文本数据的实体和所述图像数据的实体，建立对应的文本数据的实体和图像数据的实体之间的语义关系。3.根据权利要求2所述的基于多模态知识图谱的智能问答方法，其特征在于，所述对所述文本数据进行实体和关系抽取处理，得到由文本数据的实体及其语义关系组成的三元组，具体包括：对于文本数据中的每个文本条目，根据其描述信息来判断其是否为有效的条目，当描述信息为有效的条目时，将该文本条目作为实体；对每个实体，抽取其属性信息构成属性知识三元组，同时抽取与实体关联的实体知识三元组。4.根据权利要求3所述的基于多模态知识图谱的智能问答方法，其特征在于，还包括对...

【专利技术属性】
技术研发人员：於辉，朱冬晨，李嘉茂，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：