一种多模态知识图谱的构建方法及应用技术

本发明专利技术涉及一种多模态知识图谱的构建方法及应用，属于知识图谱技术领域，该方法包括：S1.采集多模态语料数据，并对所述多模态语料数据进行预处理；所述多模态语料数据包括文本数据和图片数据，且文本数据的预处理包括语料清洗、中文分词、词性标注；图片数据的预处理包括标签标注；S2.建立联合抽取模型，将经过预处理后的多模态语料数据中的句子输入至联合抽取模型，通过所述联合抽取模型识别所述句子中包含的目标实体以及目标实体之间的关系和/或属性，并构建三元组；S3.计算所述目标实体与种子图谱中所有的已有实体的相似度，并根据所述相似度执行所述目标实体与种子图谱的连接处理；具有构建速度快、成本低、能够充分完整展现知识等优点。

【技术实现步骤摘要】

本专利技术属于知识图谱，尤其涉及一种多模态知识图谱的构建方法及应用。

技术介绍

1、知识图谱将大量多源异构的文本数据规范化为关系三元组，存储在知识图谱中，并以网络的形式将知识体系展示给用户，有效提升了搜索效率和质量。知识图谱按照功能和应用场景可以分为通用知识图谱和行业知识图谱。其中，通用知识图谱面向的是通用领域，强调知识的广度，形态通常为结构化的百科知识，针对的使用者主要为普通用户；而行业知识图谱则面向某一特定领域，强调知识的深度，通常需要基于该行业的数据库进行构建，针对的使用者为行业内的从业人员以及潜在的业内人士等。

2、随着数字媒体多样化发展，已经产出大量视频、图片、语音、文本等在内的多媒体数据，在工作、生活中，越来越多的人倾向使用内容丰富的多媒体数据进行学习、展示、记录留存，所以，传统的知识图谱现已不能满足需求。多模态知识图谱是将多模态信息引入到知识图谱的一种技术，它在研究文本关系三元组的基础上，构建跨模态的实体以及语义关系，极大丰富了只包含文本信息的传统知识图谱。由于其表现形式的多样性，不得不将它们分散存储在不同的数据库中，这种分散式的本文档来自技高网...

【技术保护点】

1.一种多模态知识图谱的构建方法，其特征在于，包括：

2.根据权利要求1所述的多模态知识图谱的构建方法，其特征在于：所述联合抽取模型包括实体识别网络和关系抽取网络，且通过所述实体识别网络识别所述句子中包含的目标实体，通过所述关系抽取网络抽取所述句子中包含的目标实体之间的关系和/或属性。

3.根据权利要求2所述的多模态知识图谱的构建方法，其特征在于：所述实体识别网络包括LEBERT适配层、BILSTM拼接层和CRF解码层；

4.根据权利要求3所述的多模态知识图谱的构建方法，其特征在于：所述LEBERT适配层通过在BERT模型内的某两层Transforme...

【技术特征摘要】

1.一种多模态知识图谱的构建方法，其特征在于，包括：

2.根据权利要求1所述的多模态知识图谱的构建方法，其特征在于：所述联合抽取模型包括实体识别网络和关系抽取网络，且通过所述实体识别网络识别所述句子中包含的目标实体，通过所述关系抽取网络抽取所述句子中包含的目标实体之间的关系和/或属性。

3.根据权利要求2所述的多模态知识图谱的构建方法，其特征在于：所述实体识别网络包括lebert适配层、bilstm拼接层和crf解码层；

4.根据权利要求3所述的多模态知识图谱的构建方法，其特征在于：所述lebert适配层通过在bert模型内的某两层transformer编码器之间引入特征词典适配器构成；

5.根据权利要求4所述的多模态知识图谱的构建方法，其特征在于，通过所述双线性注意力机制计算所述增强向量时...

【专利技术属性】
技术研发人员：张国营，
申请(专利权)人：中电信数智科技有限公司，
类型：发明
国别省市：