多模态数据处理方法、装置、终端设备及存储介质制造方法及图纸

本申请提供了一种多模态数据处理方法、装置、终端设备及存储介质，该方法包括：获取第一知识图谱信息和多模态数据信息；对多模态数据信息进行特征提取，得到多模态特征信息；利用多模态特征信息对第一知识图谱信息进行补全，得到目标知识图谱信息。该方法，通过获取到多模态数据信息的各个实体知识，再确定各个实体知识分别插入知识图谱的各个分支后，比对各个新的分支与最初的分支之间的差异情况，提高了知识插入知识图谱的准确性。

【技术实现步骤摘要】

本申请涉及计算机，具体涉及一种多模态数据处理方法、装置、终端设备及存储介质。

技术介绍

1、目前，多模态知识图谱，能够融合文本、图像、视频、语音等多种类型数据，通过多源信息的融合有助于人工智能理解和推理任务。

2、实现多模态的知识图谱(multi modal knowledge graph)是人工智能从感知智能向认知智能发展的必然步骤。因此，如何构建和维护多模态知识图谱成为研究热点。目前已存在一些多模态知识图谱，比如：imgpedia(a linked dataset with content-basedanalysis of wikimedia images)、mmkg(multi-modal knowledge graphs)、yago(yetanother great ontology)、richpedia(alarge-scale,comprehensive multi-modalknowledge graph，)、zhishi.me(weaving chinese linking open data)、pkupie(pekinguni本文档来自技高网...

【技术保护点】

1.一种多模态数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的多模态数据处理方法，其特征在于，所述多模态数据信息包括文字数据以及图像数据，所述对所述多模态数据信息进行特征提取，得到多模态特征信息，包括：

3.根据权利要求1所述的多模态数据处理方法，其特征在于，所述利用所述多模态特征信息对所述第一知识图谱信息进行补全，得到目标知识图谱信息，包括：

4.根据权利要求3所述的多模态数据处理方法，其特征在于，所述确定各所述初始图谱分支与对应更新后的更新图谱分支的第一差异度，包括：

5.根据权利要求4所述的多模态数据处理方法，其特征...

【技术特征摘要】

1.一种多模态数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的多模态数据处理方法，其特征在于，所述多模态数据信息包括文字数据以及图像数据，所述对所述多模态数据信息进行特征提取，得到多模态特征信息，包括：

3.根据权利要求1所述的多模态数据处理方法，其特征在于，所述利用所述多模态特征信息对所述第一知识图谱信息进行补全，得到目标知识图谱信息，包括：

4.根据权利要求3所述的多模态数据处理方法，其特征在于，所述确定各所述初始图谱分支与对应更新后的更新图谱分支的第一差异度，包括：

5.根据权利要求4所述的多模态数据处理方法，其特征在于，所述根据所述第一分支特征与所述第二分支特征的差异度，得到所述初始图谱分支与所述初始图谱分支更新后的更新图谱分支的第一差异度，包括：

6.根据权利要求5所述的多模态数据...

【专利技术属性】
技术研发人员：曹源，
申请(专利权)人：TCL科技集团股份有限公司，
类型：发明
国别省市：