一种多模态知识图谱的构建方法、装置、存储介质及设备制造方法及图纸

本说明书公开了一种多模态知识图谱的构建方法、装置、存储介质及设备。所述方法包括：获取目标业务场景的业务数据，根据业务数据构建场景本体库，确定文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；确定与文本数据对应描述相匹配的目标视频数据；确定目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；根据各图像实体以及第二对应关系，对信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；根据每种模态的业务数据对应的信息贡献度，对各文本实体和第一对应关系、各图像实体和第二对应关系、各信号实体和第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。多模态知识图谱。多模态知识图谱。

【技术实现步骤摘要】
一种多模态知识图谱的构建方法、装置、存储介质及设备


[0001]本说明书涉及计算机
，尤其涉及一种多模态知识图谱的构建方法、装置、存储介质及设备。

技术介绍

[0002]随着道路交通系统、通信系统、环境卫生系统以及城市防灾系统等向“物联网+”的城市基础设施转变，人们在信息化城市中的日常生活、工作也随之变得更加智能化，例如：无纸化办公、线上生活缴费、线上法庭等。
[0003]然而，随着城市中各类基础设施的信息化，产生了大量多源异构的信息，虽然知识图谱在信息管理方面具有显著的优势，但现有的知识图谱主要面向文本和结构化数据，无法实现对多源异构信息的有效管理，难以满足用户日益增长的业务需求。
[0004]因此，如何将知识图谱应用到多源异构数据的管理上，全方面的满足用户的业务需求，提高用户体验，是一个亟待解决的问题。

技术实现思路

[0005]本说明书提供一种多模态知识图谱的构建方法、装置、存储介质及设备，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：本说明书提供了一种多模态知识图谱的构建方法，包括：获取目标业务场景的业务数据，并根据所述业务数据构建场景本体库，所述业务数据包括：文本数据、视频数据以及信号数据；针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据；确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；根据每种模态的业务数据对应的信息贡献度，对所述各文本实体和所述第一对应关系、所述各图像实体和所述第二对应关系、所述各信号实体和所述第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。
[0007]可选地，针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系，具体包括：对该文本数据进行关键词提取，根据提取到的关键词确定所述各文本实体以及所述第一对应关系，所述文本数据包括：表数据、文字数据、结构化或非结构化的机器语言数
据中的至少一种。
[0008]可选地，在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据，具体包括：在所述各文本实体中确定该文本数据的头部实体以及尾部实体；根据所述头部实体、所述尾部实体以及所述头部实体与所述尾部实体之间的第一对应关系，确定该文本数据对应的业务事件；在所述场景本体库中确定出与所述业务事件相匹配的视频数据，作为所述目标视频数据。
[0009]可选地，确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系，具体包括：根据该文本数据对应的业务事件，确定所述目标视频数据中的各关键帧；对所述各关键帧进行目标检测，得到目标检测结果；根据所述目标检测结果确定所述各图像实体以及所述第二对应关系。
[0010]可选地，所述第二对应关系包括：各图像实体间的空间关系、注意关系以及动作关系中的至少一种。
[0011]可选地，根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，具体包括：根据所述目标视频数据，对所述信号数据进行时间同步，抽取各关键时间区间对应的信号，并根据所述各文本实体和所述第一对应关系，以及所述各图像实体和所述第二对应关系，对各关键时间区间对应的信号进行标注。
[0012]可选地，所述方法还包括：接收用户的业务查询请求；根据所述业务查询请求，在所述多模态知识图谱中确定出与所述业务查询请求相匹配的至少一种模态的各目标业务实体；在所述场景本体库中调取与所述各目标业务实体相关的业务数据并返回所述用户。
[0013]本说明书提供了一种多模态知识图谱的构建装置，包括：获取模块，获取目标业务场景的业务数据，并根据所述业务数据构建场景本体库，所述业务数据包括：文本数据、视频数据以及信号数据；第一确定模块，针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；匹配模块，在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据；第二确定模块，确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；第三确定模块，根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；构建模块，根据每种模态的业务数据对应的信息贡献度，对所述各文本实体和所述第一对应关系、所述各图像实体和所述第二对应关系、所述各信号实体和所述第三对应
关系进行对齐融合，根据融合结果构建多模态知识图谱。
[0014]本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述多模态知识图谱的构建方法。
[0015]本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多模态知识图谱的构建方法。
[0016]本说明书采用的上述至少一个技术方案能够达到以下有益效果：在本说明书提供的多模态知识图谱的构建方法中，获取目标业务场景的业务数据，并根据业务数据构建场景本体库，确定文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；确定与文本数据对应描述相匹配的目标视频数据；确定目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；根据各图像实体以及第二对应关系，对信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；根据每种模态的业务数据对应的信息贡献度，对各文本实体和第一对应关系、各图像实体和第二对应关系、各信号实体和第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。
[0017]从上述方法可以看出，本方案可以分别提取文本数据、视频数据以及信号数据中的实体和实体间的对应关系，从而对多模态的实体及其对应关系进行对其对齐以及融合，生成多模态的知识图谱，这样一来，用户在后续的业务过程中可以根据该多模态知识图谱直接获取到所需的全部数据类型的信息，不需要在一一进行查询，实现了对多源异构数据的有效管理，全方面满足用户的业务需求，提高了用户体验。
附图说明
[0018]此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：图1为本说明书中提供的一种多模态知识图谱的构建方法的流程示意图；图2为本说明书提供的一种多模态知识图谱的构建装置的示意图；图3为本说明书提供的一种对应于图1的电子设备示意图。
具体实施方式
[0019]为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态知识图谱的构建方法，其特征在于，包括：获取目标业务场景的业务数据，并根据所述业务数据构建场景本体库，所述业务数据包括：文本数据、视频数据以及信号数据；针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据；确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；根据每种模态的业务数据对应的信息贡献度，对所述各文本实体和所述第一对应关系、所述各图像实体和所述第二对应关系、所述各信号实体和所述第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。2.如权利要求1所述的方法，其特征在于，针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系，具体包括：对该文本数据进行关键词提取，根据提取到的关键词确定所述各文本实体以及所述第一对应关系，所述文本数据包括：表数据、文字数据、结构化或非结构化的机器语言数据中的至少一种。3.如权利要求1所述的方法，其特征在于，在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据，具体包括：在所述各文本实体中确定该文本数据的头部实体以及尾部实体；根据所述头部实体、所述尾部实体以及所述头部实体与所述尾部实体之间的第一对应关系，确定该文本数据对应的业务事件；在所述场景本体库中确定出与所述业务事件相匹配的视频数据，作为所述目标视频数据。4.如权利要求3所述的方法，其特征在于，确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系，具体包括：根据该文本数据对应的业务事件，确定所述目标视频数据中的各关键帧；对所述各关键帧进行目标检测，得到目标检测结果；根据所述目标检测结果确定所述各图像实体以及所述第二对应关系。5.如权利要求4所述的方法，其特征在于，所述第二对应关系包...

【专利技术属性】
技术研发人员：俞菲，万志国，白孟秋，王宇轩，
申请(专利权)人：之江实验室，
类型：发明
国别省市：