多模态文物知识图谱构建方法、装置及系统和存储介质制造方法及图纸

本发明专利技术公开一种多模态文物知识图谱构建方法、装置及系统和存储介质。所述方法包括获取文物领域多模态数据，其中包含结构化与非结构化文物图文数据；将非结构化文物数据处理为图文对的形式，将结构化文物数据转为多模态三元组的形式；对文物领域本体进行构建并形成多模态文物本体模型；采用基于目标引导的多模态知识抽取网络对非结构化文物数据进行实体抽取、关系抽取；将经抽取形成的三元组与由结构化文物数据转换得到的多模态三元组进行图谱间融合，形成完整的多模态文物知识图谱。本发明专利技术能够解决单一模态表达文物知识能力不足，知识抽取准确率低的问题。同时能够通过构建出的多模态知识图谱来丰富其多用途的下游任务。多模态知识图谱来丰富其多用途的下游任务。多模态知识图谱来丰富其多用途的下游任务。

【技术实现步骤摘要】
多模态文物知识图谱构建方法、装置及系统和存储介质


[0001]本专利技术涉及计算机知识图谱领域，尤其涉及于一种多模态文物知识图谱构建方法、装置及系统和存储介质。

技术介绍

[0002]知识图谱技术通过挖掘真实存在的实体及其关系等事实知识，并用结构化的形式进行存储，构造结构化的语义知识库，从而实现信息向知识的转换，有效实现信息资源的组织和管理，并且能进一步进行知识的融合和共享。近年来，有许多知识图谱应用在不同领域的实例，比如文物知识图谱可以利用文物实体和实体间的关系构成的三元组构建文物关联知识库，借助知识图谱强大的语义表达和知识互联能力，使文物孤立的信息点进行“串联”，诠释文物背后的文化内涵，最大程度地实现文物之间的互联，使文物知识向深度和广度扩展，实现文物信息智慧化融合和共享。
[0003]中国专利申请CN109657068A公开了一种面向智慧博物馆的文物知识图谱生成与可视化方法。该方法获取文物数据，并利用知识抽取工具抽取实体、属性、关系等信息。但是，该方法仅仅收集了文物的文本资料作为待抽取的内容，然而只使用文物的单一文本模态不仅不足以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态文物知识图谱构建方法，其特征在于：所述方法包括：获取文物领域多模态数据，所述文物领域多模态数据包含结构化文物领域多模态数据与非结构化文物领域多模态数据，将非结构化文物领域多模态数据处理为图像
‑
文本对的形式，将结构化文物数据转为多模态三元组的形式；文物领域多模态本体的构建并形成多模态文物本体模型；采用多模态文物本体模型和基于目标引导的多模态知识抽取网络对非结构化文物数据进行实体抽取、属性抽取、关系抽取；将经实体抽取、属性抽取、关系抽取形成的多模态三元组与由结构化文物数据转换得到的多模态三元组进行图谱间融合，形成完整的多模态文物知识图谱。2.根据权利要求1所述的一种多模态文物知识图谱构建方法，其特征在于：所述获取文物领域多模态数据，所述文物领域多模态数据包含结构化文物领域多模态数据与非结构化文物领域多模态数据，将非结构化文物领域多模态数据处理为图像
‑
文本对的形式，将结构化文物数据转为多模态三元组的形式，具体包括：基于已有的数据源，提取出文物图像以及文物对应的文本描述，并通过数据源中包含的结构化数据片段提取出文物属性值以及所对应的文物属性标签，所述结构化数据片段包括表格、标签；对原始文本内容，去除文本中的与语义无关的内容；对原始图像信息，对每张图片使用显著性网络提取图像主体部分。3.根据权利要求1所述的一种多模态文物知识图谱构建方法，其特征在于：所述文物领域多模态本体的构建并形成多模态文物本体模型，具体包括：基于文物领域专家人工编制的文物实体、文物关系、文物属性以及文物图例中的主要抽取目标、文物图像之间的关系、文物文本区域与图像区域之间的关系，构建原始多模态文物本体库；收集已有的结构化文物知识库和开放的非结构化文物知识库经信息抽取提取出的文物实体信息、文物关系信息、文物属性信息；选取置信度高的文物实体信息、文物关系信息、文物属性信息作为候选补充知识，并与所述原始多模态文物本体库进行融合，形成多模态文物本体库。4.根据权利要求1所述的一种多模态文物知识图谱构建方法，其特征在于：所述采用多模态文物本体模型和基于目标引导的多模态知识抽取网络对非结构化文物数据进行实体抽取、属性抽取、关系抽取，具体包括：将清洗过的多模态文物文本数据经预训练语言模型进行编码，将每个字编码为字向量进行表示；将与文本匹配的文物图片通过目标检测网络进行检测，识别出文物主体、特征点边界框，并统一缩放为相同图像大小；对文本数据通过语法解析器得到所有的名词性短语，并根据编码结果取出名词性短语对应的特征表示；构造文物文本与文本、文本与图像、图像与图像之间的图，其中图的结点为文本目标短语或视觉区域，边则为两个节点之间的关系，与多模态文物本体库中预先定义的关系相对应；
将得到的图结构输入双流Transformer网络中，进行模态内与模态间的特征交互和融合，并将融合后的文本序列和图像区域序列特征通过CRF条件随机场进行解码，得到输出多模态三元组，其中所有三元组遵从文物本体库中的知识表达形式。5.根据权利要求4所述的一种多模态文物知识图谱构建方法，其特征在于：将清洗过的多模态文物文本数据经预训练语言模型进行编码，将每个字编码为字向量进行表示，并将与文本匹配的文物图片通过目标检测网络进行检测，识别出文物主体、特征点边界框，并统一缩放为相同图像大小，具体满足下述定义：一缩放为相同图像大小，具体满足下述定义：其中LanguageModel为经过预训练的语言模型，x
i
为输出的字向量，ObjectDetection代表目标检测模型，每段原始文本对应K张原始图片，所有图片共检测出N个目标，其特征为O
i
。6....

【专利技术属性】
技术研发人员：刘炜，黄铮，彭艳，谢少荣，方世忠，褚晓波，李晶，翟杨，赵荦，杨天源，
申请(专利权)人：上海市文化和旅游局上海市广播电视局上海市文物局上海市文物保护研究中心，
类型：发明
国别省市：