线性文化遗产知识图谱构建方法、系统、计算设备和介质技术方案

本发明专利技术的实施例公开了一种线性文化遗产知识图谱构建方法、系统、计算设备和存储介质。所述方法包括：S20、获取线性文化遗产的原始数据，其中所述原始数据包括图像数据、语音数据和文本数据；S22、对所述图像数据、语音数据和文本数据分别采用不同的网络模型进行实体和关系抽取；S24、通过知识表示将得到的实体和关系进行表示，建立基于语义网的知识标识框架；S26、基于所述知识标识框架，构建线性文化遗产可视化知识图谱展示单元。通过本发明专利技术的知识图谱构建方法、知识图谱系统，大大减少了考古工作人员的工作量，提高了工作效率，降低了工作难度。

【技术实现步骤摘要】
线性文化遗产知识图谱构建方法、系统、计算设备和介质
本专利技术涉及线性文化遗产研究领域，更具体地，涉及一种线性文化遗产知识图谱构建方法、系统、计算设备和存储介质。
技术介绍
从文化遗产的视角，对古代交通遗产进行研究和保护，是近几年的发展趋势。线性文化遗产是一类具有显著形态分布特征的文化遗产类型，是由人工营造的线状遗迹串联起来，或沿自然形成的线形边界排列起来的点状遗产所组成。对于线性文化遗产本体进行文献阅读、田野踏查，并基于田野踏查数据，全面系统地对古道进行分级以及对古道相关遗存进行分类，是进行线性文化遗产的保护与研究的先决条件。线性文化遗产包含的遗存本体种类多、数量大，田野踏查获得的数据相应地也种类多、数量大，传统方法高度依赖专业技术人员的人工作业，难以快速、批量地对于古道进行分级以及对于其它相关遗存进行分类。随着现代化进程的推进和人类活动对于地形地貌的改变，线性文化遗产面临的威胁也日益增大，古道路面和相关遗存不断消失。尽快进行研究和保护变得更为迫切。
技术实现思路
本专利技术第一方面提供一种线性文化遗产知识图谱构建方法，包括：获取线性文化遗产的原始数据，其中所述原始数据包括图像数据、语音数据和文本数据；对所述图像数据、语音数据和文本数据分别采用不同的网络模型进行实体和关系抽取；通过知识表示将得到的实体和关系进行表示，建立基于语义网的知识标识框架；基于所述知识标识框架，构建线性文化遗产可视化知识图谱展示单元。在一个具体实施例中，对所述图像数据进行实体和关系抽取包括：第一卷积层将图像数据进行第一卷积操作，得到第一特征提取数据；第二卷积层将所述第一特征提取数据进行第二卷积操作，得到第二特征提取数据；最大池化层将所述第二特征提取数据进行下采样操作，得到下采样数据；注意力机制单元对所述下采样数据进行图谱特征挖掘，得到图谱特征数据；第三卷积层将所述图谱特征数据进行第三卷积操作，得到第三特征提取数据；第四卷积层将所述第三特征提取数据进行第四卷积操作，得到第四特征提取数据；全连接层接收所述四特征提取数据并由第一分类器输出识别结果。在一个具体实施例中，所述注意力机制单元对所述下采样数据进行图谱特征挖掘，得到图谱特征数据包括：第五卷积层，接收经过所述下采样操作的历史图像数据特征或相关遗迹图像数据特征，并输出第五特征提取数据；第六卷积层，接收当下古道图像数据特征，并输出第六特征提取数据；第一乘法加权单元，用于将第五特征提取数据乘法加权到第六特征提取数据，得到第一乘法加权输出数据；第七卷积层，用于接收所述第一乘法加权输出数据，输出第七特征提取数据；加法加权单元，用于将第七特征提取数据加权到来自最大池化层输出的经过下采样的当下古道图像数据特征，获取获得注意力机制作用下的输出结果。在一个具体实施例中，对所述语音数据进行实体和关系抽取包括：语音特征提取单元提取语音数据的语音特征向量；语音知识提取单元根据所述特征向量，提取语音数据的实体和关系。其中，所述语音知识提取单元根据所述特征向量，提取语音数据的实体和关系包括：GRU神经网络接收所述特征向量，输出第一识别结果；BiLSTM神经网络接收所述特征向量，输出第二识别结果；深度神经网络接收所述特征向量，输出第三识别结果；融合单元对第一至第三识别结果的优劣进行排序从而输出最优识别结果。在一个具体实施例中，对所述文本数据进行实体和关系抽取包括：Seq2seq翻译单元将文本数据向量化，对输入文本的词语进行映射，将词语转换为相应的词向量并将向量化的词进行拼接，得到输入向量；由循环神经网络构成的编码器将所述输入向量编码为一个定长的语义向量；由循环神经网络构成的解码器利用所述语义向量初始化解码器，使用特定的开始符，作为第一时刻的输入，开始解码直至输出停止符。在一个具体实施例中，所述方法还包括：在图像数据关系提取时将所述图像数据进行实体和关系抽取的识别结果和所述文本数据进行实体和关系抽取的识别结果进行融合。本专利技术第二方面提供一种性文化遗产知识图谱系统，包括：数据获取模块，用于获取线性文化遗产相关数据，包括图像数据、语音数据和文本数据；知识抽取模块，用于对所述相关数据进行实体和关系抽取；知识表示模块，用于对通过知识表示将得到的实体和关系进行表示，建立语义网框架表示；存储模块，用于对语义网框架的三元组数据进行存储；知识图谱展示模块，用于可视化展示三元组数据对应的知识图谱。在一个具体实施例中，所述知识抽取模块还包括：图像知识提取模型，包括：第一卷积层，用于将图像数据进行第一卷积操作，得到第一特征提取数据；第二卷积层，用于将所述第一特征提取数据进行第二卷积操作，得到第二特征提取数据；最大池化层，用于将所述第二特征提取数据进行下采样操作，得到下采样数据；注意力机制单元，用于对所述下采样数据进行图谱特征挖掘，得到图谱特征数据；第三卷积层，用于将所述图谱特征数据进行第三卷积操作，得到第三特征提取数据；第四卷积层，用于将所述第三特征提取数据进行第四卷积操作，得到第四特征提取数据；顺序连接的全连接层和第一分类器，其中全连接层接收所述四特征提取数据，第一分类器输出识别结果，语音知识提取模型，包括：语音特征提取单元，用于提取语音数据的语音特征向量；语音知识提取单元，用于根据所述特征向量，提取语音数据的实体和关系，文本知识提取模型，包括：Seq2seq翻译单元，将文本数据向量化，对输入文本的词语进行映射，将词语转换为相应的词向量并将向量化的词进行拼接，得到输入向量；由循环神经网络构成的编码器，将所述输入向量编码为一个定长的语义向量；由循环神经网络构成的解码器，利用所述语义向量初始化解码器，使用特定的开始符，作为第一时刻的输入，开始解码直至输出停止符。在一个具体实施例中，所述注意力机制单元包括：第五卷积层，接收经过所述下采样操作的历史图像数据特征或相关遗迹图像数据特征，并输出第五特征提取数据；第六卷积层，接收当下古道图像数据特征，并输出第六特征提取数据；乘法加权单元，用于将第五特征提取数据乘法加权到第六特征提取数据，得到第一乘法加权输出数据；第七卷积层，用于接收所述第一乘法加权输出数据，输出第七特征提取数据；加法加权单元，用于将第七特征提取数据加权到来自最大池化层输出的经过下采样的当下古道图像数据特征，获取获得注意力机制作用下的输出结果。在一个具体实施例中，所述语音知识提取单元包括：GRU神经网络，用于接收所述特征向量，输出第一识别结果；BiLSTM神经网络，用于接收所述特征向量，输出第二识别结果；深度神经网络，用于接收所述特征向量，输出第三识别结果；融合本文档来自技高网...

【技术保护点】
1.一种线性文化遗产知识图谱构建方法，其特征在于，包括：/nS20、获取线性文化遗产的原始数据，其中所述原始数据包括图像数据、语音数据和文本数据；/nS22、对所述图像数据、语音数据和文本数据分别采用不同的网络模型进行实体和关系抽取；/nS24、通过知识表示将得到的实体和关系进行表示，建立基于语义网的知识标识框架；/nS26、基于所述知识标识框架，构建线性文化遗产可视化知识图谱展示单元。/n

【技术特征摘要】
1.一种线性文化遗产知识图谱构建方法，其特征在于，包括：
S20、获取线性文化遗产的原始数据，其中所述原始数据包括图像数据、语音数据和文本数据；
S22、对所述图像数据、语音数据和文本数据分别采用不同的网络模型进行实体和关系抽取；
S24、通过知识表示将得到的实体和关系进行表示，建立基于语义网的知识标识框架；
S26、基于所述知识标识框架，构建线性文化遗产可视化知识图谱展示单元。


2.根据权利要求1所述的方法，其特征在于，对所述图像数据进行实体和关系抽取包括：
第一卷积层将图像数据进行第一卷积操作，得到第一特征提取数据；
第二卷积层将所述第一特征提取数据进行第二卷积操作，得到第二特征提取数据；
最大池化层将所述第二特征提取数据进行下采样操作，得到下采样数据；
注意力机制单元对所述下采样数据进行图谱特征挖掘，得到图谱特征数据；
第三卷积层将所述图谱特征数据进行第三卷积操作，得到第三特征提取数据；
第四卷积层将所述第三特征提取数据进行第四卷积操作，得到第四特征提取数据；
全连接层接收所述四特征提取数据并由第一分类器输出识别结果。


3.根据权利要求1所述的方法，其特征在于，对所述语音数据进行实体和关系抽取包括：
语音特征提取单元提取语音数据的语音特征向量；
语音知识提取单元根据所述特征向量，提取语音数据的实体和关系，
其中，所述语音知识提取单元根据所述特征向量，提取语音数据的实体和关系包括：
GRU神经网络接收所述特征向量，输出第一识别结果；
BiLSTM神经网络接收所述特征向量，输出第二识别结果；
深度神经网络接收所述特征向量，输出第三识别结果；
融合单元对第一至第三识别结果的优劣进行排序从而输出最优识别结果。


4.根据权利要求1所述的方法，其特征在于，对所述文本数据进行实体和关系抽取包括：
Seq2seq翻译单元将文本数据向量化，对输入文本的词语进行映射，将词语转换为相应的词向量并将向量化的词进行拼接，得到输入向量；
由循环神经网络构成的编码器将所述输入向量编码为一个定长的语义向量；
由循环神经网络构成的解码器利用所述语义向量初始化解码器，使用特定的开始符，作为第一时刻的输入，开始解码直至输出停止符。


5.一种性文化遗产知识图谱系统，其特征在于，包括：
数据获取模块，用于获取线性文化遗产相关数据，包括图像数据、语音数据和文本数据；
知识抽取模块，用于对所述相关数据进行实体和关系抽取；
知识表示模块，用于对通过知识表示将得到的实体和关系进行表示，建立语义网框架表示；
存储模块，用于对语义网框架的三元组数据进行存储；
知识图谱展示模块，用于可视化展示三元组数据对应的知识图谱。


6.根据权利要求5所述的系统，其特征在于，所述知识抽取模块还包括：
图像知识提取模型，包括：
第一卷积层，用于将图像数据进行第一卷积操作，得到第一特征提取数据；
第二卷积层，...

【专利技术属性】
技术研发人员：王雨晨，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京;11