一种基于知识图谱的气象应急预警知识库构建方法技术

本发明专利技术公开了一种基于知识图谱的气象应急预警知识库构建方法，包括以下步骤：步骤1.将气象应急预警数据进行机器读取和内容转码；步骤2.对步骤1输出的数据进行特征工程，删除赘余成分提取目标内容；步骤3.对步骤2输出的数据进行内容筛选和层级构建，形成大类、子类、判断标准和防御指南，将大类、子类写入数据集保存；步骤4.对步骤3形成的判断标准和防御指南进行命名实体识别和实体关系抽取，得到知识融合后的实体

【技术实现步骤摘要】
一种基于知识图谱的气象应急预警知识库构建方法


[0001]本专利技术涉及知识图谱与自然语言处理领域，尤其涉及一种基于知识图谱的气象知识库构建方法。

技术介绍

[0002]社会发展与经济建设越来越离不开气象事业。全球气候变化使气象灾害频现，给国家经济建设和民众生活造成的影响越来越大，损失也越来越严重。为了强化全社会面对气象灾害防灾减灾意识，提高防灾减灾能力，真正实现气象科普社会效应，使气象服务为社会和经济建设提供有力支持，需要引入前沿技术，解决气象灾害预警和防治过程中遇到的诸多挑战。
[0003]自然语言处理是一门把语言学、计算机科学、数学等相关领域融为一体的交叉学科，自然语言处理技术逐渐渗透到各行各业用于文本数据挖掘和信息存储。从命名实体识别的角度来看，在满足将对非结构化文本分析和理解的同时，需要保证数据的可扩展性。从关系抽取的角度来看，在满足对实体抽取后实体之间的关系链接是对数据处理与关联的延伸。命名实体识别与关系抽取技术已经广泛应用于文本数据挖掘和存储，可以实现高效准确的信息筛选。
[0004]知识图谱是一种以结构化形式表示事物以及事物之间的关系的语义网，能有效利用大量的结构化、半结构化和非结构化数据。知识图谱的构建包括知识抽取、知识融合与知识表示等。知识图谱可分为通用知识图谱和领域知识图谱。通用知识图谱主要应用于搜索引擎和链接站点等技术；领域知识图谱主要应用于特定的领域，专业化程度更高，已在医疗、金融、电商等领域有着广泛应用。
[0005]目前的气象应急预警工作中的分析和决策严重依赖人工，无法自动地从原始数据中获取有效信息，数据分析处理速度慢、数据存储方式不科学、决策效率有限。

技术实现思路

[0006]专利技术目的
[0007]本专利技术的目的在于减少气象灾害预警信号和防治工作中的人力消耗、增强原始数据的自动化获取和处理能力、提高气象灾害预警的决策效率。
[0008]技术方案
[0009]一种基于知识图谱的气象知识库构建方法，包括以下步骤：
[0010]步骤1.将气象应急预警数据进行机器读取和内容转码；
[0011]步骤2.针对步骤1所输出的数据进行特征工程，删除赘余成分并提取目标内容；
[0012]步骤3.针对步骤2所输出的数据进行内容筛选和层级构建，形成大类、子类、判断标准和防御指南，将大类和子类写入数据集中进行保存；
[0013]步骤4.针对步骤3所形成的判断标准和防御指南进行命名实体识别以及实体关系抽取，得到知识融合后的实体
‑
关系
‑
实体的三元组；
[0014]步骤5.将步骤3中形成的大类、子类中的实体节点和步骤4中的三元组进行知识表示，编写工具类实现自动建立和维护知识图谱，实现知识库的构建。
[0015]在进行特征工程的过程中，采用自动化程式的清洗和整理存在于文档中松散的知识体系，能够得到具有结构层次严谨的专业领域数据集，便于后期维护。
[0016]大类和子类这两部分数据属于结构性较强、已成体系的知识元，这些知识元可以作为层次数据集直接写入知识库。
[0017]进一步地，步骤2中特征工程引用python
‑
docx包读取文档，使用re库实现对文档的正则表达式操作，批量地删除文档中默认不显示的占位符、换行符以及构建图谱不需要的图片和标点符号，从而实现对目标内容的提取。而由于防御指南和判断标准含有的知识量级和实体关系都较为丰富，需要对其进行命名实体识别、关系抽取，得到知识融合后的三元组后才能写入知识库。
[0018]进一步地，步骤4中命名实体识别的具体步骤包括：
[0019]步骤4.1将判断标准和防御指南中的单词序列通过Word2Vec方法转化为词向量V
word
＝(v1,v2,v3,...,v
n
)，其中n为向量维度；
[0020]步骤4.2使用双向长短记忆网络对词向量V
word
进行编码，由于双向长短记忆网络能将前向的长短期记忆与后向的长短期记忆相结合，更好地获取上下文的依赖关系，前向的长短期记忆能得到前向隐层状态序列，后向的长短期记忆可得到后向隐层状态序列；
[0021]步骤4.3使用条件随机场对编码后的词向量V
word
解码，将前向和后向的隐层状态序列进行拼接，从而输出每个单词的序列标签；
[0022]步骤4.4使用维特比算法对步骤4.3所输出序列标签的概率进行归一化处理，从而完成命名实体识别。
[0023]在进行知识抽取的过程中，采用双向长短记忆网络(双向长短期神经网络)并结合CRF(条件随机场)进行命名实体识别，可以提升序列预测的速度与正确率。不同于以往同类任务使用的softmax分类器，本文引入的CRF(条件随机场)能够对编码后的词向量进行解码并得到每个单词的序列标签，CRF(条件随机场)可以有效约束双向长短记忆网络(双向长短期神经网络)的输出从而大大减少错误的预测序列。此外，使用维特比算法对输出序列标签的概率进行归一化处理，可以更快更准确的识别出实体。
[0024]进一步地，步骤4中实体关系抽取的具体步骤包括：
[0025]步骤4.5将判断标准和防御指南的单词序列中的单词相对于主语实体的位置序列定义为第一序列其中，s1和s2分别为主语实体的开始位置和结束位置，表示第i个单词与主语实体的相对位置；
[0026]步骤4.6将判断标准和防御指南的单词序列中的单词相对于宾语实体的位置序列定义为第二序列第二序列为依次排布的绝对序列；
[0027]步骤4.7将第一序列转换为第一位置向量，将第二序列转换为第二位置向量，引入BERT模型，将BERT模型的表示向量与第一位置向量、第二位置向量依次进行拼接，生成向量序列；
[0028]步骤4.8将步骤4.7向量序列输入双向长短记忆网络，获取每个方向上的最后一个
隐含层状态，进行关系抽取，得到实体
‑
关系
‑
实体的三元组。
[0029]采用BERT模型进行关系抽取，能够有效提高实体
‑
关系
‑
实体的三元组语义精准度。
[0030]进一步地，步骤5中实体节点的节点属性包括唯一标识符id、节点名称name、数值判断值value、额外内容存储值content。
[0031]进一步地，工具类依赖Python库py2neo创建，包括节点创建工具类、连接关系创建工具类和知识查询工具类，并利用py2neo库执行Neo4j操作实现数据可视化。
[0032]相较于传统的cypher语句建库，py2neo库可以节省更多计算机资源、提高图谱搭建效率，且通过Neo4j图数据库实现了知识库的可视化展示，提高了信息展示效率，方便有关人员依据其做出决策。
[0033]进一步地，双向长短记忆网络的数学模型表示为：
[0034]f
t
＝σ(W
f<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识图谱的气象知识库构建方法，其特征在于，包括以下步骤：步骤1.将气象应急预警数据进行机器读取和内容转码；步骤2.针对步骤1所输出的数据进行特征工程，删除赘余成分并提取目标内容；步骤3.针对步骤2所输出的数据进行内容筛选和层级构建，形成大类、子类、判断标准和防御指南，将大类和子类写入数据集中进行保存；步骤4.针对步骤3所形成的判断标准和防御指南进行命名实体识别以及实体关系抽取，得到知识融合后的实体
‑
关系
‑
实体的三元组；步骤5.将步骤3中形成的大类、子类中的实体节点和步骤4中的三元组进行知识表示，编写工具类实现自动建立和维护知识图谱，实现知识库的构建。2.根据权利要求1所述的一种基于知识图谱的气象知识库构建方法，其特征在于：步骤2中所述特征工程引用python
‑
docx包读取文档，使用re库实现对文档的正则表达式操作，批量地删除文档中默认不显示的占位符、换行符以及构建图谱不需要的图片和标点符号，从而实现对目标内容的提取。3.根据权利要求1所述的一种基于知识图谱的气象知识库构建方法，其特征在于，步骤4中所述命名实体识别的具体步骤包括：步骤4.1将所述判断标准和防御指南中的单词序列通过Word2Vec方法转化为词向量V
word
＝(v1,v2,v3,...,v
n
)，其中n为向量维度；步骤4.2使用双向长短记忆网络对词向量V
word
进行编码；步骤4.3使用条件随机场对编码后的词向量V
word
解码并输出每个单词的序列标签；步骤4.4使用维特比算法对步骤4.3所输出序列标签的概率进行归一化处理，从而完成命名实体识别。4.根据权利要求3所述的一种基于知识图谱的气象知识库构建方法，其特征在于，步骤4中所述实体关系抽取的具体步骤包括：步骤4.5将所述判断标准和防御指南的单词序列中的单词相对于主语实体的位置序列定义为第一序列其中，s1和s2分别为主语实体的开始位置和结束位置，表示第i个单词与主语实体的相对位置；步骤4.6将所述判断标准和防御指南的单词序列中的单词相对于宾语实体的位置序列定义为第二序列第二序列为依次排布的绝对序列；步骤4.7将所述第一序列转换为第一位置向量，将第二序列转换为第二位...

【专利技术属性】
技术研发人员：余正，许小龙，康志明，孙文正，江结林，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：