一种多源数据的知识图谱扩展融合方法技术

本发明专利技术适用于数据处理技术领域，提供了一种多源数据的知识图谱扩展融合方法，包括如下步骤：步骤一、多源数据的采集；步骤二、多源数据的解析抽取；将爬取来每个数据源的数据按照RDF模型进行反向解析，并抽取其中的实体、关系以及属性，随后按照相同的格式进行暂存；步骤三、多源数据的比对整合；将按照相同格式的暂存的多源数据进行实体、关系以及属性的比对，梳理其相关性，并按照相关性进行分组整合；步骤四、与自身数据库的进行对比。本发明专利技术在现有的基础上增加了与自身数据库比对的部分，从而可以将外界多源获取的数据，比对整合后，再次与自身数据库中的数据进行比对整合，使得整个数据库中的数据更加的优化，精简。精简。精简。

【技术实现步骤摘要】
一种多源数据的知识图谱扩展融合方法


[0001]本专利技术属于数据处理
，尤其涉及一种多源数据的知识图谱扩展融合方法。

技术介绍

[0002]知识图谱：KnowledgeGraph以结构化的形式描述客观世界中的概念实体及其关系，将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织，管理和理解互联网海量信息的能力。知识图谱与大数据和深度学习一起，成为互联网和人工智能发展的核心驱动力之一。
[0003]知识图谱技术是指知识图谱建立和应用的技术，是融合认知计算，知识表示与推理，信息检索与抽取，自然语言处理与语义Web，数据挖掘与机器学习等方向的交叉研究。
[0004]2012年google提出知识图谱概念之前其一直以知识工程，语义网等概念存在。在大数据时代，知识工程是从大数据中自动或半自动的获取知识，建立基于知识的系统，我们需要利用知识工程为大数据添加语义知识，使数据产生智慧，完成数据
‑
>信息
‑
>知识
‑
>智慧的转变过程。
[0005]知识图谱关注概念，实体及其关系，其中实体是客观世界中的事物，概念是对具有相同属性的事物的概括和抽象。本体是知识图谱的知识表示基础，可以形式化表示为O＝{C，H，P，A，I}，C为概念集合，如事务性概念和事件类概念，Hshi概念的上下位关系集合，P是属性集合，描述概念所具有的特征，A是规则集合，描述领域规则，I是实例集合，描述实例
‑
属性
‑
值。
[0006]现有的中文知识图谱方面尚缺乏一个覆盖全面，规模大，质量权威的开放知识图谱，知识分散在多个不同的来源知识库中，如果在实际应用场景下需要一个能满足需求的完整知识库，就不可避免涉及到从多个不同领域不同规模的知识库中提取需要的数据经过融合构成支撑应用所需的完整数据源。另外，但若仅仅采用单一来源的知识作为数据源，知识结构会略显单一，多源数据的融合就可以对多来源知识的不确定性进行修正。

技术实现思路

[0007]本专利技术提供一种多源数据的知识图谱扩展融合方法，旨在解决若仅仅采用单一来源的知识作为数据源，知识结构会略显单一，多源数据的融合就可以对多来源知识的不确定性进行修正的问题。
[0008]本专利技术是这样实现的，一种多源数据的知识图谱扩展融合方法，包括如下步骤：
[0009]步骤一、多源数据的采集；
[0010]采用网页爬虫对多个公开或者半公开的数据源中的数据进行采集；
[0011]步骤二、多源数据的解析抽取；
[0012]将爬取来每个数据源的数据按照RDF模型进行反向解析，并抽取其中的实体、关系以及属性，随后按照相同的格式进行暂存；
[0013]步骤三、多源数据的比对整合；
[0014]将按照相同格式的暂存的多源数据进行实体、关系以及属性的比对，梳理其相关性，并按照相关性进行分组整合；
[0015]步骤四、与自身数据库的进行对比；
[0016]当相关性高的分为一组时，直接利用该组相关性的特征与自家数据库中的数据进行遍历比对，再次判断相关性，若相关性高，则与自家数据库中该数据放置在同一组，若相关性不高，则在自家数据库中以该数据的组为中心按照相关度由高到低放置；与自家数据库中该数据放置在同一组，若相关性不高，则在自家数据库中以该数据的组为中心按照相关度由高到低单独成一组放置；
[0017]当相关性不高时单独分为一组，直接利用自身的特征与自家数据库中的数据进行遍历比对，再次判断相关性，若相关性高，则与自家数据库中该数据放置在同一组，若相关性不高，则在自家数据库中以该数据的组为中心按照相关度由高到低单独成一组放置。
[0018]优选的，其中步骤一中：数据来源即可以为通过构建网页爬虫抽取百度百科、互动百科中相关的信息数据集，数据采用JSON格式存储，针对百科类网页数据的抽取，构建一套基于WebMagic框架的数据爬虫系统，通过编写正则表达式来获取网页中的信息数据，还可以为来自政府或者相关联企业的数据库。
[0019]优选的，其中步骤二中：对多源数据中的结构化数据，通常是关系型数据库的数据，数据结构清晰，采用D2R技术把关系型数据库中的数据转换为RDF数据(linked data)即可。
[0020]优选的，其中步骤二中：对多源数据中半结构化数据，主要是指那些具有一定的数据结构，但需要进一步提取整理的数据，比如百科的数据，网页中的数据，对于这类数据，主要采用包装器的方式进行处理。
[0021]优选的，其中步骤二中：对多源数据中非结构化的文本数据，我们可以采用机器深度学习模型以及其他的方式进行知识的实体、关系、属性的抽取。
[0022]优选的，其中步骤三中：相同的格式为各行各业对应的标准的记录格式，如日期的记录格式、长宽高的记录格式。
[0023]优选的，其中步骤三和步骤四中：关于相关性比对的方式：专利技术的实体相似度是由实体的文本相似性和属性相似度综合计算出的，计算公式如下：其中，ea和eb是两个实体，Context_Sim(ea，eb)为实体间的文本相似度，Property_Sim(ea，eb)为实体间的属性相似度，取平均得到二者的实体相似度Sim(ea，eb)。
[0024]与现有技术相比，本专利技术的有益效果是：本专利技术的一种多源数据的知识图谱扩展融合方法，本专利技术在现有的基础上增加了与自身数据库比对的部分，从而可以将外界多源获取的数据，比对整合后，再次与自身数据库中的数据进行比对整合，使得整个数据库中的数据更加的优化，精简。
附图说明
[0025]图1为本专利技术的流程示意图；
具体实施方式
[0026]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0027]请参阅图1，本专利技术提供一种技术方案：一种多源数据的知识图谱扩展融合方法，包括如下步骤：
[0028]步骤一、多源数据的采集；
[0029]采用网页爬虫对多个公开或者半公开的数据源中的数据进行采集；
[0030]其中：数据来源即可以为通过构建网页爬虫抽取百度百科、互动百科中相关的信息数据集，数据采用JSON格式存储，针对百科类网页数据的抽取，构建一套基于WebMagic框架的数据爬虫系统，通过编写正则表达式来获取网页中的信息数据，还可以为来自政府或者相关联企业的数据库。
[0031]步骤二、多源数据的解析抽取；
[0032]将爬取来每个数据源的数据按照RDF模型进行反向解析，并抽取其中的实体、关系以及属性，随后按照相同的格式进行暂存；
[0033]针对结构化数据，通常是关系型数据库的数据，数据结构清晰，把关系型数据库中的数据转换为RDF数据(linkeddata)，普遍采用的技术是D2R技术。D2R主要包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源数据的知识图谱扩展融合方法，其特征在于：包括如下步骤：步骤一、多源数据的采集；采用网页爬虫对多个公开或者半公开的数据源中的数据进行采集；步骤二、多源数据的解析抽取；将爬取来每个数据源的数据按照RDF模型进行反向解析，并抽取其中的实体、关系以及属性，随后按照相同的格式进行暂存；步骤三、多源数据的比对整合；将按照相同格式的暂存的多源数据进行实体、关系以及属性的比对，梳理其相关性，并按照相关性进行分组整合；步骤四、与自身数据库的进行对比；当相关性高的分为一组时，直接利用该组相关性的特征与自家数据库中的数据进行遍历比对，再次判断相关性，若相关性高，则与自家数据库中该数据放置在同一组，若相关性不高，则在自家数据库中以该数据的组为中心按照相关度由高到低放置；与自家数据库中该数据放置在同一组，若相关性不高，则在自家数据库中以该数据的组为中心按照相关度由高到低单独成一组放置；当相关性不高时单独分为一组，直接利用自身的特征与自家数据库中的数据进行遍历比对，再次判断相关性，若相关性高，则与自家数据库中该数据放置在同一组，若相关性不高，则在自家数据库中以该数据的组为中心按照相关度由高到低单独成一组放置。2.如权利要求1所述的一种多源数据的知识图谱扩展融合方法，其特征在于：其中步骤一中：数据来源即可以为通过构建网页爬虫抽取百度百科、互动百科中相关的信息数据集，数据采用JSON格式存储，针对百科类网页数据的抽取，构建一套基于WebMagic框架的数据爬虫系统，通过编写正则表达式来获取网页中...

【专利技术属性】
技术研发人员：吴修文，
申请(专利权)人：南京大创师智能科技有限公司，
类型：发明
国别省市：