【技术实现步骤摘要】
一种从多源数据集成视角构建企业知识图谱的方法
本专利技术属于数据处理
，涉及一种从多源数据集成视角构建企业知识图谱的方法。
技术介绍
知识图谱利用图的方式关联信息，将知识结构化、标准化。知识图谱构建需要综合利用知识表示(KnowledgeRepresentation,KR)、自然语言处理(NaturalLanguageProcess，NLP)、机器学习(MachineLearning，ML)、数据库(DataBase，DB)等方法和技术。随着互联网相关技术的不断发展，人们经历了传统的以文档为中心的Web1.0时代和以用户内容为中心的Web2.0时代，目前Web3.0已经逐渐成为了日益增长的各种Web资源的存储库。Web3.0时代是以知识互联为主要目标，通过构建人与机器都可理解的知识网络，充分利用和挖掘海量的互联网数据来服务人类。但是，数据规模大、来源丰富、类型复杂、变化迅速等诸多特征使得对互联网中数据的挖掘和充分利用充满挑战。知识图谱通过深入的语义分析和数据挖掘，将海量的互联网数据高效组织为知识网络，以直观的方式对知识进行搜索和展现，同时也为大数据分析、智能...
【技术保护点】
1.一种从多源数据集成视角构建企业知识图谱的方法，其特征在于：基于本体建模和Karma建模实现多源异构数据集成的视角快速构建企业知识图谱可以分为数据获取、知识融合和知识加工存储；其中，数据获取方法为：数据集一部分来自政府的关系数据库，另一部分通过构建网页爬虫抽取百度百科中相关的企业信息数据，数据采用JSON格式存储，针对百科类网页数据的抽取，构建一套基于WebMagic框架的企业爬虫系统，通过编写正则表达式来获取网页中需要的企业信息数据，爬虫系统框架包括以下四个组件：下载器、页面解析器、调度器、管道组件，在Spider容器中，将这几个组件组织起来，通过相互交互和流程化的执行...
【技术特征摘要】
1.一种从多源数据集成视角构建企业知识图谱的方法，其特征在于：基于本体建模和Karma建模实现多源异构数据集成的视角快速构建企业知识图谱可以分为数据获取、知识融合和知识加工存储；其中，数据获取方法为：数据集一部分来自政府的关系数据库，另一部分通过构建网页爬虫抽取百度百科中相关的企业信息数据，数据采用JSON格式存储，针对百科类网页数据的抽取，构建一套基于WebMagic框架的企业爬虫系统，通过编写正则表达式来获取网页中需要的企业信息数据，爬虫系统框架包括以下四个组件：下载器、页面解析器、调度器、管道组件，在Spider容器中，将这几个组件组织起来，通过相互交互和流程化的执行，根据具体需求完成数据抽取；知识融合方法：针对多源异构的结构化数据集，提出了基于企业法人本体的数据集成方法，对获取到的数据集进行分析和整理，抽取出实体类、对象属性和数据属性本体的相关概念，完成企业领域本体的构建，利用本体构建Karma模型进行多源数据的快速集成与融合；知识加工方法：推理引擎完成企业法人本体和集成发布的企业RDF数据的上下位推理、缺失类别补全、一致性检测和自定义规则推理四大功能，对已有知识进行补全和修正；知识存储方法：采用Neo4j图数据库对知识图谱进行持久化存储，通过构建RDF2Neo4j解释器，将RDF三元组数据导入Neo4j图数据库中进行存储。2.按照权利要求1所述一种从多源数据集成视角构建企业知识图谱的方法，其特征在于：所述企业爬虫系统的工作流程：第一步，针对政府提供的部分企业数据进行解析，抽取其中的企业实体名称，利用百度百科提供统一的API接口，自动拼接初始URL；第二步，下载器使用ApacheHttpClient作为下载组件对提供的初始URL发起请求，获取网页对象Page；第三步，页面解析器采用pageProcessor中的process方法对网页进行解析，使用jsoup解析HTML页面成DOM树，通过CSSSelector抽取有用的信息资源以及发现新的种子URL，针对百度百科的企业词条，主要抽取词条标题、InfoBox和词条概述三个部分；第四步，调度器负责管理待抓取的URL以及去重操作；第五步，管道器负责处理抽取的网页数据，主要包括保存数据到文件或数据库。3.按照权利要求1所述一种从多源数据集成视角构建企业知识图谱的方法，其特征在于：所述Karma的建模方法：第一步是导入...
【专利技术属性】
技术研发人员：云红艳，贺英，林莉，张秀华，胡欢，
申请(专利权)人：青岛大学，
类型：发明
国别省市：山东,37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。