一种多源异构数据的语义数据湖构建方法技术

本发明专利技术公开了一种多源异构数据的语义数据湖构建方法，包含以下步骤：S1、构建本体，确认本体的属性和参数，存到数据湖服务器的图数据库中；S2、提取导入的数据文件的内容的语义，建立RDF描述，并将建立好的RDF描述保存到数据湖服务器的文档型数据库中；S3、根据RDF描述并参照相关本体，将RDF描述所对应的文件与本体实现语义层级的关联，并写入图数据库中。本发明专利技术可展示语义数据的节点关系，还能处理本体数据以及处理与本体关联的数据文件，实现人工可干预的操作，语义数据湖检索便利，还能方便进一步详细获取检索结果文件。

A semantic data Lake construction method for multi-source heterogeneous data

【技术实现步骤摘要】
一种多源异构数据的语义数据湖构建方法
本专利技术涉及多源异构数据的收集与管理和应用领域，特别涉及一种多源异构数据的语义数据湖构建方法。
技术介绍
数据库技术是现代计算机信息系统和计算机应用系统的基础和核心，是信息系统的重要组成部分。在进行数据库应用系统开发时，通常需要将数据库数据导出以用于本系统备份或与其它系统进行数据共享和交换。数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS(Hadoop分布式文件系统)廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。数据湖的一部分价值是把不同种类的数据汇聚到一起，另一部分价值是不需要预定义的模型就能进行数据分析。现在的大数据架构是可扩展的，并且可以为用户提供越来越多的实时分析。数据湖架构面向多数据源的信息存储，包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。为了可以解决语义检索的复杂性与便利性的问题，实本文档来自技高网...

【技术保护点】
1.一种多源异构数据的语义数据湖构建方法，其特征在于，该方法包含以下步骤：/nS1、构建本体，确认本体的属性和参数，存到数据湖服务器的图数据库中；/nS2、提取导入的数据文件的内容的语义，建立RDF描述，并将建立好的RDF描述保存到数据湖服务器的文档型数据库中；/nS3、根据RDF描述并参照相关本体，将RDF描述所对应的文件与本体实现语义层级的关联，并写入图数据库中。/n

【技术特征摘要】
1.一种多源异构数据的语义数据湖构建方法，其特征在于，该方法包含以下步骤：
S1、构建本体，确认本体的属性和参数，存到数据湖服务器的图数据库中；
S2、提取导入的数据文件的内容的语义，建立RDF描述，并将建立好的RDF描述保存到数据湖服务器的文档型数据库中；
S3、根据RDF描述并参照相关本体，将RDF描述所对应的文件与本体实现语义层级的关联，并写入图数据库中。


2.如权利要求1所述的多源异构数据的语义数据湖构建方法，其特征在于，所述RDF描述包含节点和边，其中，节点表示实体/资源/属性，边表示实体和实体之间的关系以及实体和属性的关系。


3.如权利要求1所述的多源异构数据的语义数据湖构建方法，其特征在于，所述数据湖服务器是包含关系型数据库、文档型数据库、分布式文件系统和图数据库这四类数据库的数据存储和管理服务平台，该平台采用分布式运算和存储架构，集成了具有数据存储和运算功能的各类计算机单机、服务器和计算机集群/服务器集群，并提供包括数据管理、算法开发在内的各类功能组件。


4.如权利要求3所述的多源异构数据的语义数据湖构建方法，其特征在于，所述数据存储和管理服务平台通过日志文件和元数据文件，对数据文件及其存储、交换进行组织管理；
其中，所述日志文件包含的日志记录数据，以键值对的形式存在，包含对应以下内容的字段：
当前操作的操作者名称；
当前操作的类型；
当前操作的内容，即操作动作的执行对象；其中，当操作类型是修改、或创建、或追加时，是指保存对应数据源的位置；当操作类型是查询时，是指保存对应的查询语句；
当前操作的日期时间；
当前操作的状态，用来判断当前操作是否成功；
当前操作的数据类型；
其中，所述元数据文件...

【专利技术属性】
技术研发人员：陈刚，
申请(专利权)人：中云开源数据技术上海有限公司，
类型：发明
国别省市：上海;31