一种多源异构数据的语义数据湖构建方法技术

本发明专利技术公开了一种多源异构数据的语义数据湖构建方法，包含以下步骤：S1、构建本体，确认本体的属性和参数，存到数据湖服务器的图数据库中；S2、提取导入的数据文件的内容的语义，建立RDF描述，并将建立好的RDF描述保存到数据湖服务器的文档型数据库中；S3、根据RDF描述并参照相关本体，将RDF描述所对应的文件与本体实现语义层级的关联，并写入图数据库中。本发明专利技术可展示语义数据的节点关系，还能处理本体数据以及处理与本体关联的数据文件，实现人工可干预的操作，语义数据湖检索便利，还能方便进一步详细获取检索结果文件。

A semantic data Lake construction method for multi-source heterogeneous data

【技术实现步骤摘要】
一种多源异构数据的语义数据湖构建方法
本专利技术涉及多源异构数据的收集与管理和应用领域，特别涉及一种多源异构数据的语义数据湖构建方法。
技术介绍
数据库技术是现代计算机信息系统和计算机应用系统的基础和核心，是信息系统的重要组成部分。在进行数据库应用系统开发时，通常需要将数据库数据导出以用于本系统备份或与其它系统进行数据共享和交换。数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS(Hadoop分布式文件系统)廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。数据湖的一部分价值是把不同种类的数据汇聚到一起，另一部分价值是不需要预定义的模型就能进行数据分析。现在的大数据架构是可扩展的，并且可以为用户提供越来越多的实时分析。数据湖架构面向多数据源的信息存储，包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。为了可以解决语义检索的复杂性与便利性的问题，实现自动化建立，检索便利，则需要提供一种多源异构数据的语义数据湖构建方法，使得可以展示语义数据的节点关系，还能处理本体数据以及处理与本体关联的数据文件。
技术实现思路
本专利技术的目的在于提供一种多源异构数据的语义数据湖构建方法，通过构造图数据库本体并确认本体属性和参数，保存到图数据库中，并建立与本体相关的文件的RDF描述，保存到文档型数据库，根据RDF描述并参照已有图数据库本体以及属性，建立本体与相关的文件的RDF关联，并写入文档型数据库，可以展示语义数据的节点关系，还能处理本体数据以及处理与本体关联的数据文件，实现本专利技术人工可干预的操作，语义数据湖检索便利，还能方便进一步详细获取检索结果文件。为了达到上述目的，本专利技术提供了一种多源异构数据的语义数据湖构建方法，该方法包含以下步骤：S1、构建本体，确认本体的属性和参数，存到数据湖服务器的图数据库中；S2、提取导入的数据文件的内容的语义，建立RDF描述，并将建立好的RDF描述保存到数据湖服务器的文档型数据库中；S3、根据RDF描述并参照相关本体，将RDF描述所对应的文件与本体实现语义层级的关联，并写入图数据库中。优选地，所述RDF描述包含节点和边，其中，节点表示实体/资源/属性，边表示实体和实体之间的关系以及实体和属性的关系。优选地，所述数据湖服务器是包含关系型数据库、文档型数据库、分布式文件系统和图数据库这四类数据库的数据存储和管理服务平台，该平台采用分布式运算和存储架构，集成了具有数据存储和运算功能的各类计算机单机、服务器和计算机集群/服务器集群，并提供包括数据管理、算法开发在内的各类功能组件。优选地，所述数据存储和管理服务平台通过日志文件和元数据文件，对数据文件及其存储、交换进行组织管理；其中，所述日志文件包含的日志记录数据，以键值对的形式存在，包含对应以下内容的字段：当前操作的操作者名称；当前操作的类型；当前操作的内容，即操作动作的执行对象；其中，当操作类型是修改、或创建、或追加时，是指保存对应数据源的位置；当操作类型是查询时，是指保存对应的查询语句；当前操作的日期时间；当前操作的状态，用来判断当前操作是否成功；当前操作的数据类型；其中，所述元数据文件包含的文件元数据，以键值对的形式存在，其包含对应以下内容的字段：正在处理的数据的名称；对当前数据的描述；当前数据所属的用户；当前数据所属的组；存储的目的地，其与数据库类型相匹配；数据生成的资源描述框架；元数据创建时间；元数据更新时间。优选地，所述图数据库为Neo4j或Cayley或GrapgDB；和/或，所述文档型数据库为MongoDB或CouchDB。优选地，所述步骤S1中，进一步包含：根据所要建立图数据库的主体，选择本体关键词，并进一步添加本体的属性参数描述，用于构建图形数据库。优选地，所述数据湖服务器的图数据库是基于图数据库构建和管理的软件建立的。优选地，所述步骤S2可在导入外部数据源的数据文件的同时执行，或者可在导入外部数据源的数据文件之后执行。优选地，所述语义数据湖构建完成后，进一步实现以下过程的一种或多种：在所述语义数据湖中通过图数据库查询本体，获得本体相关的属性；语义数据湖提供图形化的检索界面以及层进式查询界面，支持查询结果的数据关系图谱展示，支持图谱的相关操作；获得查询结果对应的源文件，并获得文件或者数据的匹配列表，以及可查询文件内容；用户可进一步在网络图谱中确认节点、下钻细化查询结果。与现有技术相比，本专利技术的有益效果为：(1)本专利技术可以解决语义检索的复杂性与便利性的问题，实现自动化建立，检索便利；(2)本专利技术可解决构建本体的准确性问题，实现完善的本体构建；(3)本专利技术可以解决待保存数据的多元异构的问题，以实现各类数据都可以在数据湖中保存；(4)本专利技术可解决语义湖构建的硬件平台支撑的问题，实现构建语义湖构建的硬件平台支撑；(5)本专利技术使用便利性，检索过程可追溯，方便管理，可方便进一步详细获取检索结果文件；(6)本专利技术可建立语义数据湖的便利性、检索的便利性，实现人工可干预的操作以及语义数据湖检索便利；(7)本专利技术可以解决数据存储的安全性和稳定性，以保证数据存储的安全性和稳定性保障。附图说明图1本专利技术的数据湖的架构示意图。具体实施方式为了使本专利技术更加明显易懂，以下结合附图和具体实施方式对本专利技术做进一步说明。如图1所示，数据湖服务器是指由关系型数据库(例如MariaDB、MySQL等)、文档型数据库(例如MongoDB、CouchDB等)、分布式文件系统(例如HDFS、PVFS、PanFS等)以及图数据库(例如Neo4j、Cayley、GrapgDB等)这四类数据库构成的数据存储和管理服务平台。这个平台采用分布式运算和存储架构，集成了具有数据存储以及运算功能的各类计算机单机、服务器以及计算机集群或者服务器集群，并提供包括数据管理、算法开发的各类功能组件。其中，分布式运算和存储架构是指：通过使用PaaS云计算平台提供计算资源的分配，将业务容器分配到集群中各个节点，提供分布式计算资源。本实施例中，整个数据湖的数据交换管理是基于保存在MongoDB中的日志记录数据和文件元数据。(a)日志记录数据以键值对的形式存在，其字段名称和内容是：字段"user"：保存当前操作的操作者名称；字段"operation_type"：保存当前操作的类型，比如创建，修改，追加等；字段"operation_record"：用来保存当前操作的内容即操作动作的执行对象。当操作类型是修改、创建、追加时，保存对应数据源的位置；当操作类型是查询时，保存对应的查询语句；字段"operation_t本文档来自技高网...

【技术保护点】
1.一种多源异构数据的语义数据湖构建方法，其特征在于，该方法包含以下步骤：/nS1、构建本体，确认本体的属性和参数，存到数据湖服务器的图数据库中；/nS2、提取导入的数据文件的内容的语义，建立RDF描述，并将建立好的RDF描述保存到数据湖服务器的文档型数据库中；/nS3、根据RDF描述并参照相关本体，将RDF描述所对应的文件与本体实现语义层级的关联，并写入图数据库中。/n

【技术特征摘要】
1.一种多源异构数据的语义数据湖构建方法，其特征在于，该方法包含以下步骤：
S1、构建本体，确认本体的属性和参数，存到数据湖服务器的图数据库中；
S2、提取导入的数据文件的内容的语义，建立RDF描述，并将建立好的RDF描述保存到数据湖服务器的文档型数据库中；
S3、根据RDF描述并参照相关本体，将RDF描述所对应的文件与本体实现语义层级的关联，并写入图数据库中。


2.如权利要求1所述的多源异构数据的语义数据湖构建方法，其特征在于，所述RDF描述包含节点和边，其中，节点表示实体/资源/属性，边表示实体和实体之间的关系以及实体和属性的关系。


3.如权利要求1所述的多源异构数据的语义数据湖构建方法，其特征在于，所述数据湖服务器是包含关系型数据库、文档型数据库、分布式文件系统和图数据库这四类数据库的数据存储和管理服务平台，该平台采用分布式运算和存储架构，集成了具有数据存储和运算功能的各类计算机单机、服务器和计算机集群/服务器集群，并提供包括数据管理、算法开发在内的各类功能组件。


4.如权利要求3所述的多源异构数据的语义数据湖构建方法，其特征在于，所述数据存储和管理服务平台通过日志文件和元数据文件，对数据文件及其存储、交换进行组织管理；
其中，所述日志文件包含的日志记录数据，以键值对的形式存在，包含对应以下内容的字段：
当前操作的操作者名称；
当前操作的类型；
当前操作的内容，即操作动作的执行对象；其中，当操作类型是修改、或创建、或追加时，是指保存对应数据源的位置；当操作类型是查询时，是指保存对应的查询语句；
当前操作的日期时间；
当前操作的状态，用来判断当前操作是否成功；
当前操作的数据类型；
其中，所述元数据文件...

【专利技术属性】
技术研发人员：陈刚，
申请(专利权)人：中云开源数据技术上海有限公司，
类型：发明
国别省市：上海;31