一种数据湖与关系型数据库互联的方法技术

本发明专利技术提供了一种数据湖与关系型数据库互联的方法，包括以下步骤：S1.在数据湖中添加关系型数据库的数据源类；S2.数据湖匹配使用关系型数据库的数据源类；S3.根据数据源类确定并加载相应驱动以与相应关系型数据库进行连接。本发明专利技术通过传参的方式将数据源注册配置文件、关系型数据库配置文件和驱动包目录串联起来，在启动数据湖时，不需要指定具体要使用哪个数据库，直接使用相应的数据库即可，也不需要遍历配置文件，用户按需通过传递参数的形式获取所需的配置信息即可，实现数据湖与关系型数据库之间的高效连接和双向读写。型数据库之间的高效连接和双向读写。型数据库之间的高效连接和双向读写。

【技术实现步骤摘要】
一种数据湖与关系型数据库互联的方法


[0001]本专利技术属于数据湖
，尤其是涉及一种数据湖与关系型数据库互联的方法。

技术介绍

[0002]近年来，随着物联网、云计算、遥感、5G等技术的快速发展，各种数据呈现井喷式增长。从数据结构上说，数据可以分为四大类，结构化数据、半结构化数据、非结构化数据和二进制数据。为了存储这些数据，企事业单位一般会按业务或部门构建各自独立的数据库，这就导致了数据孤岛的问题，数据间共享困难，数据利用率低。
[0003]随着大数据时代的到来，结构化数据被运用得越来越多，但是很多领域的结构化数据被单一地存储在关系型数据库中，这部分数据往往无法和其他数据间进行共享，进而成为一个数据孤岛。
[0004]数据湖是一个用于存储企业的各种各样原始数据并保留原始数据内容的大规模存储系统架构，支持结构化数据、半结构化数据、非结构化数据和二进制数据等数据存储，其中的数据可供存取、处理、分析及传输，并且支持海量数据的分析处理，所以可以利用数据湖将关系型数据库中的数据与其他数据实现共享，但是目前没有一种实现数据湖直接与关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据湖与关系型数据库互联的方法，其特征在于，包括以下步骤：S1.在数据湖中添加关系型数据库的数据源类；S2.数据湖匹配使用关系型数据库的数据源类；S3.根据数据源类确定并加载相应驱动以与相应关系型数据库进行连接。2.根据权利要求1所述的数据湖与关系型数据库互联的方法，其特征在于，步骤S1中，通过以下方法添加关系型数据库的数据源类：S11.确定所要添加的数据源类为关系型数据库的数据源类，并为该数据源类备注标识名称；S12.将所述数据源类的包括标识名称的包路径添加到数据湖的数据源注册配置文件中。3.根据权利要求2所述的数据湖与关系型数据库互联的方法，其特征在于，步骤S2中，通过以下方式匹配使用关系型数据库的数据源类：S21.数据湖通过接口参数传递关系型数据库的数据源类的标识名称；S22.通过步骤S21中的标识名称与数据源注册配置文件中的数据源类的标识名称进行匹配；S23.使用标识名称匹配上的数据源类。4.根据权利要求3所述的数据湖与关系型数据库互联的方法，其特征在于，步骤S3中，根据关系型数据库的数据源类匹配到关系型数据库配置文件，所述的关系型数据库配置文件中存储有各种关系型数据库的基础信息，数据湖根据当前使用的关系型数据库的基础信息确定并加载相应驱动以与当前关系型数据库进行连接。5.根据权利要求4所述的数据湖与关系型数据库互联的方法，其特征在于，各关系型数据库的基础信息包括相应关系型数据库的数据库名称；步骤S3中，通过传递数据库名称在数据库配置文件中读取相应关系型数据库的基础信息。6.根据权利要求5所述的数据湖与关系型数据库互联的方法，其特征在于，每...

【专利技术属性】
技术研发人员：刘昊，张涛，张磊，王朋，刘哲峰，陈志凌，王秋烨，陈巍，刘荫隆，郁晨熹，
申请(专利权)人：北京大数据先进技术研究院，
类型：发明
国别省市：