【技术实现步骤摘要】
一种数据湖环境下异构数据源数据汇聚的实现方法
本专利技术属于异构数据源相关
,具体涉及一种数据湖环境下异构数据源数据汇聚的实现方法。
技术介绍
异构数据库系统是相关的多个数据库系统的集合,可以实现数据的共享和透明访问,几个数据库系统在加入异构数据库系统之前本身就已经存在,拥有自己的数据阵管理系统、外构数据库的各个组成部分具有自身的自治性,实现数据共享的同时,每个数据库系统仍有自己的应用特性、完整性控制和安全性控制。现有的数据湖环境下异构数据源数据汇聚的实现方法技术存在以下问题:在企业信息化建设过程中,由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响,导致企业在发展过程中积累了大量采用不同存储方式的业务数据,包括采用的数据管理系统也大不相同,从简单的文件数据库到复杂的网络数据库,它们构成了企业的异构数据源。
技术实现思路
本专利技术的目的在于提供一种数据湖环境下异构数据源数据汇聚的实现方法,以解决上述
技术介绍
中提出的由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响导致数据库具有较大的差异性的问题。为实现上述目的,本专利技术提供如下技术方案:一种数据湖环境下异构数据源数据汇聚的实现方法,由以下方法模块构成,其方法模块包括查询处理模块、事务管理模块、完整性约束模块、通信处理器模块与应用模块,所述查询处理模块是由检索子模块、终端系统模块与显示屏模块组成的,所述查询处理模块内部的检索子模块用于不同数据的检索 ...
【技术保护点】
1.一种数据湖环境下异构数据源数据汇聚的实现方法,由以下方法模块构成,其方法模块包括查询处理模块、事务管理模块、完整性约束模块、通信处理器模块与应用模块,其特征在于:所述查询处理模块是由检索子模块、终端系统模块与显示屏模块组成的,所述查询处理模块内部的检索子模块用于不同数据的检索的作用,所述查询处理模块内部的终端系统模块用于操控者操作的作用,所述查询处理模块内部的显示屏模块用于数据的显示的作用;/n所述事务管理模块是由局部事务与全局事务组成的,所述事务管理模块内部的局部事务具有局部数据库的本地应用向本地DBMS提交的事务的作用,所述事务管理模块内部的全局事务具有全局应用向数据库中间件提交的事务的作用;/n所述完整性约束模块是指数据的正确性和相容性,加在数据库之上的语义约束条件称为数据库完整性约束条件,它们作为模式的一部分存入数据库中;/n所述通信处理器模块是由协调控制器、通信模块与收发单元模块组成的,所述通信处理器模块内部的协调控制器用于提供多种通信方式和通信服务,所述通信处理器模块内部的通信模块用于采用双向、单向、面向连接和非连接等快速安全的通信协议,来满足不同速率、不同质量的通信要 ...
【技术特征摘要】
1.一种数据湖环境下异构数据源数据汇聚的实现方法,由以下方法模块构成,其方法模块包括查询处理模块、事务管理模块、完整性约束模块、通信处理器模块与应用模块,其特征在于:所述查询处理模块是由检索子模块、终端系统模块与显示屏模块组成的,所述查询处理模块内部的检索子模块用于不同数据的检索的作用,所述查询处理模块内部的终端系统模块用于操控者操作的作用,所述查询处理模块内部的显示屏模块用于数据的显示的作用;
所述事务管理模块是由局部事务与全局事务组成的,所述事务管理模块内部的局部事务具有局部数据库的本地应用向本地DBMS提交的事务的作用,所述事务管理模块内部的全局事务具有全局应用向数据库中间件提交的事务的作用;
所述完整性约束模块是指数据的正确性和相容性,加在数据库之上的语义约束条件称为数据库完整性约束条件,它们作为模式的一部分存入数据库中;
所述通信处理器模块是由协调控制器、通信模块与收发单元模块组成的,所述通信处理器模块内部的协调控制器用于提供多种通信方式和通信服务,所述通信处理器模块内部的通信模块用于采用双向、单向、面向连接和非连接等快速安全的通信协议,来满足不同速率、不同质量的通信要求,所述通信处理器模块内部的收发单元模块用于驱动不同传输介质的收发单元,适应和使用不同传输介质构成的系统;
所述应用模块是由显示模块、引导模块与反馈模块组成的,所述应用模块内部的显示模块用于显示的作用,所述应用模块内部的引导模块用于能够启发和引导用户正确、有效地进行界面操作的作用,所述应用模块内部的反馈模块用于对用户的误操作有容忍能力或补救措施时系统及时地给出反馈信息的作用。
2.根据权利要求1所述的一种数据湖环境下异构数据源数据汇聚的实现方法,其特征在于:所述异构数据源数据汇聚的操作步骤如下:
步骤一:首先构建一个数据库元数据目录服务,在建立了数据库元数据目录服务之后将各个不同的数据库进行导入;
步骤二、之间建立密码与解密程序,通过该密码与解密控制该数据库元数据目录服务,有了相应的密码与解密程序应用才可能以统一访问接口透明地访问不同数据库的资源;
步骤三、先将各个数据库的位置和元数据信息注册到LDAP目录中,之后用户通过目录服务便可查询到所需要的数据库资源位置和元数据信息;
步骤四、如果要查询某个数据库的DBMS信息,需先得到目录的基本结构,再确定查找的范围,然后利用LDAP的搜索命令来查找;
步骤五、如果想将数据库中的某些动态信息,如当前某个数据库的总数据...
【专利技术属性】
技术研发人员:吴奇锋,
申请(专利权)人:埃睿迪信息技术北京有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。