基于数据湖的表结构变更方法、系统、设备和存储介质技术方案

技术编号:40984301 阅读:13 留言:0更新日期:2024-04-18 21:29
本申请公开了一种基于数据湖的表结构变更方法、系统、设备和存储介质,该方法包括:协调节点获取数据库变更指令关联的数据地址,并将所述数据库变更指令发送至外模式层以及所述数据地址关联的内模式层;所述外模式层在接收到所述数据库变更指令后,根据所述数据库变更指令包括的字段变更信息,更新所述外模式层存储的字段信息;所述内模式层在接收到所述数据库变更指令后,根据所述数据库变更指令包括的所述字段变更信息,更新所述内模式层存储的字段定义信息。解决了相关技术中需要到存储层修改全量数据,导致数据库操作效率低下的技术问题,实现了不修改原始数据,提升数据库操作效率的技术效果。

【技术实现步骤摘要】

本申请涉及数据管理领域,尤其涉及一种基于数据湖的表结构变更方法、系统、设备和存储介质


技术介绍

1、在结构化数据湖场景下,典型的结构为业务系统与sql(structured querylanguage,数据库语言)层对接,其中sql层为多种类型的数据库,例如mysql、sparksql等,sql层中各个数据库与统一的存储层对接,数据湖在保存数据上,具有低成本大容量的优点,并且能够保存多种多样的数据。

2、在相关技术中,sql实例层的很多查询操作无法直接发送至存储层执行,对数据湖进行表结构变更时,需要到存储层去修改全量数据,或者重新拷贝出一个新的数据表,再将查询的数据从存储层返回sql层,进而继续处理数据。这导致当前的数据湖在进行数据库变更操作时效率低下。


技术实现思路

1、本申请实施例通过提供一种基于数据湖的表结构变更方法、系统、设备和存储介质,解决了相关技术中需要到存储层修改全量数据,导致数据库操作效率低下的技术问题,实现了不修改原始数据,提升数据库操作效率的技术效果。p>

2、本申请本文档来自技高网...

【技术保护点】

1.一种基于数据湖的表结构变更方法,其特征在于,所述基于数据湖的表结构变更方法包括:

2.如权利要求1所述的方法,其特征在于,所述协调节点获取数据库变更指令关联的数据地址,并将所述数据库变更指令发送至外模式层以及所述数据地址关联的内模式层,包括:

3.如权利要求1所述的方法,其特征在于,所述所述外模式层在接收到所述数据库变更指令后,根据所述数据库变更指令包括的字段变更信息,更新所述外模式层存储的字段信息,包括:

4.如权利要求3所述的方法,其特征在于,所述确定所述数据库变更指令关联的字段变更信息,所述字段变更信息包括字段标识以及字段约束之后,还包括:<...

【技术特征摘要】

1.一种基于数据湖的表结构变更方法,其特征在于,所述基于数据湖的表结构变更方法包括:

2.如权利要求1所述的方法,其特征在于,所述协调节点获取数据库变更指令关联的数据地址,并将所述数据库变更指令发送至外模式层以及所述数据地址关联的内模式层,包括:

3.如权利要求1所述的方法,其特征在于,所述所述外模式层在接收到所述数据库变更指令后,根据所述数据库变更指令包括的字段变更信息,更新所述外模式层存储的字段信息,包括:

4.如权利要求3所述的方法,其特征在于,所述确定所述数据库变更指令关联的字段变更信息,所述字段变更信息包括字段标识以及字段约束之后,还包括:

5.如权利要求1所述的方法,其特征在于,所述所述内模式层在接收到所述数据库变更指令后,根据所述数据库变更指令包括的所述字段变更信息,更新所述内模式层存储的字段定义信息,包括:

6.如权利要求1-5任一项所述的方法,其特征在于,...

【专利技术属性】
技术研发人员:许建辉杨上德
申请(专利权)人:广州巨杉软件开发有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1