一种自动化创建和更新数据同步宽表结构的方法及系统技术方案

本发明专利技术属于大数据实时流维表查询技术领域，具体涉及一种自动化创建和更新数据同步宽表结构的方法及系统，通过解析任务对应的宽表及其关联关系，并同步到的存储体；获取宽表所需的字段信息；根据字段信息对宽表的结构进行设置，创建宽表对应不同存储体的结构；查找存储体中是否存在对应的表，进行判断是创建还是更新，并在创建数据表操作语句后，执行语句，可自动化生成多个关联表所需宽表字段，标准化宽表字段设置规则，快速响应需求中宽表生成和更新，快速准确创建和更新多个存储体都会存储的同一张宽表，省去手动创建和更新以及测试的时间，减少操作错误和风险，减少测试流程。保证数据字段一致性，操作流程正确快速。

【技术实现步骤摘要】

本专利技术属于大数据实时流维表查询，具体涉及一种自动化创建和更新数据同步宽表结构的方法及系统。

技术介绍

1、维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如mysql，hbase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。现阶段的表字段同步只能局限于单表，不能适配多表关联生成的宽表，需要手动一个个字段对应或者仅限于web界面的选择操作，没有一定的规则自动关联字段。

技术实现思路

1、本专利技术的目的在于提供一种自动化创建和更新数据同步宽表结构的方法及系统，快速准确创建和更新多个存储体都会存储的同一张宽表，以解决上述
技术介绍
中提出现有技术中的问题。

2、为实现上述目的，本专利技术采用了如下技术方案：一种自动化创建和更新数据同步宽表结构的方法，包括：解析任务对应的宽表及其关联关系，并同步到本文档来自技高网...

【技术保护点】

1.一种自动化创建和更新数据同步宽表结构的方法，其特征在于，包括：

2.根据权利要求1所述的一种自动化创建和更新数据同步宽表结构的方法，其特征在于，所述解析任务对应的宽表及其关联关系，并同步到的存储体，包括：

3.根据权利要求2所述的一种自动化创建和更新数据同步宽表结构的方法，其特征在于：所述信息记录为元数据信息表的记录。

4.根据权利要求2所述的一种自动化创建和更新数据同步宽表结构的方法，其特征在于，获取所述宽表所需的字段信息，包括：

5.根据权利要求4所述的一种自动化创建和更新数据同步宽表结构的方法，其特征在于，所述根据所述字段信息对所...

【技术特征摘要】

1.一种自动化创建和更新数据同步宽表结构的方法，其特征在于，包括：

2.根据权利要求1所述的一种自动化创建和更新数据同步宽表结构的方法，其特征在于，所述解析任务对应的宽表及其关联关系，并同步到的存储体，包括：

3.根据权利要求2所述的一种自动化创建和更新数据同步宽表结构的方法，其特征在于：所述信息记录为元数据信息表的记录。

4.根据权利要求2所述的一种自动化创建和更新数据同步宽表结构的方法，其特征在于，获取所述宽表所需的字段信息，包括：

5.根据权利要求4所述的一种自动化创建和更新数据同步宽表结构的方法，其特征在于，所述根据所述字段信息对所述宽表的结构进行设置，包括：

6...

【专利技术属性】
技术研发人员：肖明睿，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：