【技术实现步骤摘要】
大数据平台数仓之间数据同步方法、装置及存储介质
本专利技术涉及大数据处理，尤其涉及一种大数据平台数仓之间数据同步方法、装置、电子设备及计算机可读存储介质。
技术介绍
目前在大数据测试工作中，存在两套或多套Hive数仓，而测试过程中时如果因为某些情况突然要从环境A切换到环境B，此时大数据测试面临多个困难点及痛点，主要存在以下几种情况：1、环境B对应的Hive数仓中的各源表不一定都存在。如果源表x不存在，需要从环境A对应的Hive数仓中把源表x的建表语句取到后再在环境B对应的Hive数仓中执行，然后再次检查环境B对应的Hive数仓中是否正确新建了该源表x；2、环境B对应的Hive数仓中各源表结构不一定是最新的。如果源表x在环境A和环境B对应的Hive数仓中都存在，需要仔细核对两个环境对应Hive数仓中的源表结构，比较费时费力，有些表字段较多的时候，人工比对容易出错；3、环境B对应的Hive数仓中各源表的数据是比较旧的，不满足当前的测试需要。如果源表y在环境B对应的Hive数仓中存在的数据较少或没有最近时间...
【技术保护点】
1.一种大数据平台数仓之间数据同步方法，其特征在于，所述方法包括：/n连接至少两个数仓，所述至少两个数仓包括一个源环境数仓和至少一个目标环境数仓；/n在所述源环境数仓和所述目标环境数仓均存在源表的情况下，判断所述源环境数仓中的源表与所述目标环境数仓中的源表的表结构是否一致；/n当所述源环境数仓中的源表与所述目标环境数仓中的源表的表结构不一致时，删除所述目标环境数仓中的源表，并从所述源环境数仓中导出源表的建表语句；/n在所述目标环境数仓中执行所述建表语句，以实现所述源环境数仓和所述目标环境数仓之间的数据同步。/n
【技术特征摘要】
1.一种大数据平台数仓之间数据同步方法，其特征在于，所述方法包括：
连接至少两个数仓，所述至少两个数仓包括一个源环境数仓和至少一个目标环境数仓；
在所述源环境数仓和所述目标环境数仓均存在源表的情况下，判断所述源环境数仓中的源表与所述目标环境数仓中的源表的表结构是否一致；
当所述源环境数仓中的源表与所述目标环境数仓中的源表的表结构不一致时，删除所述目标环境数仓中的源表，并从所述源环境数仓中导出源表的建表语句；
在所述目标环境数仓中执行所述建表语句，以实现所述源环境数仓和所述目标环境数仓之间的数据同步。
2.如权利要求1所述的大数据平台数仓之间数据同步方法，其特征在于，所述源环境数仓中的源表存储于区块链中，在连接至少两个数仓之后还包括：
判断所述源环境数仓中是否存在待同步的源表；
当所述源环境数仓中不存在待同步的源表时，数据同步结束，并在用户界面进行状态提示；
否则，当所述源环境数仓中存在待同步的源表时，判断所述源环境数仓的待同步的源表中待同步的各指定分区是否存在数据；
当所述源环境数仓的待同步的源表中待同步的各指定分区不存在数据或者数据量小于预设阈值时，数据同步结束。
3.如权利要求2所述的大数据平台数仓之间数据同步方法，其特征在于，
当所述源环境数仓的待同步的源表中待同步的各指定分区中的数据量大于所述预设阈值时，将所述源环境数仓的待同步的源表中待同步的各指定分区中的数据导出至临时文件中；
在所述临时文件中，对所述源环境数仓中的待同步的源表与所述目标环境数仓中的源表的表结构进行是否一致性的判断。
4.如权利要求1所述的大数据平台数仓之间数据同步方法，其特征在于，所述目标环境数仓中的源表存储于区块链中，在删除所述目标环境数仓中的源表之前，还包括：
自动备份所述目标环境数仓中的源表中的待被同步的各指定分区数据，并将备份名称设置为源表+指定分区+日期的格式。
5.如权利要求4所述的大数据平台数仓之间数据同步方法，其特征在于，在所述目标环境数仓中执行所述建表语句之后，
判断所述源环境数仓中的数据是否成功同步至所述目标环境数仓中；
当所述源环境数仓中的数据在所述目标环境数仓中同步失败时，在...
【专利技术属性】
技术研发人员：李翔，陈发兴，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。