【技术实现步骤摘要】
数据表数据同步方法、查询方法、电子设备及存储介质
[0001]本申请涉及大数据
，具体涉及数据表数据同步方法、查询方法、电子设备及存储介质。
技术介绍
[0002]当前，大数据被广泛应用于各个行业，例如金融科技（FinTech）行业。人们通常将不同数据源收集的原始联机事务处理（OLTP）数据转换为联机分析处理（OLAP）数据进行分析处理，以便通过分析数据来支持业务决策。对OLAP数据的分析处理是大数据技术的重要一环。为方便对OLAP数据的分析处理，通常会搭建数据仓库平台，以将业务数据提取到数据仓库平台。Hive是基于Hadoop的一种数据仓库工具，被广泛用于进行联机分析处理（OLAP）。Hive数据仓库工具能将结构化的数据文件、如OLTP数据进行多表聚合以便快速生成大宽表数据。然而，包括Hive数据仓库在内的众多用于OLAP的数据仓库平台不适合数据快速查询，尤其是当数据由具有大维度的大宽表构成时或者具有大量数据时，Hive数据仓库的查询延迟问题会更加严重。
[0003]Clickhouse是去中心化开源列式数据...
【技术保护点】
【技术特征摘要】
1.一种数据表数据同步方法，其特征在于，所述数据表数据同步方法应用于联机分析处理（OLAP）数据系统，所述OLAP数据系统包括用于多表聚合生成所述数据表的第一OLAP数据库和用于基于数据表数据进行查询的第二OLAP数据库，所述数据表数据同步方法包括：获取要从所述第一OLAP数据库同步到所述第二OLAP数据库的数据表类型，其中所述数据表类型包括全量更新数据表或分区更新数据表；当获取的数据表类型为全量更新数据表时：在所述第二OLAP数据库中确定对应所述数据表类型的全量表分区方式；卸载之前的多个全量表分区中的数据表数据；将要同步的数据表数据从所述第一OLAP数据库写入所述第二OLAP数据库中的基于全量表分区方式设置的多个全量表分区；以及在写入完成后，删除卸载的数据表数据；当获取的数据表类型为分区更新数据表，确定所述数据表数据的同步类型，其中所述同步类型包括按月数据同步或按日数据同步；当所述同步类型为按月数据同步：在所述第二OLAP数据库中确定对应所述数据表类型和所述同步类型的月表分区方式；判断，所述分区更新数据表中要同步的数据表数据是否包括回跑数据；若是，则卸载上月和当月月表分区中的数据表数据；若否，则卸载当月月表分区中的数据表数据；将要同步的数据表数据从所述第一OLAP数据库写入所述第二OLAP数据库的基于月表分区方式设置的对应月份的月表分区；以及在写入完成后，删除卸载的数据表数据；当所述同步类型为按日数据同步：在所述第二OLAP数据库中确定对应所述数据表类型和所述同步类型的日表分区方式，并基于时间标签，确定日表分区的过期机制；基于所述过期机制使得相应的日表分区的数据过期；将要同步的数据表数据从所述第一OLAP数据库写入所述第二OLAP数据库的基于日表分区方式设置的对应日的日表分区；以及在写入完成后，删除过期的数据表数据。2.根据权利要求1所述的数据表数据同步方法，其特征在于，将要同步的数据表数据从所述第一OLAP数据库写入所述第二OLAP数据库中的基于该分区方式设置的多个全量表分区，包括：将要同步的数据表数据分成与所述多个全量表分区对应的多块第一表数据；将所述多块第一表数据并行写入所述多个全量表分区中。3.根据权利要求1所述的数据表数据同步方法，其特征在于，还包括：在删除数据表数据之前，校验写入的数据表数据完整性。4.根据权利要求1至3中任一项所述的数据表数据同步方法，其特征在于，所述第一OLAP数据库为Hive数据仓库，所述第二OLAP数据库为Clickhouse数据库。5.一种数据表数据同步方法，其特征在于，所述数据表数据同步方法应用于联机分析处理（OLAP）数据系统，所述OLAP数据系统包括用于多表聚合生成所述数据表的第一OLAP数
据库和用于基于数据表数据进行查询的第二OLAP数据库，所述数据表数据同步方法包括：获取要从所述第一OLAP数据库同步到所述第二OLAP数据库的数据表类型；在所述第二OLAP数据库中确定对应所述数据表类型的表分区方式；卸载给定的之前表分区的数据表数据和/或使得给定的之前表分区的数据表数据过期；将要同步的数据表数据从所述第一OLAP数据库写入所述第二OL...
【专利技术属性】
技术研发人员：于圣涛，李腾岳，
申请(专利权)人：百融至信北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。