【技术实现步骤摘要】
本公开涉及数据处理领域，尤其涉及数据同步方法、装置、电子设备及存储介质。
技术介绍
1、在数据同步中需要将结构化查询语言(my structured query language，mysql)同步数据到数据仓库。相关技术中，通常采用数据同步工具(apache sqoop)等工具进行全量抽取。
2、然而使用apache sqoop对数据进行抽取存在抽取时间长，且数据不具有复用性，无法由apache sqoop切换至另一方法进行数据同步。且基于apache sqoop会导致mysql压力较大，增加数据同步的时间。
技术实现思路
1、为克服相关技术中存在的问题，本公开提供一种数据同步方法、装置、电子设备及存储介质。
2、根据本公开实施例的第一方面，提供一种数据同步方法，包括响应于检测到数据库中的数据集发生变更，将所述数据库中的数据集以二进制日志文件的形式传输至变更数据通道；基于变更数据通道对所述数据集进行解析，得到预设格式的第一数据集，所述预设格式中包括对应所述第一数据集...
【技术保护点】
1.一种数据同步方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述第一数据集按照所述第一数据集中每一数据集的主键进行分区，得到第二数据集，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述第二数据集进行正则匹配，得到第三数据集，并将所述第三数据集存储至所述系统集群的二层集群中，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述第三数据集以及预设路径模板，将所述第三数据集同步至数据仓库，包括：
5.根据权利要求1所述的方法，其特征在于，所述初始数据集包括初始日志数据集以及初...
【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述第一数据集按照所述第一数据集中每一数据集的主键进行分区，得到第二数据集，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述第二数据集进行正则匹配，得到第三数据集，并将所述第三数据集存储至所述系统集群的二层集群中，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述第三数据集以及预设路径模板，将所述第三数据集同步至数据仓库，包括：
5.根据权利要求1所述的方法，其特征在于，所述初始数据集包括初始日志数据集以及初始存量数据集，所述初始日志数据集包括预设时...
【专利技术属性】
技术研发人员：毕博，
申请(专利权)人：马蜂窝贵州旅游集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。