一种数据同步方法、装置、设备及存储介质制造方法及图纸

本公开涉及一种数据同步方法、装置、设备及存储介质，该方法包括：获取数据库的全部操作信息和数据快照；对全部操作信息进行处理，得到目标操作信息；将目标操作信息和数据快照合并，得到目标数据；将目标数据写入目标数据仓库。本公开通过获取数据库的全部操作信息和数据快照，对全部操作信息进行处理，得到目标操作信息，将目标操作信息和数据快照合并，得到目标数据，将目标数据写入目标数据仓库，解决了读取数据、缓存到本地、批量加载数据仓库整条数据链路比较长，进入数据仓库有延时的问题，加快了数据从一个数据库同步到数据仓库的速度。速度。速度。

【技术实现步骤摘要】
一种数据同步方法、装置、设备及存储介质


[0001]本公开涉及数据存储
，尤其涉及一种数据同步方法、装置、设备及存储介质。

技术介绍

[0002]随着大数据和人工智能(Artificial Intelligence，AI)技术的发展，各个行业越来越深刻地意识到大数据技术对于自身产品服务的价值，大数据应用和大数据平台成为各个技术公司以及互联网公司的核心技术。各个行业随着大数据时代来临，都希望能更好更贴合业务的分析自己的数据来支持公司运营，从最原属的数据入库到现在比较常用的建立数据仓库，甚至到未来热门的数据湖方向，都离不开一个问题，如何把数据从一个系统快速的同步给另一个系统。
[0003]常用的解决方案是直接链接数据库并且批量加载数据。然而，现有的数据推送方式对Mysql数据库性能影响大，容易导致慢查询从而影响线上业务；且随着业务增长，读取数据、缓存到本地、批量加载数据仓库整条数据链路比较长，数据写入数据仓库时，存在延时。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：获取数据库的全部操作信息和数据快照；对所述全部操作信息进行处理，得到目标操作信息；将所述目标操作信息和所述数据快照合并，得到目标数据；将所述目标数据写入目标数据仓库。2.根据权利要求1所述的方法，其特征在于，对所述全部操作信息进行处理，得到目标操作信息，包括：将所述全部操作信息按照物理地址进行分组；针对每组操作信息，将最新的操作信息确定为该组的物理地址对应的目标操作信息。3.根据权利要求1所述的方法，其特征在于，对所述全部操作信息进行处理，得到目标操作信息，包括：将所述全部操作信息按照标识进行哈希处理，得到目标操作信息。4.根据权利要求4所述的方法，其特征在于，将所述全部操作信息按照物理地址进行哈希处理，得到目标操作信息，包括：将所述全部操作信息按照物理地址进行分组；采用并行的方式确定每个物理地址对应的操作信息；针对每个物理地址，将最新的操作信息确定为目标操作信息。5.根据权利要求1所述的方法，其特征在于，将所述目标操作信息和所述数据快照合并，得到目标数据，包括：针对每个物理地址，如果所述物理地址存在对应的目标操作信息，则该目标操作信息确定为目标数据；如果所述物理地址未存在对应的目标操作信息，则从数据快...

【专利技术属性】
技术研发人员：赵宇，侯雪峰，王东，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：