基于云存储的数据同步方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及云存储技术领域，公开了一种基于云存储的数据同步方法、装置、设备及存储介质，包括：将数据湖中出现更新的数据设为更新数据，识别更新数据的更新类型；根据更新类型对更新数据进行数据分析处理得到分析数据，整合分析数据和更新类型得到结构更新数据；对结构更新数据进行数据预处理得到待更新数据，将待更新数据保存至缓存库中；向同步客户端发送更新公告，接收同步客户端发送的更新请求，根据更新请求对同步客户端进行认证处理得到认证权限信息；将缓存库中相应于认证权限信息的待更新数据作为目标更新数据。本发明专利技术避免了从所述数据湖中获取数据导致同步效率低下的问题，实现了在保证同步准确度的前提下，保证同步效率的技术效果。步效率的技术效果。步效率的技术效果。

【技术实现步骤摘要】
基于云存储的数据同步方法、装置、设备及存储介质


[0001]本专利技术涉及云存储
，尤其涉及一种基于云存储的数据同步方法、装置、设备及存储介质。

技术介绍

[0002]数据同步指的是两个或多个数据库内容保持一致，或者按需要部分保持一致，用以确保每个数据源与其不同端点之间的一致性。
[0003]然而，专利技术人发现当前的数据同步工具很多，但是当前的数据同步工具因需要从数据湖中获取结构更新数据，导致服务器需要调用配置文件或数据更新表，从数据湖中获取所述结构更新数据，并将其同步至所述客户端导致数据同步操作效率低下的情况发生。

技术实现思路

[0004]本专利技术的目的是提供一种基于云存储的数据同步方法、装置、设备及存储介质，用于解决现有技术存在的当前的数据同步工具因需要从所述数据湖中获取结构更新数据，导致服务器需要调用配置文件或数据更新表，从所述数据湖中获取所述结构更新数据，并将其同步至所述客户端导致数据同步操作效率低下的情况发生的问题。
[0005]为实现上述目的，本专利技术提供一种基于云存储的数据同步方法，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云存储的数据同步方法，其特征在于，包括：当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型；根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，整合所述分析数据和所述更新类型得到结构更新数据；对所述结构更新数据进行数据预处理得到待更新数据，将所述待更新数据保存至预置的缓存库中；向同步客户端发送更新公告，接收所述同步客户端发送的更新请求，根据所述更新请求对同步客户端进行认证处理得到认证权限信息；将所述缓存库中相应于所述认证权限信息的待更新数据作为目标更新数据，将所述目标更新数据传送至所述同步客户端。2.根据权利要求1所述的数据同步方法，其特征在于，所述当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型之前，所述方法还包括：与同步客户端构建通信连接和同步连接，所述通信连接用于与所述同步客户端之间进行通信交互，所述同步连接是用于与所述同步客户端之间进行数据同步的同步机制。3.根据权利要求1所述的数据同步方法，其特征在于，所述当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型，包括：监听数据湖中是否接收到同步客户端发送的数据更新指令，若是，则判定所述数据湖出现数据更新，并将发送所述数据更新指令的同步客户端设为上传客户端；将数据湖中相应于所述数据更新指令的数据设为所述更新数据；识别所述数据湖根据所述数据更新指令，对所述数据湖中的数据进行操作形成所述更新数据的操作方法；若所述操作方法为变更方法，则判定所述更新类型为全量类型；若所述操作方法为新增方法，则判定所述更新类型为增量类型。4.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，包括：识别所述更新类型；若所述更新类型为全量类型，则从所述数据湖中提取具有所述更新数据的数据表，并将所述数据表设为目标数据；若所述更新类型为增量类型，则从所述数据湖中提取更新数据，并将所述更新数据设为目标数据；对所述目标数据进行数据清洗处理，以消除所述目标数据中的异常数据并得到清洗数据；按照预置的数据规则对所述清洗数据进行数据转换，使所述清洗数据的数据格式和数据颗粒度转为符合所述数据规则的分析数据。5.根据权利要求1所述的数...

【专利技术属性】
技术研发人员：季小闯，刘剑，蔡丰令，朱嘉玲，
申请(专利权)人：平安资产管理有限责任公司，
类型：发明
国别省市：