数据同步方法及其系统以及服务器集群技术方案

技术编号:19593446 阅读:49 留言:0更新日期:2018-11-28 04:54
本公开提供了一种数据同步方法,该方法包括:获取来自数据源的用于描述内容数据对象的第一数据;获取存储在第一存储空间中用于描述内容数据对象的第二数据,其中,第二数据和已存储元数据对应,第二数据的数据量小于已存储元数据的数据量;比较第一数据和第二数据的差异,得到差异比较结果;以及基于差异比较结果对已存储元数据进行更新。本公开还提供了一种数据同步系统以及一种服务器集群。

【技术实现步骤摘要】
数据同步方法及其系统以及服务器集群
本公开涉及一种数据同步方法及其系统以及服务器集群。
技术介绍
元数据,又称中介数据、中继数据,为描述数据的数据,主要是描述数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能,追踪资源在使用过程中的变化。元数据同步一般都是使用定时任务实现,通常情况下元数据的同步不能用数据库主从方式来实现,而是使用简单的sql查询方式来实现。但是,在实现本公开构思的过程中,专利技术人发现相关技术中至少存在以下缺陷:简单的sql查询方式非常消耗时间,尤其是在数据量比较大的情况下,同步性能问题就更加突出。
技术实现思路
本公开的一个方面提供了一种数据同步方法,包括:获取来自数据源的用于描述内容数据对象的第一数据;获取存储在第一存储空间中用于描述内容数据对象的第二数据,其中,上述第二数据和已存储元数据对应,上述第二数据的数据量小于上述已存储元数据的数据量;比较上述第一数据和上述第二数据的差异,得到差异比较结果;以及基于上述差异比较结果对上述已存储元数据进行更新。可选地,上述方法还包括:在上述差异比较结果表征上述第一数据和上述第二数据存在差异的情况下,基于本文档来自技高网...

【技术保护点】
1.一种数据同步方法,包括:获取来自数据源的用于描述内容数据对象的第一数据;获取存储在第一存储空间中用于描述内容数据对象的第二数据,其中,所述第二数据和已存储元数据对应,所述第二数据的数据量小于所述已存储元数据的数据量;比较所述第一数据和所述第二数据的差异,得到差异比较结果;以及基于所述差异比较结果对所述已存储元数据进行更新。

【技术特征摘要】
1.一种数据同步方法,包括:获取来自数据源的用于描述内容数据对象的第一数据;获取存储在第一存储空间中用于描述内容数据对象的第二数据,其中,所述第二数据和已存储元数据对应,所述第二数据的数据量小于所述已存储元数据的数据量;比较所述第一数据和所述第二数据的差异,得到差异比较结果;以及基于所述差异比较结果对所述已存储元数据进行更新。2.根据权利要求1所述的方法,其中,所述方法还包括:在所述差异比较结果表征所述第一数据和所述第二数据存在差异的情况下,基于第三数据更新所述第一存储空间中的所述第二数据,其中,所述第三数据包括所述第一数据中不同于所述第二数据的部分。3.根据权利要求2所述的方法,其中,基于所述差异比较结果对所述已存储元数据进行更新,包括:获取来自所述数据源的与所述第三数据对应的第一元数据;以及基于所述第一元数据对存储在第二存储空间中的所述已存储元数据进行更新。4.根据权利要求2所述的方法,其中,基于第三数据更新所述第一存储空间中的所述第二数据,包括:在所述第三数据包括处于已删除状态的第四数据的情况下,将所述第四数据更新到所述第一存储空间中并在所述第一存储空间中对所述第四数据进行标记处理;和/或在所述第三数据包括新增的和/或修改的第五数据的情况下,以覆盖或者非覆盖方式将所述第五数据更新到所述第一存储空间中。5.根据权利要求1所述的方法,其中,所述方法还包括:创建临时存储空间;以及将获取的所述第一数据保存在所述临时存储空间中,其中,比较所述第一数据和所述第二数据的差异...

【专利技术属性】
技术研发人员:杜军芝杨帆张成松
申请(专利权)人:联想北京有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1