数据同步处理方法及系统技术方案

一种数据同步处理方法，包括：提供对数据块配置有主标志和可写标志的第一服务器；提供第二服务器，并将该数据块的快照在所述第二服务器上导入；对所述第二服务器上的该数据块配置可同步标志；由同步组件将所述第一服务器上该数据块的写入数据同步至所述第二服务器上；在要从所述第一服务器上迁出该数据块时，移除所述第一服务器上该数据块的可写标志；由同步组件将所述第一服务器上该数据块的最新写入数据同步至所述第二服务器上；在所述第二服务器与所述第一服务器上该数据块的数据完全同步后，移除所述第一服务器上该数据块的主标志和移除所述第二服务器上该数据块的可同步标志，以及对所述第二服务器上的该数据块配置主标志和可写标志。

【技术实现步骤摘要】
数据同步处理方法及系统
本专利技术涉及数据同步
；特别涉及一种数据同步处理方法及系统。
技术介绍
微博是一种典型的UGC（UserGeneratedContent，用户原创内容）业务，数据的产生和用户的行为有很密切的关系。当底层存储服务器故障或因为运维不可写入时，用户会有很高的概率感知到后台系统的故障。为了减少底层业务故障对用户的直观影响，常见方法是采用一些柔性策略，例如在故障时只返回部分可用的数据，或使用某些副本上的数据做读取。在这种场景下，往往受影响的数据是不可写入的，此时的用户写操作将全部失败。为了降低机器故障等因素对用户产生的影响，需要一种快速的数据恢复和运维手段。现有技术中，重做流水（redo）是一种后台服务常见的数据恢复方式，业务通过先将写动作的流水记录到本地或远程，当机器故障时可以通过将流水中的写动作重放，来恢复数据。重做流水需要按原来的写入顺序（Seq）重放，这是为了保证写动作的顺序性。但从Seq=0开始从头恢复，一般需要消耗大量时间（相当于将所有写动作从头写一遍）。所以配合流水重做，一般还会配合数据快照（Snapshot）技术，将内存数据的快照导出到磁盘，并且记录导出时刻的顺序（Seq）；当恢复数据前先将快照加载到内存，此时重做流水就可以从快照点的顺序（Seq）继续执行，从而节省从头重做流水（redo）的时间。在传统方案中，当主机故障或进行数据迁移时，需要先取得当天或者前一天的数据快照，然后获取主机上的流水文件（或获取远程流水）。复制流水前还需要对主机禁写，这样是保证迁移过程中数据的一致性，如果在旧的机器上进行了写入但未复制该流水到新的主机，将导致这一部分数据的丢失。所以一般的，在数据恢复过程时，需要按照复制快照、主机禁写、复制流水、恢复快照、流水重做这样的步骤进行操作。由于传统方案中需要进行繁琐的重做流水操作，并且需要对主机进行较长时间的禁写操作，对外不可写的时间较长，用户对机器故障等运维操作的感知程度较为明显。
技术实现思路
本专利技术实施例提供了一种数据同步处理方法及系统，避免传统方法中繁琐的重做流水操作，并且很大程度缩短对外不可写的时间，从而减少用户对数据迁移或机器故障等运维操作的感知程度。所述技术方案如下：一种数据同步处理方法，包括：提供对数据块配置有主标志和可写标志的第一服务器；提供第二服务器，并将该数据块的快照在所述第二服务器上导入；对所述第二服务器上的该数据块配置可同步标志；由同步组件将所述第一服务器上该数据块的写入数据同步至所述第二服务器上；在要从所述第一服务器上迁出该数据块时，移除所述第一服务器上该数据块的可写标志；由同步组件将所述第一服务器上该数据块的最新写入数据同步至所述第二服务器上；在所述第二服务器与所述第一服务器上该数据块的数据完全同步后，移除所述第一服务器上该数据块的主标志和移除所述第二服务器上该数据块的可同步标志，以及对所述第二服务器上的该数据块配置主标志和可写标志。一种数据同步处理方法，包括：提供对数据块配置有可同步标志的第一服务器；提供对该数据块配置有主标志和可写标志的第二服务器；由同步组件将所述第二服务器上该数据块的写入数据同步至所述第一服务器上；若所述第二服务器出现故障，则移除所述第二服务器上该数据块的主标志和移除所述第一服务器上该数据块的可同步标志，以及对所述第一服务器上的该数据块配置主标志和可写标志；在所述第二服务器的故障恢复后，将该数据块的快照在所述第二服务器上导入；对所述第二服务器上的该数据块配置可同步标志；由同步组件将所述第一服务器上该数据块的写入数据同步至所述第二服务器上；在要恢复所述第二服务器针对该数据块的主机地位时，移除所述第一服务器上该数据块的可写标志；由同步组件将所述第一服务器上该数据块的最新写入数据同步至所述第二服务器上；在所述第二服务器与所述第一服务器上该数据块的数据完全同步后，移除所述第一服务器上该数据块的主标志和移除所述第二服务器上该数据块的可同步标志，对所述第二服务器上的该数据块配置主标志和可写标志以及对所述第一服务器上的该数据块配置可同步标志。一种数据同步处理系统，包括：第一服务器；第二服务器；配置模块，用于对所述第一服务器上的数据块配置主标志和可写标志；导入模块，用于将该数据块的快照在所述第二服务器上导入；所述配置模块还用于对所述第二服务器上的该数据块配置可同步标志；同步组件，用于将所述第一服务器上该数据块的写入数据同步至所述第二服务器上；所述配置模块还用于在要从所述第一服务器上迁出该数据块时，移除所述第一服务器上该数据块的可写标志；所述配置模块还用于在所述第二服务器与所述第一服务器上该数据块的数据完全同步后，移除所述第一服务器上该数据块的主标志和移除所述第二服务器上该数据块的可同步标志，以及对所述第二服务器上的该数据块配置主标志和可写标志。一种数据同步处理系统，包括：第一服务器；第二服务器；配置模块，用于对第一服务器上的数据块配置可同步标志，以及用于对第二服务器上的该数据块配置主标志和可写标志；同步组件，用于将所述第二服务器上该数据块的写入数据同步至所述第一服务器上；所述配置模块还用于若所述第二服务器出现故障时，则移除所述第二服务器上该数据块的主标志和移除所述第一服务器上该数据块的可同步标志，以及对所述第一服务器上的该数据块配置主标志和可写标志；导入模块，用于在所述第二服务器的故障恢复后，将该数据块的快照在所述第二服务器上导入；所述配置模块还用于在所述第二服务器的故障恢复后，对所述第二服务器上的该数据块配置可同步标志；所述同步组件还用于在所述第二服务器的故障恢复后，将所述第一服务器上该数据块的写入数据同步至所述第二服务器上；所述配置模块还用于在要恢复所述第二服务器针对该数据块的主机地位时，移除所述第一服务器上该数据块的可写标志；所述配置模块还用于在所述第二服务器与所述第一服务器上该数据块的数据完全同步后，移除所述第一服务器上该数据块的主标志和移除所述第二服务器上该数据块的可同步标志，对所述第二服务器上的该数据块配置主标志和可写标志以及对所述第一服务器上的该数据块配置可同步标志。本专利技术实施例提供的技术方案带来的有益效果是：通过在主机服务器上进行数据迁移或者主机服务器出现故障进行恢复的过程中，利用同步组件拥有将标有主标志的主机服务器上的数据同步到标有可同步标志的从机服务器上的特性，将主机服务器上的数据同步至从机服务器上，并配合在主机服务器的数据迁移或故障恢复过程中采用主写点切换的方式，可以避免传统方法中繁琐的重做流水操作，并且很大程度缩短数据迁移和故障恢复过程中对外不可写的时间，从而减少用户对数据迁移以及机器故障等运维操作的感知程度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的主从切换过程中数据块的标志位状态改变示意图；图2是本专利技术第一实施例提供的数据同步处理方法的流程图；图3是本专利技术第二实施例提供的数据同步处理方法的流程图；图4是本专利技术第一实施例提供的数据同步处理系统的结构示意图；图本文档来自技高网...

【技术保护点】
一种数据同步处理方法，其特征在于，包括：提供对数据块配置有主标志和可写标志的第一服务器；提供第二服务器，并将该数据块的快照在所述第二服务器上导入；对所述第二服务器上的该数据块配置可同步标志；由同步组件将所述第一服务器上该数据块的写入数据同步至所述第二服务器上；在要从所述第一服务器上迁出该数据块时，移除所述第一服务器上该数据块的可写标志；由同步组件将所述第一服务器上该数据块的最新写入数据同步至所述第二服务器上；在所述第二服务器与所述第一服务器上该数据块的数据完全同步后，移除所述第一服务器上该数据块的主标志和移除所述第二服务器上该数据块的可同步标志，以及对所述第二服务器上的该数据块配置主标志和可写标志。

【技术特征摘要】
1.一种数据同步处理方法，其特征在于，包括：提供对数据块配置有主标志和可写标志的第一服务器；提供第二服务器，并将该数据块的快照在所述第二服务器上导入；对所述第二服务器上的该数据块配置可同步标志；由同步组件将所述第一服务器上该数据块的写入数据同步至所述第二服务器上；在要从所述第一服务器上迁出该数据块时，移除所述第一服务器上该数据块的可写标志；由同步组件将所述第一服务器上该数据块的最新写入数据同步至所述第二服务器上；在所述第二服务器与所述第一服务器上该数据块的数据完全同步后，移除所述第一服务器上该数据块的主标志和移除所述第二服务器上该数据块的可同步标志，以及对所述第二服务器上的该数据块配置主标志和可写标志。2.根据权利要求1所述的数据同步处理方法，其特征在于，在移除所述第一服务器上该数据块的主标志之后还包括：清理所述第一服务器上的该数据块以回收该数据块所占用的空间。3.一种数据同步处理方法，其特征在于，包括：提供对数据块配置有可同步标志的第一服务器；提供对该数据块配置有主标志和可写标志的第二服务器；由同步组件将所述第二服务器上该数据块的写入数据同步至所述第一服务器上；若所述第二服务器出现故障，则移除所述第二服务器上该数据块的主标志和移除所述第一服务器上该数据块的可同步标志，以及对所述第一服务器上的该数据块配置主标志和可写标志；在所述第二服务器的故障恢复后，将该数据块的快照在所述第二服务器上导入；对所述第二服务器上的该数据块配置可同步标志；由同步组件将所述第一服务器上该数据块的写入数据同步至所述第二服务器上；在要恢复所述第二服务器针对该数据块的主机地位时，移除所述第一服务器上该数据块的可写标志；由同步组件将所述第一服务器上该数据块的最新写入数据同步至所述第二服务器上；在所述第二服务器与所述第一服务器上该数据块的数据完全同步后，移除所述第一服务器上该数据块的主标志和移除所述第二服务器上该数据块的可同步标志，对所述第二服务器上的该数据块配置主标志以及对所述第一服务器上的该数据块配置可同步标志。4.一种数据同步处理系统，其特征在于，包括：第一服务器；第二服务器；配置模块，用于对所述第一服务器上的数据块配置主标志和可写标志；导入模块，用于将该数据块的快照在所述第二服务器上导入；所述配置模块还用于对所述第二服务器上的该数据块配...

【专利技术属性】
技术研发人员：周智昊，田明，刘里，江兴才，
申请(专利权)人：腾讯科技北京有限公司，
类型：发明
国别省市：北京;11