本申请实施例提供了一种数据处理方法、装置、电子设备以及存储介质，涉及计算机技术领域。数据处理方法包括：扫描当前的第一时刻对应的待处理数据；从第一时刻开始接收更新数据，将所接收的多个更新数据存储至临时对象中，并将每一更新数据的接收时间阶段标记为第一阶段；当针对第一时刻对应的待处理数据扫描完成得到全量数据时，确定当前的第二时刻，将第二时刻之后接收的每一更新数据的接收时间阶段标记为第二阶段；从第二时刻开始，基于临时对象中存储的每一更新数据的接收时间阶段，将所存储的多个更新数据与全量数据进行合并，生成重建数据。本申请的数据处理方法，可以有效保证完成数据重建任务。效保证完成数据重建任务。效保证完成数据重建任务。
【技术实现步骤摘要】
数据处理方法、装置、电子设备以及存储介质
[0001]本申请涉及计算机
，具体而言，本申请涉及一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
技术介绍
[0002]随着互联网技术的发展，分布式数据库技术也日益成熟，用户愈来愈多的使用分布式数据库作为生产数据库，以进行大量数据的计算，并实现数据存储的灵活与弹性。
[0003]大部分用户业务运行在云上，同时随着用户数据越来越多，使用分布式数据库时经常需要进行数据重建。目前针对数据重建任务，例如加索引这类任务，可以通过扫描待处理数据，扫描完成时进行日志追赶，在业务高峰期可能会因为产生日志的速度大于追赶的速度，导致无法完成数据重建。
技术实现思路
[0004]本申请实施例提供一种数据处理方法、装置、电子设备以及存储介质，本申请实施例提供的技术方案如下：
[0005]一方面，本申请实施例提供了一种数据处理的方法，该方法包括：
[0006]接收数据重建指令，基于数据重建指令扫描当前的第一时刻对应的待处理数据；
[0007]从第一时刻开始接收更新数据，将所接收的多个更新数据存储至临时对象中，并将每一更新数据的接收时间阶段标记为第一阶段；
[0008]当针对第一时刻对应的待处理数据扫描完成得到全量数据时，确定当前的第二时刻，将第二时刻之后接收的每一更新数据的接收时间阶段标记为第二阶段；
[0009]从第二时刻开始，基于临时对象中存储的每一更新数据的接收时间阶段，将所存储的多个更新数据与全量数据进行合并，生成重建数据。
[0010]在一些可能的实施方式中，基于临时对象中存储的每一更新数据的接收时间阶段，将所存储的多个更新数据与全量数据进行合并，生成重建数据，包括：
[0011]针对所存储的多个更新数据中的每一更新数据，执行如下操作，生成重建数据：
[0012]若更新数据的接收时间阶段为第一阶段，则将更新数据合并到全量数据中；
[0013]若更新数据的接收时间阶段为第二阶段，则跳过更新数据。
[0014]在一些可能的实施方式中，若更新数据的接收时间阶段为第一阶段，则将更新数据合并到全量数据中包括：
[0015]若更新数据的接收时间阶段为第一阶段，则将更新数据作为待合并数据；
[0016]对待合并数据进行加锁；
[0017]检测临时对象中是否还存在针对更新数据的新的更新数据，基于检测结果将已加锁的待合并数据合并到全量数据中。
[0018]在一些可能的实施方式中，基于检测结果将已加锁的待合并数据合并到全量数据中，包括：
[0019]若检测结果为临时对象中存在针对更新数据的新的更新数据，且新的更新数据的接收时间阶段为第二阶段，则跳过待合并数据；
[0020]若检测结果为临时对象中不存在针对更新数据的新的更新数据，则将已加锁的待合并数据合并到全量数据中。
[0021]在一些可能的实施方式中，将所接收的多个更新数据存储至临时对象中，包括：
[0022]针对每一更新数据，若更新数据为删除数据，则针对删除数据的删除指令进行标记，得到标记删除指令；
[0023]将与标记删除指令对应的更新数据存储至临时对象中。
[0024]在一些可能的实施方式中，将已加锁的待合并数据合并到全量数据中，包括：
[0025]若待合并数据与标记删除指令对应，则将标记删除指令修改为删除指令；
[0026]将修改后的与删除指令对应的待合并数据合并到全量数据中。
[0027]在一些可能的实施方式中，针对删除数据的删除指令进行标记，得到标记删除指令，包括：
[0028]在删除指令中插入携带有删除标识的数据，得到标记删除指令。
[0029]在一些可能的实施方式中，基于临时对象中存储的每一更新数据的接收时间阶段，将所存储的多个更新数据与全量数据进行合并，生成重建数据，包括：
[0030]将临时对象中存储的更新数据划分至少两个批次的更新数据；
[0031]依次遍历每一批次的更新数据，确定每一批次中每一更新数据的接收时间阶段；
[0032]基于每一批次的每一更新数据的接收时间阶段将更新数据与全量数据进行合并，生成重建数据。
[0033]另一方面，本申请实施例提供了一种数据处理装置，该装置包括：
[0034]接收模块，用于接收数据重建指令，基于数据重建指令扫描当前的第一时刻对应的待处理数据；
[0035]存储模块，用于从第一时刻开始接收更新数据，将所接收的多个更新数据存储至临时对象中，并将每一更新数据的接收时间阶段标记为第一阶段；
[0036]标记模块，用于当针对第一时刻对应的待处理数据扫描完成得到全量数据时，确定当前的第二时刻，将第二时刻之后接收的每一更新数据的接收时间阶段标记为第二阶段；
[0037]合并模块，用于从第二时刻开始，基于临时对象中存储的每一更新数据的接收时间阶段，将所存储的多个更新数据与全量数据进行合并，生成重建数据。
[0038]在一些可能的实施方式中，合并模块在基于临时对象中存储的每一更新数据的接收时间阶段，将所存储的多个更新数据与全量数据进行合并，生成重建数据时，具体用于：
[0039]针对所存储的多个更新数据中的每一更新数据，执行如下操作，生成重建数据：
[0040]若更新数据的接收时间阶段为第一阶段，则将更新数据合并到全量数据中；
[0041]若更新数据的接收时间阶段为第二阶段，则跳过更新数据。
[0042]在一些可能的实施方式中，合并模块在若更新数据的接收时间阶段为第一阶段，则将更新数据合并到全量数据中时，具体用于：
[0043]若更新数据的接收时间阶段为第一阶段，则将更新数据作为待合并数据；
[0044]对待合并数据进行加锁；
[0045]检测临时对象中是否还存在针对更新数据的新的更新数据，基于检测结果将已加锁的待合并数据合并到全量数据中。
[0046]在一些可能的实施方式中，合并模块在基于检测结果将已加锁的待合并数据合并到全量数据中时，具体用于：
[0047]若检测结果为临时对象中存在针对更新数据的新的更新数据，且新的更新数据的接收时间阶段为第二阶段，则跳过待合并数据；
[0048]若检测结果为临时对象中不存在针对更新数据的新的更新数据，则将已加锁的待合并数据合并到全量数据中。
[0049]在一些可能的实施方式中，存储模块在将所接收的多个更新数据存储至临时对象中时，具体用于：
[0050]针对每一更新数据，若更新数据为删除数据，则针对删除数据的删除指令进行标记，得到标记删除指令；
[0051]将与标记删除指令对应的更新数据存储至临时对象中。
[0052]在一些可能的实施方式中，合并模块在将已加锁的待合并数据合并到全量数据中时，具体用于：
[0053]若待合并数据与标记删除指令对应，则将标记删除指令修改为删本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收数据重建指令，基于所述数据重建指令扫描当前的第一时刻对应的待处理数据；从所述第一时刻开始接收更新数据，将所接收的多个更新数据存储至临时对象中，并将每一所述更新数据的接收时间阶段标记为第一阶段；当针对所述第一时刻对应的待处理数据扫描完成得到全量数据时，确定当前的第二时刻，将所述第二时刻之后接收的每一更新数据的接收时间阶段标记为第二阶段；从所述第二时刻开始，基于所述临时对象中存储的每一更新数据的接收时间阶段，将所存储的多个更新数据与所述全量数据进行合并，生成重建数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述临时对象中存储的每一更新数据的接收时间阶段，将所存储的多个更新数据与所述全量数据进行合并，生成重建数据，包括：针对所存储的多个更新数据中的每一更新数据，执行如下操作，生成所述重建数据：若所述更新数据的接收时间阶段为第一阶段，则将所述更新数据合并到所述全量数据中；若所述更新数据的接收时间阶段为第二阶段，则跳过所述更新数据。3.根据权利要求2所述的数据处理方法，其特征在于，所述若所述更新数据的接收时间阶段为第一阶段，则将所述更新数据合并到所述全量数据中包括：所述若所述更新数据的接收时间阶段为第一阶段，则将所述更新数据作为待合并数据；对所述待合并数据进行加锁；检测所述临时对象中是否还存在针对所述更新数据的新的更新数据，基于检测结果将所述已加锁的待合并数据合并到所述全量数据中。4.根据权利要求3所述的数据处理方法，其特征在于，所述基于检测结果将所述已加锁的待合并数据合并到所述全量数据中，包括：若所述检测结果为所述临时对象中存在针对所述更新数据的新的更新数据，且所述新的更新数据的接收时间阶段为第二阶段，则跳过所述待合并数据；若所述检测结果为所述临时对象中不存在针对所述更新数据的新的更新数据，则将所述已加锁的待合并数据合并到所述全量数据中。5.根据权利要求4所述的数据处理方法，其特征在于，所述将所接收的多个更新数据存储至临时对象中，包括：针对每一所述更新数据，若所述更新数据为删除数据，则针对所述删除数据的删除指令进行标记，得到标记删除指令；将与所述标记删除指令对应的更新数据存储至所述临时对象中。6.根据权利要求5所述的数据处...
【专利技术属性】
技术研发人员：黄文俊，王聪，黄潇，刘奇，黄东旭，崔秋，
申请(专利权)人：平凯星辰北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。