增量数据的快照数据生成方法及装置制造方法及图纸

本申请提供了增量数据的快照数据生成方法及装置，该方法包括：获得当前周期的增量数据后，将各个增量数据存储至与自身的主键相对应的增量数据文件中，保证同一主键的增量数据存储至同一增量数据文件中；从增量数据文件中获取同一主键对应的时间戳最新的增量数据，得到该主键对应的快照数据。该方案在存储增量数据时，将同一主键对应的增量数据存储至同一增量数据文件中，而且，同一增量数据文件存储在同一节点上，所以节省了将增量从不同节点传输至同一节点所消耗的传输时间，因此利用该方案能够提高生成快照数据的速度和效率。

Snapshot data generation method and device of incremental data

【技术实现步骤摘要】
增量数据的快照数据生成方法及装置
本专利技术属于数据处理
，尤其涉及增量数据的快照数据生成方法及装置。
技术介绍
流式增量数据是指某时刻或某检查点之后数据库中增、删、改后的数据。累积增量数据是指所有写入增量文件中的流式增量数据。快照是指数据在某个时间点的映像。目前，流式增量数据的快照生成方式，需要同时读取所有累积增量数据做Reduce计算，Reduce计算是指按数据的主键聚合，同一主键的数据只保留更新时间最新的数据，因此这种快照生成方式的效率低。
技术实现思路
有鉴于此，本申请的目的在于提供了增量数据的快照数据生成方法及装置，以解决目前的快照数据生成效率低的技术问题，其具体的技术方案如下：第一方面，本申请提供了一种增量数据的快照数据生成方法，包括：获取增量数据；分别将各个增量数据存储至与该增量数据的主键相对应的增量数据文件中，其中，同一主键的增量数据存储至同一增量数据文件中，且同一增量数据文件存储在同一节点上；从所述增量数据文件中获取同一主键对应的时间戳最新的数据，得到该主键的快本文档来自技高网...

【技术保护点】
1.一种增量数据的快照数据生成方法，其特征在于，包括：/n获取增量数据；/n分别将各个增量数据存储至与该增量数据的主键相对应的增量数据文件中，其中，同一主键的增量数据存储至同一增量数据文件中，且同一增量数据文件存储在同一节点上；/n从所述增量数据文件中获取同一主键对应的时间戳最新的数据，得到该主键的快照数据。/n

【技术特征摘要】
1.一种增量数据的快照数据生成方法，其特征在于，包括：
获取增量数据；
分别将各个增量数据存储至与该增量数据的主键相对应的增量数据文件中，其中，同一主键的增量数据存储至同一增量数据文件中，且同一增量数据文件存储在同一节点上；
从所述增量数据文件中获取同一主键对应的时间戳最新的数据，得到该主键的快照数据。


2.根据权利要求1所述的方法，其特征在于，所述分别将各个增量数据存储至与该增量数据的主键相对应的增量数据文件中，包括：
将所述增量数据的主键按照预设映射关系得到映射值；
将所述增量数据存储至文件名与该映射值对应的增量数据文件中。


3.根据权利要求1所述的方法，其特征在于，从所述增量数据文件中获取同一主键对应的时间戳最新的数据，得到该主键的快照数据，包括：
针对任一主键，从该主键对应的增量数据文件中读取该主键对应的所有增量数据；
从该主键对应的所有增量数据中获取时间戳最新的数据，得到该主键对应的快照数据并存储至与该主键对应的快照数据文件中，其中，同一主键对应的快照数据存储在同一快照数据文件中。


4.根据权利要求1所述的方法，其特征在于，从所述增量数据文件中获取同一主键对应的时间戳最新的数据，得到该主键的快照数据，包括：
针对任一增量数据文件，从该增量数据文件中读取同一主键在当前周期对应的增量数据；
获取该主键在与所述当前周期相邻的上一周期对应的快照数据；
从该主键对应的当前周期的增量数据及上一周期的快照数据中，查找该主键对应的时间戳最新的数据，确定为该主键在当前周期的快照数据。


5.根据权利要求4所述的方法，其特征在于，所述获取该主键在与所述当前周期相邻的上一周期对应的快照数据，包括：
依据预设映射关系得到该主键对应的映射值；
从文件名与该映射值对应的快照数据文件中，读取该主键在所述上一周期对应的快照数据，其中，相同主键对...

【专利技术属性】
技术研发人员：赵平，孙森，
申请(专利权)人：普信恒业科技发展北京有限公司，
类型：发明
国别省市：北京;11