数据加载方法以及数据加载装置制造方法及图纸

本发明专利技术公开了一种数据加载方法，包括：将要加载数据批量加载到临时数据表中；根据预设定的时间间隔将所述临时数据表中的数据置换到中间数据表中；对置放到所述中间数据表中的数据创建索引；以及，将已创建索引的数据从所述中间数据表置换到目标数据表中。本发明专利技术还公开了一种数据加载装置。采用本发明专利技术，可以提高数据加载的效率。

【技术实现步骤摘要】

本专利技术涉及计算机数据处理
，更具体地，涉及ー种数据加载方法以及数据加载装置。
技术介绍
随着信息技术的发展，数据量呈现爆炸式增长的趋势。海量数据处理系统ー方面要求数据到来时能够尽快入库，这就要求在加载时对数据各方面的检查和判断尽量简単。而另一方面对数据的快速检索的需求，要求所有的数据有规律地存储，并且根据常用查询和检索条件建立索引，以便能在需要的时候快速得到查询結果。如果在数据加载的同时对其进行索引和存储方面的优化，势必需要分析和计算入库数据的特征，井根据这些特征进行有序组织，这样就大大限制了数据的写入速度，使得数据高速加载和按序组织(索引更新等操作)之间存在矛盾。
技术实现思路
为解决现有技术存在的问题，本专利技术提供了ー种数据加载方法和数据加载装置，使得能够提高数据加载的效率。根据本专利技术的一方面，提供了ー种数据加载方法，包括 步骤A，将要加载数据批量加载到临时数据表中；步骤B，根据预设定的时间间隔将所述临时数据表中的数据置换到中间数据表中；步骤C，对置放到所述中间数据表中的数据创建索引；以及步骤D，将已创建索引的数据从所述中间数据表置換到目标数据表中。在可选实施例中，所述临时数据表和目标数据表中按时间范围进行分区且分区策略相同，其中，Partn分区用于存储时间标志在(Tn+ Tn]之间的数据，其中，Tlri表示上一周期的末时刻，Tn表示当前周期的末时刻，n > I, Partn分区表示当前分区；步骤A包括根据数据中所帯的时间标志将按时间顺序到达的数据写入到临时数据表中的Partn分区；步骤B包括将所述临时数据表中的Partn分区的数据置换到第一中间数据表中；步骤C包括在所述第一中间数据表上为所述第一中间数据表中的数据建立索引；以及步骤D包括将已建立索引的所述第一中间数据表中的数据置换到所述目标数据表中的Partn分区中。在可选实施例中，所述临时数据表和所述目标数据表按时间范围进行分区且分区策略相同，其中，Partlri分区用于存储时间标志在(Tn_2，Tn_J之间的数据，Partn分区用于存储时间标志在(TlriJn]之间的数据；所述临时数据表包括Partlri分区，Partn分区，Partn+1分区，…，Partn+k分区；目标数据表中分区根据设计要求而定；其中，Tlri表示上一周期的末时刻，Tn表示当前周期的末时刻，Partn分区表示当前分区，n > I, k > O ；步骤A包括根据数据中所帯的时间标志将按时间顺序到达的数据写入到临时数据表中的Partn分区，以及将延迟到来的数据写入到Partlri分区；步骤B包括将所述临时数据表中Partn分区的数据置换到第一中间数据表中，以及，将所述临时数据表中Partlri分区的数据置换到第二中间数据表中；步骤C包括在所述第一中间数据表上为所述第一中间数据表中的数据建立索引，步骤D包括将已建立索引的所述第一中间数据表中的数据置换到所述目标数据表中的Partn分区中；以及在步骤B之后还包括步骤将所述第二中间数据表中的数据插入到所述目标数据表中的Partlri分区中。在可选实施例中，所述数 据加载方法在步骤A之后还包括在接收到不在中间数据表建立索引的指示吋，将临时数据表中的数据置换到目标数据表中；以及，在所述目标数据表中为所述数据创建索引。根据本专利技术的另一方面，还提供了ー种数据加载装置，包括初始加载単元，用于将要加载数据批量加载到临时数据表中；第一索引建立単元，用于根据预设定的时间间隔将所述临时数据表中的数据置换到中间数据表中，以及对置放到所述中间数据表中的数据创建索引；目标加载単元，用于将已创建索引的数据从所述中间数据表置換到目标数据表中。在可选实施例中，所述临时数据表和目标数据表中按时间范围进行分区且分区策略相同，其中，Partn分区用于存储时间标志在(Tn+ Tn]之间的数据，其中，Tlri表示上一周期的末时刻，Tn表示当前周期的末时刻，n > I, Partn分区表示当前分区；所述初始加载单元进ー步用于根据数据中所帯的时间标志将按时间顺序到达的数据写入到临时数据表中的Partn分区；所述第一索引建立単元进ー步用于将所述临时数据表中的Partn分区的数据置换到第一中间数据表中，以及，在所述第一中间数据表上为所述第一中间数据表中的数据建立索引；所述目标加载单元进ー步用于将已建立索引的所述第一中间数据表中的数据置换到所述目标数据表中的Partn分区中。在可选实施例中，所述临时数据表和所述目标数据表按时间范围进行分区且分区策略相同，其中，Partlri分区用于存储时间标志在(Tn_2，Tn_J之间的数据，Partn分区用于存储时间标志在(TlriJn]之间的数据；所述临时数据表包括Partlri分区，Partn分区，Partn+1分区，…，Partn+k分区；目标数据表中分区根据设计要求而定；其中，Tlri表示上一周期的末时刻，Tn表示当前周期的末时刻，Partn分区表示当前分区，n > I, k > 0 ；所述初始加载单元进ー步用于根据数据中所帯的时间标志将按时间顺序到达的数据写入到临时数据表中的Partn分区，以及将延迟到来的数据写入到Partlri分区；所述第一索引建立単元进ー步用于将所述临时数据表中Partn分区的数据置换到第一中间数据表中，以及，在所述第一中间数据表上为所述第一中间数据表中的数据建立索引；所述数据加载装置还包括延迟数据处理単元，用于将所述临时数据表中Partlri分区的数据置换到第二中间数据表中；所述目标加载单元进ー步用于将已建立索引的所述第一中间数据表中的数据置换到所述目标数据表中的Partn分区中；以及，还用于将所述第二中间数据表中的数据插入到所述目标数据表中的Partlri分区中。在可选实施例中，所述初始加载单元，还用于在接收到不在中间数据表建立索引的指示时，发送不执行操作的指示给所述第一索引建立单元以及发送执行操作的指示给所述目标加载单元；所述目标加载单元，还用于在接收到所述初始加载单元的执行操作指示时，将所述临时数据表中的数据置换到所述目标数据表中；以及，所述数据加载装置还包括第二索引建立単元，用于在所述目标数据表中为所述数据创建索弓I。根据本专利技术的又一方面，还提供了ー种数据加载装置，包括初始加载単元，用于将要加载数据批量加载到临时数据表中；目标加载単元，用于将所述临时数据表中的数据置换到目标数据表中；以及，索引建立単元，用于在所述目标数据表中为所述数据创建索引。根据本专利技术的再一方面，还提供了ー种数据加载方法，包括将要加载数据批量加载到临时数据表中；以及，将所述临时数据表中的数据置换到目标数据表中，并在所述目标数据表中为所述数据创建索引。本专利技术实施例通过将数据写入和创建索引两个阶段分离开来，使得数据写入时不直接更新数据的索引状态，由于数据写入时不带索引，因此可以采用批量加载的方式进行，从而能够提高数据写入的性能。此外，由于在后续阶段性地对写入的数据集中创建索引，因此也可以提高数据写入时索引维护的性能。附图说明图1是根据本专利技术ー实施例的数据加载方法的流程示意图。图2是根据本专利技术又一实施例的数据加载方法的流程示意图。图3是常见的延迟数据的分布規律。图4是根据本专利技术又一实施例的本文档来自技高网...

【技术保护点】
一种数据加载方法，包括：步骤A，将要加载数据批量加载到临时数据表中；步骤B，根据预设定的时间间隔将所述临时数据表中的数据置换到中间数据表中；步骤C，对置放到所述中间数据表中的数据创建索引；以及步骤D，将已创建索引的数据从所述中间数据表置换到目标数据表中。

【技术特征摘要】
1.一种数据加载方法，包括 步骤A，将要加载数据批量加载到临时数据表中； 步骤B，根据预设定的时间间隔将所述临时数据表中的数据置换到中间数据表中； 步骤C，对置放到所述中间数据表中的数据创建索引；以及 步骤D，将已创建索引的数据从所述中间数据表置换到目标数据表中。2.根据权利要求1所述的数据加载方法，其特征在于 所述临时数据表和目标数据表中按时间范围进行分区且分区策略相同，其中，Partn分区用于存储时间标志在(Tn+ Tn]之间的数据，其中，Tlri表示上一周期的末时刻，Tn表示当前周期的末时刻，η > I, Partn分区表示当前分区； 步骤A包括根据数据中所带的时间标志将按时间顺序到达的数据写入到临时数据表中的Partn分区； 步骤B包括将所述临时数据表中的Partn分区的数据置换到第一中间数据表中； 步骤C包括在所述第一中间数据表上为所述第一中间数据表中的数据建立索引；以及 步骤D包括将已建立索引的所述第一中间数据表中的数据置换到所述目标数据表中的Partn分区中。3.根据权利要求1所述的数据加载方法，其特征在于 所述临时数据表和所述目标数据表按时间范围进行分区且分区策略相同，其中，Partlri分区用于存储时间标志在(Tn_2，Tn_J之间的数据，Partn分区用于存储时间标志在(Tlri, Tn]之间的数据；所述临时数据表包括Partlri分区，Partn分区，Partn+1分区，…，Partn+k分区；目标数据表中分区根据设计要求而定；其中，Tlri表示上一周期的末时刻，1；表示当前周期的末时刻，Partn分区表示当前分区，η > I, k > O ； 步骤A包括根据数据中所带的时间标志将按时间顺序到达的数据写入到临时数据表中的Partn分区，以及将延迟到来的数据写入到Partlri分区； 步骤B包括将所述临时数据表中Partn分区的数据置换到第一中间数据表中，以及，将所述临时数据表中Partlri分区的数据置换到第二中间数据表中； 步骤C包括在所述第一中间数据表上为所述第一中间数据表中的数据建立索引，步骤D包括将已建立索引的所述第一中间数据表中的数据置换到所述目标数据表中的Partn分区中；以及 在步骤B之后还包括步骤将所述第二中间数据表中的数据插入到所述目标数据表中的Partlri分区中。4.根据权利要求1所述的数据加载方法，其特征在于，所述数据加载方法在步骤A之后还包括 在接收到不在中间数据表建立索引的指示时，将临时数据表中的数据置换到目标数据表中； 在所述目标数据表中为所述数据创建索引。5.一种数据加载装置，包括 初始加载单元，用于将要加载数据批量加载到临时数据表中； 第一索引建立单元，用于根据预设定的时间间隔将所述临时数据表中的数据置换到中间数据表中，以及对置放到所述中间数据表中的数据创建索引； 目标加载单元，用于将已创建索引的数据从所述中间数据表置换到目标数据表中。6.根据权利要求5所述的数据加载装置，其特征在于...

【专利技术属性】
技术研发人员：宋怀明，杨浩，苗艳超，刘新春，邵宗有，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：