一种基于数据汇聚存储方式的数据库制造技术

本发明专利技术公开了一种基于数据汇聚存储方式的数据库，数据导入数据库时，从数据原始的顺序，整理为按需求读取的数据；采用多核CPU，并预留一块共享缓存空间；每个核按原始文件中最外层维度读入一组数据并在缓存中按照目标顺序进行数据排列，生成排序文件；所有参与操作的CPU核并行工作；存入数据库。通过数据导入数据库时从数据原始的顺序，整理为按需求读取的数据，列文件通过同一缓存文件存入，使得数据在读取时，可以将需求数据一并读取，不需要在分散的数据库中分别读取，提高读取速度；解决现有数据库在针对一些固有排序数据时，读取这一序列在原始的数据排布中，需要访问硬盘中的大量分散位置，速度缓慢的问题。速度缓慢的问题。

【技术实现步骤摘要】
一种基于数据汇聚存储方式的数据库


[0001]本专利技术属于数据库
，具体涉及一种基于数据汇聚存储方式的数据库。

技术介绍

[0002]现有存取数据的结构中，从平衡二叉树、B树、B+树、B*树总体来看它们的贯彻的思想是相同的，都是采用二分法和数据平衡策略来提升查找数据的速度；在很多领域内产生的与时间/空间有关的数据信息，经常是如下组织形式：
[0003]所有数据先按维度1排布；维度1内每一数据按维度2排布；维度2内每一组数据按维度3排布；
[0004]例如一种气象数据是这样排布的：
[0005]每个时间点1个文件；时间点文件内部每个对象代表1个参数类型，例如温度、湿度、风力等等。
[0006]每个参数类型由三维数组构成，例如温度数组的组织形式：[高度1][经度1][纬度1]＝温度1；通常第一个维度是时间，因为数据是每过一段时间生成一次的。因此举例需求：
[0007]同一时间，单一位置(一个高度经纬度确定的点)，所有变量的时间序列。即：[时间1][温度]＝a1； [时间1][湿度]＝b1；[时间1][本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据汇聚存储方式的数据库，其特征在于，数据导入数据库时，将数据原始的顺序整理为按需求读取的数据顺序；整理方法如下：采用多核CPU，并预留一块共享缓存空间；多核CPU的每个核按原始文件中最外层维度读入一组数据并在缓存空间中按照目标顺序对该组数据进行数据排列，生成排序文件；所有参与操作的CPU核并行工作，把该组数据的最外层维度的所有数据所记录的信息进行排序并缓存在同一个缓存文件；然后将该组数据存入数据库。2.根据权利要求1所述的基于数据汇聚存储方式的数据库，其特征在于，所有参与操作的CPU核并行工作一次，能把m个记录变成一个缓存，m为正整数；若最外层维度的所有记录数量n大于m，n为正整数，致使所有CPU核并行工作不能一次性读取所述最外层维度的所有记录，则所有CPU核循环参与操作且同样并行工作，直到将最外层维度的所有记录都生成排序文件在一个缓存文件；然后存入数据库。3.根据权利要求1或2任意一项所述的基于数据汇聚存储方式的数据库，其特征在于，在读出数据时若所述最外层维度所有记录不能通过一个缓存文件进行排序时，则将已经生成的缓存文件作为子序列输入，然后生成第二级排序文件；重复操作，直到所述最外层维度的所有记录读取完毕且完全按目标顺序排序，生成多级排序文件，然后输出数据。4.根据权利要求3所述的基于数据汇...

【专利技术属性】
技术研发人员：李珅，
申请(专利权)人：北京白板科技有限公司，
类型：发明
国别省市：