面向数据集的数据存储和查询方法、装置、设备及介质制造方法及图纸

本发明专利技术提供了一种面向数据集的数据存储和查询方法、装置、设备及介质，涉及关系型数据库技术领域，存储方法包括：接收待存储数据集并存储至Level数组中，将所述待存储数据集的基础元数据存储至第一数据块中；将所述待存储数据集按照设定的写入时间段分别划分至所述Level数组中的多个Level集合中，将每个所述Level集合的元数据分别存储至该Level集合的第二数据块中；将每个所述Level集合中的多个待存储数据集按照时间顺序分别存储至多个Run集合中，在所述第二数据块中，将每个所述Run集合的元数据分别存储为按时间顺序排序的序号。本发明专利技术实现了面向有序数据集的数据高速插入、快速分析查询和事务处理需求。

【技术实现步骤摘要】

本专利技术涉及关系型数据库，具体涉及一种面向数据集的数据存储和查询方法、装置、设备及介质。

技术介绍

1、在关系型数据库中，对于有序数据集（例如时序数据）的高效存储和分析查询一直是一个挑战。传统的存储引擎在高速插入和查询方面存在性能瓶颈，而且在事务性处理和元数据管理上有一定的复杂性。

2、传统的存储引擎如postgresql（对象-关系型数据库管理系统）的heap（堆内存）存储在解决有序数据访问时，在元数据管理和动态逻辑块划分方面存在一些瓶颈，导致了在高速插入和查询时的性能问题。列式存储引擎，列式存储引擎在分析查询方面有优势，但在高速插入和事务处理方面可能存在一些挑战。rowstore（行存储）设计，一些数据库系统采用rowstore设计，可以提供高速插入和查询的性能，但在处理有序数据集时仍需进一步优化。lsmtree存储数据的删除，采用在关系型数据库中，数据的合并增大了删除的复杂度，通常所采用的标记删除策略占用的空间较多，维护的代价较高。

3、因此，针对有序的数据集，需要一种聚集存储方法，以满足在有序数据集背景下的高速插入、快速分本文档来自技高网...

【技术保护点】

1.一种面向数据集的数据存储方法，其特征在于，包括：

2.根据权利要求1所述的面向数据集的数据存储方法，其特征在于，所述方法还包括：将每个所述Run集合对应的数据集中的数据按照行存储和列存储混用的方式进行存储，其中，将多行数据按照时间顺序分别保存至多个逻辑块Range中，将同一列数据的物理地址连续存储。

3.根据权利要求2所述的面向数据集的数据存储方法，其特征在于，所述方法还包括：对所述Run集合中的每条记录分别设置一个唯一标识，所述唯一标识包括该Run集合在所述第二数据块中的排序序号和当前记录在该Run集合中的逻辑块Range的位置序号；p>

4.根据权...

【技术特征摘要】

1.一种面向数据集的数据存储方法，其特征在于，包括：

2.根据权利要求1所述的面向数据集的数据存储方法，其特征在于，所述方法还包括：将每个所述run集合对应的数据集中的数据按照行存储和列存储混用的方式进行存储，其中，将多行数据按照时间顺序分别保存至多个逻辑块range中，将同一列数据的物理地址连续存储。

3.根据权利要求2所述的面向数据集的数据存储方法，其特征在于，所述方法还包括：对所述run集合中的每条记录分别设置一个唯一标识，所述唯一标识包括该run集合在所述第二数据块中的排序序号和当前记录在该run集合中的逻辑块range的位置序号；

4.根据权利要求3所述的面向数据集的数据存储方法，其特征在于，根据所述唯一标识，对所述待删除或修改的数据记录进行删除或修改操作，包括：

5.根据权利要求4所述的面向数据集...

【专利技术属性】
技术研发人员：王勇，唐鹏洲，姚延栋，翁岩青，
申请(专利权)人：北京四维纵横数据技术有限公司，
类型：发明
国别省市：