【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及针对联机分析处理数据库的数据存储方法及引擎。
技术介绍
1、随着互联网技术的普及，企业、个人产生的数据越来越多，对这些海量数据的存储和计算变得越来越重要，目前在海量数据下要实现多维分析的实时应答，仍旧困难重重。联机分析处理数据库olap，又可以称为多维分析，是由关系型数据库之父埃德加·科德(edgar frank codd)于1993年提出的概念。顾名思义，它指的是通过多种不同的维度审视数据，进行深层次分析。目前业界开源的解决方案有分析型数据库apache doris、极速全场景mpp数据库starrocks、分布式数据分析平台druid等，分析型数据库由于查询性能卓越而被大多数企业使用，分析型数据库底层存储采用分区分桶的设计方案，并利用内置的索引生成器智能生成数据索引，能有效降低需要加载到内存中的数据和计算时的数据量。
2、然而，目前分析型数据库主要支持两类索引：内建的智能索引和用户手动创建的二级索引，其不支持在任意列上创建索引，且由于当前版本是全内存计算，所以面对大规模数据复杂的数据抽取、转化...
【技术保护点】
1.一种针对联机分析处理数据库的数据存储方法，其特征在于，包括：
2.根据权利要求1所述的针对联机分析处理数据库的数据存储方法，其特征在于，所述将待存储的原始数据以分区、分块压缩及列式存储的方式存储至联机分析处理数据库的数据表中，以使所述联机分析处理数据库的数据读取粒度单位为压缩数据块，包括：
3.根据权利要求2所述的针对联机分析处理数据库的数据存储方法，其特征在于，所述构建或更新所述数据表当前的分区索引、各个分区目录下的多级索引以及对应的数据标记，以依次基于所述分区索引、多级索引以及数据标记在所述联机分析处理数据库查找目标数据，包括：
...【技术特征摘要】
1.一种针对联机分析处理数据库的数据存储方法，其特征在于，包括：
2.根据权利要求1所述的针对联机分析处理数据库的数据存储方法，其特征在于，所述将待存储的原始数据以分区、分块压缩及列式存储的方式存储至联机分析处理数据库的数据表中，以使所述联机分析处理数据库的数据读取粒度单位为压缩数据块，包括：
3.根据权利要求2所述的针对联机分析处理数据库的数据存储方法，其特征在于，所述构建或更新所述数据表当前的分区索引、各个分区目录下的多级索引以及对应的数据标记，以依次基于所述分区索引、多级索引以及数据标记在所述联机分析处理数据库查找目标数据，包括：
4.根据权利要求3所述的针对联机分析处理数据库的数据存储方法，其特征在于，所述生成待存储的原始数据对应的各个压缩数据块，包括：
5.根据权利要求4所述的针对联机分析处理数据库的数据存储方法，其特征在于，所述多级索引包括一级索引和二级索引；<...
【专利技术属性】
技术研发人员：张志宇，狄鹏举，穆启鹏，符吉清，张广庆，王竞争，
申请(专利权)人：电科云北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。