面向数据库一体机的内存数据仓库行列存储转换实现方法技术

本发明专利技术涉及一种面向数据库一体机的内存数据仓库行列存储转换实现方法，其步骤：构建内存数据仓库一体机存储模型：在数据库一体机架构上，采用维表集中存储，事实表分布存储策略；设置存储引擎；设置行列存储模型转换策略；在数据库一体机上的实时OLAP查询处理任务分解为在主节点事实表行缓存、影子数据列缓存以及存储服务器节点事实表主分片上的分布式OLAP查询处理任务，实现基于实时数据上的OLAP分析处理。本发明专利技术实现了将事务处理引擎的行存储记录高效地转换为分析引擎的列存储记录，并支持在实时数据上的OLAP分析处理。本发明专利技术适用于面向内存数据仓库一体机在更新操作中的行列存储结构转换应用场景。

Memory data warehouse ranking and storage conversion implementation method for database integrated machine

The invention relates to a data warehouse for storage memory ranks database machine conversion method, which comprises the following steps: constructing data warehouse machine memory storage model in database machine architecture, using the dimension table for centralized storage, distribution of the fact table storage strategy; storage engine; set up the ranks of the storage model conversion strategy; real-time OLAP one machine database query processing on the task decomposition for the master node in fact table rows, columns of data cache and cache shadow storage server node fact table OLAP main block distributed query processing tasks, to achieve real-time data processing based on OLAP analysis. The invention realizes the conversion of the row storage record of the transaction processing engine into the column storage record of the analysis engine efficiently, and supports the OLAP analysis processing on the real-time data. The invention is suitable for the memory storage data warehouse integrated machine, and the row and column storage structure in the updating operation converts the application scene.

【技术实现步骤摘要】
面向数据库一体机的内存数据仓库行列存储转换实现方法
本专利技术涉及一种内存数据仓库存储转换方法，特别是关于一种面向数据库一体机的内存数据仓库行列存储转换实现方法。
技术介绍
随着大内存、多核处理器等硬件技术和内存数据库技术的发展，内存OLAP处理性能不断提高，大数据内存实时分析处理成为主流的技术。传统的事务处理引擎通常采用行存储模型，优化更新操作性能，而分析处理则通常采用列存储引擎，优化数据访问和处理性能。当前主流数据库开始支持事务处理引擎和分析处理引擎集成技术，如OracleDatabasein-memory，SQLserver2016等既支持事务处理，也支持分析处理。但当前主要的实现技术是为事务处理引擎增加一个列存储引擎加速分析处理性能，列存储引擎可以看作是事务处理引擎的影子数据(shadowdata)，支持或不支持数据同步更新，主要技术难点是事务处理引擎的行存储结构数据如何高效地转换为列存储结构数据。列存储引擎不仅要按列存储数据，还需要通过数据压缩技术进一步提高列存储引擎的数据存储和处理效率。当前代表性的技术，如SAPHANA采用L1行存储引擎、L2非压缩列存储引擎和采用数据压缩的主存储列引擎来支持实时OLAP分析处理，在事务型行数据转换为分析型列数据时还需要解决列压缩以及字典表更新等问题，需要处理复杂的数据转换问题。在面向数据库一体机架构的内存数据仓库系统中，少量高端服务器组成的高性能服务器集群和大量中低端服务器组成的存储服务器集群提供了不对称的存储和计算性能，不仅需要解决实时更新数据的行列存储结构转换任务，还需要根据数据库一体机的硬件架构特点将事务处理与分析处理分配在不同的集群，需要优化设计不同类型数据在不同集群上的存储策略，不同类型的数据在集群节点内及集群节点间的存储策略和存储模型转换策略。
技术实现思路
针对上述问题，本专利技术的目的是提供一种面向数据库一体机的内存数据仓库行列存储转换实现方法，该方法实现了将事务处理引擎的行存储记录高效地转换为分析引擎的列存储记录，并支持在实时数据上的OLAP分析处理。为实现上述目的，本专利技术采取以下技术方案：一种面向数据库一体机的内存数据仓库行列存储转换实现方法，其特征在于包括以下步骤：1)构建内存数据仓库一体机存储模型：在数据库一体机架构上，采用维表集中存储，事实表分布存储策略；2)设置存储引擎；3)设置行列存储模型转换策略；4)在数据库一体机上的实时OLAP查询处理任务分解为在主节点事实表行缓存中未进行列转换的行组、影子数据列缓存以及存储服务器节点事实表主分片上的分布式OLAP查询处理任务，实现基于实时数据上的OLAP分析处理。所述步骤1)中，数据仓库中的维表集中存储于数据库一体机高性能服务器集群，维表采用多维关系模型，即维表记录映射为维度成员，维表主键映射为维度坐标。在维表增加一个删除标志列D_Flag，逻辑标识删除的维记录，该维记录对应的主键值能分配给新插入的维记录。所述步骤1)中，事实表在数据库一体机架构中采用分布式存储策略，事实表以水平分片方式存储在存储服务器集群节点，事实表分片采用列存储，列按照优化的行数划分为列分片，列分片作为列数据压缩存储单位。所述步骤2)中，具体设置方法如下：2.1)维表采用行存储引擎，利用成熟的事务型内存数据库系统支持插入、修改或删除的更新操作；维表上的查询为选择和投影操作，当维表较大且查询选择率较低时，为维属性创建位图索引；2.2)事实表存储分为两种类型：2.2.1)在数据库一体机高性能服务器集群维表存储引擎中设置事实表缓存，用于缓存插入的行存储结构事实表记录，同时设置一个内存列存储结构事实表缓存，用于实现事实表记录的内存行列转换；2.2.2)主要事实表数据以水平分片方式存储于存储服务器集群；事实表存储采用列存储，事实表列按优化配置参数划分为列分片，每个列分片是一个独立的列数据压缩存储单位，独立设置列分片压缩算法及相关压缩元数据。所述步骤3)中，具体设置方法如下：3.1)维表映射为维度，在OLAP查询处理时维表映射为一个向量列，表示OLAP查询在维表上的选择和投影操作结果；当维表用数据库存储时，设置维表主键列为AUTO_INCREMENT类型，自动为维表分配连续的主键值，删除的记录产生缺失的主键值；3.2)事实表数据的行列转换包括从高性能服务器集群事实表缓存到列缓存，从列缓存到闪存，从高性能服务器集群闪存到存储服务器集群闪存，从存储服务器闪存到内存，从内存行组到内存压缩列分片。所述步骤3.2)中，具体步骤如下：3.2.1)高性能服务器集群事实表缓存以优化的行组数对插入记录进行逻辑分区，以行组为单位异步地将插入的事实表行记录以列为单位存储在列缓存中，作为事实表行记录的影子列，不参与查询处理；3.2.2)以循环队列的方式组织以行组为单位的列缓存，在队列尾插入新的行组列数据；3.2.3)列缓存异步地以列为单位将内存行组列存储为闪存行组列，完成闪存存储的内存行组列被循环队列头新插入的行组列覆盖，复用列缓存空间；3.2.4)闪存行组列异步地按事实表分布存储策略从高性能服务器集群节点复制到对应的存储服务器集群节点闪存中；3.2.5)存储服务器闪存中的行组列加载为内存行组列，作为存储服务器集群节点上的影子列，影子列同样采用循环队列结构组织内存行组列；3.2.6)以异步的方式将若干个行组列整合为列存储结构的列分片，列分片作为独立的数据压缩单元，根据数据特征和数据访问需求选择压缩方法，列分片与其他事实表列分片组成存储服务器节点事实表分片。所述步骤4)中，实时OLAP查询处理根据不同的优化策略执行步骤如下：4.1)在高性能服务器主节点，事实表缓存使用行存储引擎，行缓存以优化的逻辑行组为数据管理单位，采用异步的方式通过后台工作线程将行记录转换为列记录，存储于影子列缓存，事实表缓存作为事实表最新数据分片，参与OLAP的查询处理执行；4.2)事实表行缓存记录向影子列缓存记录转换时使用循环队列管理影子列行组数据，影子列缓存数据只用于行列转换，不提供对OLAP查询处理的支持；4.3)内存影子列行组异步地转换为闪存列存储结构的影子块，将内存列数据物化，释放内存影子列行组空间，与事实表缓存中的其他行存储数据共同提供主节点上的OLAP查询处理支持；4.4)存储服务器集群节点完成闪存影子块数据复制时，如果高性能服务器节点闪存空间不足，由存储服务器节点闪存影子块接替高性能服务器节点闪存影子块提供OLAP查询处理，并释放高性能服务器节点闪存中相应影子块的存储空间；4.5)存储服务器节点采用内存循环队列加载闪存影子块数据，并将其对应的行组列按事实表列分片粒度进行列合并、列压缩，生成列分片，添加到存储服务器节点事实表分片链接表，更新事实表分片数据集；4.6)在完成事实表列分片的持久存储后，由事实表分片承担相应的OLAP查询处理任务，存服务器节点闪存和高性能服务器节点闪存中相应的影子块数据不再承担OLAP查询处理任务，并释放其占用的存储空间。所述步骤4.3)中，当主节点内存空间不足时，影子块作为事实表缓存记录的闪存复本能提供基于闪存的列存储结构事实表分片数据访问，提供基于闪存影子块的OLAP查询处理任务。本专利技术由于采取以上技术方案，其具有以下优点：1、数据仓库本文档来自技高网...

【技术保护点】
一种面向数据库一体机的内存数据仓库行列存储转换实现方法，其特征在于包括以下步骤：1)构建内存数据仓库一体机存储模型：在数据库一体机架构上，采用维表集中存储，事实表分布存储策略；2)设置存储引擎；3)设置行列存储模型转换策略；4)在数据库一体机上的实时OLAP查询处理任务分解为在主节点事实表行缓存中未进行列转换的行组、影子数据列缓存以及存储服务器节点事实表主分片上的分布式OLAP查询处理任务，实现基于实时数据上的OLAP分析处理。

【技术特征摘要】
1.一种面向数据库一体机的内存数据仓库行列存储转换实现方法，其特征在于包括以下步骤：1)构建内存数据仓库一体机存储模型：在数据库一体机架构上，采用维表集中存储，事实表分布存储策略；2)设置存储引擎；3)设置行列存储模型转换策略；4)在数据库一体机上的实时OLAP查询处理任务分解为在主节点事实表行缓存中未进行列转换的行组、影子数据列缓存以及存储服务器节点事实表主分片上的分布式OLAP查询处理任务，实现基于实时数据上的OLAP分析处理。2.如权利要求1所述的面向数据库一体机的内存数据仓库行列存储转换实现方法，其特征在于：所述步骤1)中，数据仓库中的维表集中存储于数据库一体机高性能服务器集群，维表采用多维关系模型，即维表记录映射为维度成员，维表主键映射为维度坐标。3.如权利要求2所述的面向数据库一体机的内存数据仓库行列存储转换实现方法，其特征在于：在维表增加一个删除标志列D_Flag，逻辑标识删除的维记录，该维记录对应的主键值能分配给新插入的维记录。4.如权利要求1所述的面向数据库一体机的内存数据仓库行列存储转换实现方法，其特征在于：所述步骤1)中，事实表在数据库一体机架构中采用分布式存储策略，事实表以水平分片方式存储在存储服务器集群节点，事实表分片采用列存储，列按照优化的行数划分为列分片，列分片作为列数据压缩存储单位。5.如权利要求1所述的面向数据库一体机的内存数据仓库行列存储转换实现方法，其特征在于：所述步骤2)中，具体设置方法如下：2.1)维表采用行存储引擎，利用成熟的事务型内存数据库系统支持插入、修改或删除的更新操作；维表上的查询为选择和投影操作，当维表较大且查询选择率较低时，为维属性创建位图索引；2.2)事实表存储分为两种类型：2.2.1)在数据库一体机高性能服务器集群维表存储引擎中设置事实表缓存，用于缓存插入的行存储结构事实表记录，同时设置一个内存列存储结构事实表缓存，用于实现事实表记录的内存行列转换；2.2.2)主要事实表数据以水平分片方式存储于存储服务器集群；事实表存储采用列存储，事实表列按优化配置参数划分为列分片，每个列分片是一个独立的列数据压缩存储单位，独立设置列分片压缩算法及相关压缩元数据。6.如权利要求1所述的面向数据库一体机的内存数据仓库行列存储转换实现方法，其特征在于：所述步骤3)中，具体设置方法如下：3.1)维表映射为维度，在OLAP查询处理时维表映射为一个向量列，表示OLAP查询在维表上的选择和投影操作结果；当维表用数据库存储时，设置维表主键列为AUTO_INCREMENT类型，自动为维表分配连续的主键值，删除的记录产生缺失的主键值；3.2)事实表数据的行列转换包括从高性能服务器集群事实表缓存到列缓存，从列缓存到闪存，从高性能服务器集群闪存到存储服务器集群闪存，从存储服务器闪存到内存，从内存行组到内存压缩列分片。7.如权利要求6所述的面向数据库一体机的内存数据仓...

【专利技术属性】
技术研发人员：张延松，王珊，杜小勇，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：北京,11