一种内存云计算平台上的数据仓库安全OLAP方法技术

本发明专利技术涉及一种内存云计算平台上的数据仓库安全OLAP方法，在OLAP计算模型上消除事实表语义信息，事实表只存储数值型数据而不存储数据描述信息；在OLAP计算模型上采用基于编码的计算方法，在企业内部私有数据平台上进行维表查询和编码，在事实表存储云平台上实现基于无语义编码上的多维计算，编码的OLAP查询结果返回企业内部私有数据平台后进行语义解析，返回真实的查询结果；云平台事实表存储通过增加安全维度对度量属性进行编码，改变原始度量属性存储方式，防止对事实表度量属性的非法访问。本发明专利技术能够支持企业数据仓库数据在云平台上的存储和计算，提高OLAP计算的性价比并保证企业数据安全，能够应用于企业内存OLAP云计算或其他OLAP计算应用中。

【技术实现步骤摘要】

本专利技术涉及一种数据仓库领域中的查询处理方法，特别是关于一种面向企业敏感数据分析处理的内存云计算平台上的数据仓库安全OLAP(分析型查询处理)方法。
技术介绍
内存计算是一种大数据解决方案，虽然当前商业的内存数据库集群已经达到非常大的规模和数据存储、处理能力，但内存计算在现阶段仍然是一种昂贵的解决方案，内存计算平台的配置和运营成本非常高，未来内存计算的一个趋势是内存云计算服务。数据仓库巨大的数据量要求云平台成为数据的持久存储平台，减少数据迁移代价，但数据仓库存储的是企业及部门最核心的业务数据，对数据的安全性有极高的要求。内存云计算服务面临两个矛盾性的问题：一是为提高内存计算的性能和减少大数据移动代价，需要将尽可能多的数据持久地存储于云计算平台；二是为提高数据的安全性需要将尽可能少的可能造成数据安全隐患的关键业务数据存储在云计算平台。为解决这个矛盾，首先需要将数据仓库的数据按数据安全性要求进行分类，然后需要在企业内部系统平台和云计算平台之间进行数据的分布存储设计，最后按存储模型设计协同的内存云计算模型，由企业内部系统完成敏感数据上的计算，由云计算平台完成在非敏感大数据上的计算，协同完成分析处理任务。从数据仓库的结构来看，维表存储的是描述维度的信息，包括企业重要的用户、产品、促销方式、供应商等敏感信息，数据的安全性要求较高；事实表是多维数据存储结构，包括维表外键和度量属性，通常为数值型数据，单独的事实表不包含数据的语义信息，当事实数据不包含语义信息或者数据只有按预设的方式才能正确解读时，数据的安全性能够得到一定的保证。从数据存储需求来看，较小的维表通常是敏感性数据，其存储开销较小，并不需要内存云计算平台存储来降低存储成本，适合于存储在企业内部系统平台上由企业保证其数据的安全性。庞大的事实表存储适合利用内存云计算平台降低其数据存储成本，但需要数据安全机制保证事实数据难以被非法分析和解读，还需要数据通过安全性需要划分而产生的多平台协同计算问题。云计算是一种共享的数据存储和计算服务，优化的是硬件资源和成本，但其商业化的运营模式难以满足企业或重要部门特殊的数据安全性需求，因此需要一种敏感性数据和非敏感性数据在企业私有系统平台和云计算平台上“分而治之”的存储和计算策略。
技术实现思路
针对上述问题，本专利技术的目的是提供一种内存云计算平台上的数据仓库安全OLAP方法，该方法充分利用了内存云平台的高性能和高性价比的特点，保证了数据存储与计算的安全，可以有效地保证企业级数据企业在内存云计算平台上的安全分析处理。为实现上述目的，本专利技术采取以下技术方案：一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于包括以下步骤：1)划分云计算数据集：将整个OLAP数据集按维表和事实表划分为两个数据集，维表存储描述信息，集中存储于企业内部私有数据平台；事实表由维表外键属性和数值型度量属性组成，不包含语义和数据描述信息，存储于云计算平台，实现基于无语义编码上的多维云计算；2)生成维表编码向量：OLAP查询在执行时分解为维表上的操作和事实表上的操作两个执行阶段，企业内部私有数据平台维表上的操作为在各个维表上根据where子句的选择条件投影出维分组向量，维分组向量与维表等长，维分组向量中的编码位置记录维表中满足谓词条件记录对应的分组属性，不满足维表谓词条件的分组属性记录为NULL空值；然后对维分组向量进行编码，用不含语义的字典数组编码代替维表分组属性；当维表中包含多个分组属性时，将分组属性组统一编码；数据仓库的维表采用代理键，维分组向量与维表代理键是一一映射关系，事实表外键直接映射到维分组向量相应的位置上，替代传统的连接操作；各个维表生成的维分组向量构成事实表上的多维过滤器，而且维分组向量的分组编码构成一个多维数组，用于事实表上的分组聚集计算；3)事实表多维过滤，创建度量索引：企业内部私有数据平台上创建的维分组向量通过网络传输到云计算平台，将云计算平台事实表的外键值映射到维过滤向量对应的位置，完成多维过滤操作，并且根据维过滤向量中的维坐标确定事实表记录在分组数组中的多维坐标值，将满足多维过滤条件的事实表记录对应的分组多维坐标值记录在与事实表等长的度量索引向量中，指示度量属性列上需要进行聚集计算的记录位置及聚集结果在分组多维数组中的位置；事实表外键列参照维分组向量完成多维过滤操作后，根据度量索引按位置访问查询相关的度量属性列，完成聚集计算，并将聚集计算结果存储于对应的分组器多维数组中，完成分组聚集计算；4)查询结果解析：OLAP查询的分组聚集结果对应多维数组，不包含语义信息；将云计算平台上生成的分组器多维数组通过网络传输回企业内部私有数据平台，根据维分组向量创建阶段生成的维分组编码反向解析出分组多维数组各坐标对应的分组属性值，将分组器多维数组的各个单元维坐标转换为分组属性值，生成OLAP查询结果。进一步，所述步骤1)中，所述数值型度量属性的安全云存储采用以下策略中的一种或任意两种策略的组合：改变度量属性顺序存储策略、基于delta值映射的数据安全策略、基于哈希函数的delta映射数据安全策略和基于位压缩编码重组的数据安全策略；所述步骤3)中，访问事实表度量属性时，根据事实表的数值型度量属性存储策略，对应采用以下一种或任意两种策略解析安全存储的度量属性值：改变度量属性顺序存储解析策略、基于delta值映射的数据安全解析策略、基于哈希函数的delta映射数据安全解析策略和基于位压缩编码重组的数据安全解析策略。进一步，所述改变度量属性顺序存储策略为：当度量属性具有相同的数据类型时，通过周期性地改变度量数据在属性列的存储顺序来隐藏真实的数据。进一步，所述基于delta值映射的数据安全策略为在真实数据上乘以或加上一个delta值改变原始数据以达到数据安全的目标：存储到云计算平台的事实数据按预先设定的规则分配分组号创建数据安全维Safe_Dim，属性为ID和delta，delta表示当前数据安全策略分组对应的数据偏移量，表示为乘以或加上一个delta值，在delta属性值中的最高位置1表示乘法，置0表示加法；事实数据在存入云计算平台时，事实表按数据安全分组外键S_Dim的分组值对度量属性进行delta映射。进一步，所述基于哈希函数的delta映射数据安全策略：在事实表数据存储时增加一个delta列，宽度为n位，delta列中的数据为随机数，每个事实表记录的delta值各不相同本文档来自技高网...

【技术保护点】
一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于包括以下步骤：1)划分云计算数据集：将整个OLAP数据集按维表和事实表划分为两个数据集，维表存储描述信息，集中存储于企业内部私有数据平台；事实表由维表外键属性和数值型度量属性组成，不包含语义和数据描述信息，存储于云计算平台，实现基于无语义编码上的多维云计算；2)生成维表编码向量：OLAP查询在执行时分解为维表上的操作和事实表上的操作两个执行阶段，企业内部私有数据平台维表上的操作为在各个维表上根据where子句的选择条件投影出维分组向量，维分组向量与维表等长，维分组向量中的编码位置记录维表中满足谓词条件记录对应的分组属性，不满足维表谓词条件的分组属性记录为NULL空值；然后对维分组向量进行编码，用不含语义的字典数组编码代替维表分组属性；当维表中包含多个分组属性时，将分组属性组统一编码；数据仓库的维表采用代理键，维分组向量与维表代理键是一一映射关系，事实表外键直接映射到维分组向量相应的位置上，替代传统的连接操作；各个维表生成的维分组向量构成事实表上的多维过滤器，而且维分组向量的分组编码构成一个多维数组，用于事实表上的分组聚集计算；3)事实表多维过滤，创建度量索引：企业内部私有数据平台上创建的维分组向量通过网络传输到云计算平台，将云计算平台事实表的外键值映射到维过滤向量对应的位置，完成多维过滤操作，并且根据维过滤向量中的维坐标确定事实表记录在分组数组中的多维坐标值，将满足多维过滤条件的事实表记录对应的分组多维坐标值记录在与事实表等长的度量索引向量中，指示度量属性列上需要进行聚集计算的记录位置及聚集结果在分组多维数组中的位置；事实表外键列参照维分组向量完成多维过滤操作后，根据度量索引按位置访问查询相关的度量属性列，完成聚集计算，并将聚集计算结果存储于对应的分组器多维数组中，完成分组聚集计算；4)查询结果解析：OLAP查询的分组聚集结果对应多维数组，不包含语义信息；将云计算平台上生成的分组器多维数组通过网络传输回企业内部私有数据平台，根据维分组向量创建阶段生成的维分组编码反向解析出分组多维数组各坐标对应的分组属性值，将分组器多维数组的各个单元维坐标转换为分组属性值，生成OLAP查询结果。...

【技术特征摘要】
1.一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于包括以下
步骤：
1)划分云计算数据集：将整个OLAP数据集按维表和事实表划分为两个数据
集，维表存储描述信息，集中存储于企业内部私有数据平台；事实表由维表外键
属性和数值型度量属性组成，不包含语义和数据描述信息，存储于云计算平台，
实现基于无语义编码上的多维云计算；
2)生成维表编码向量：OLAP查询在执行时分解为维表上的操作和事实表上的
操作两个执行阶段，企业内部私有数据平台维表上的操作为在各个维表上根据
where子句的选择条件投影出维分组向量，维分组向量与维表等长，维分组向量中
的编码位置记录维表中满足谓词条件记录对应的分组属性，不满足维表谓词条件
的分组属性记录为NULL空值；然后对维分组向量进行编码，用不含语义的字典数
组编码代替维表分组属性；当维表中包含多个分组属性时，将分组属性组统一编
码；数据仓库的维表采用代理键，维分组向量与维表代理键是一一映射关系，事
实表外键直接映射到维分组向量相应的位置上，替代传统的连接操作；各个维表
生成的维分组向量构成事实表上的多维过滤器，而且维分组向量的分组编码构成
一个多维数组，用于事实表上的分组聚集计算；
3)事实表多维过滤，创建度量索引：企业内部私有数据平台上创建的维分组
向量通过网络传输到云计算平台，将云计算平台事实表的外键值映射到维过滤向
量对应的位置，完成多维过滤操作，并且根据维过滤向量中的维坐标确定事实表
记录在分组数组中的多维坐标值，将满足多维过滤条件的事实表记录对应的分组
多维坐标值记录在与事实表等长的度量索引向量中，指示度量属性列上需要进行
聚集计算的记录位置及聚集结果在分组多维数组中的位置；事实表外键列参照维
分组向量完成多维过滤操作后，根据度量索引按位置访问查询相关的度量属性列，
完成聚集计算，并将聚集计算结果存储于对应的分组器多维数组中，完成分组聚
集计算；
4)查询结果解析：OLAP查询的分组聚集结果对应多维数组，不包含语义信息；
将云计算平台上生成的分组器多维数组通过网络传输回企业内部私有数据平台，
根据维分组向量创建阶段生成的维分组编码反向解析出分组多维数组各坐标对应
的分组属性值，将分组器多维数组的各个单元维坐标转换为分组属性值，生成OLAP
查询结果。
2.如权利要求1所述的一种内存云计算平台上的数据仓库安全OLAP方法，

\t其特征在于：所述步骤1)中，所述数值型度量属性的安全云存储采用以下策略
中的一种或任意两种策略的组合：改变度量属性顺序存储策略、基于delta值映
射的数据安全策略、基于哈希函数的delta映射数据安全策略和基于位压缩编码
重组的数据安全策略；
所述步骤3)中，访问事实表度量属性时，根据事实表的数值型度量属性存储
策略，对应采用以下一种或任意两种策略解析安全存储的度量属性值：改变度量
属性顺序存储解析策略、基于delta值映射的数据安全解析策略、基于哈希函数
的delta映射数据安全解析策略和基于位压缩编码重组的数据安全解析策略。
3.如权利要求2所述的一种内存云计算平台上的数据仓库安全OLAP方法，
其特征在于：所述改变度量属性顺序存储策略为：当度量属性具有相同的数据类
型时，通过周期性地改变度量数据在属性列的存储顺序来隐藏真实的数据。
4.如权利要求2所述的一种内存云计算平台上的数据仓库安全OLAP方法，
其特征在于：所述基于delta值映射的数据安全策略为在真实数据上乘以或加上
一个delta值改变原始数据以达到数据安全的目标：存储到云计算平台的事实数...

【专利技术属性】
技术研发人员：张延松，张宇，王珊，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：北京;11