【技术实现步骤摘要】
本专利技术涉及数据处理
，特别涉及一种电力数据的OLAP系统的索引建立方法和系统。
技术介绍
在电力领域中，需要对电力用采大数据进行OLAP(OnlineAnalyticalProcessing，联机分析处理)查询，OLAP查询具有涉及数据量大、多表连接操作频繁、SQL结构复杂等特点。现有技术中，是通过用采数据分析系统对电力用采数据进行查询和分析的，用采数据分析系统包括用采系统和多个采集终端，用采系统中包括OLAP系统和HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)。采集数据后，用采系统将多个采集终端采集的用采数据和保存在关系数据库中的用户信息、电力设备(智能电表、变压器等)信息等档案类数据存储在HDFS中，由OLAP系统采用内存计算框架Spark及其上的SQL工具Shark对HDFS中的用采数据进行OLAP查询。但是，由于用采数据的采集频率很高，HDFS中存储的数据量会急速膨胀，而OLAP系统在进行OLAP查询时采用的SQL工具Shark只支持粗粒度分区，不支持细粒度索引，导致查询的效率很低。
技术实现思路
有鉴于此，本专利技术提供一种电力数据的OLAP系统的索引建立方法和系统，以便于提高用采数据分析系统的查询速度和分析性能，满足采集类大数据的查询需求。本专利技术提供了一种电力数据的OLAP系统的索引建立方法，包括：根据所述电力数...
【技术保护点】
一种电力数据的OLAP系统的索引建立方法，其特征在于，包括：根据所述电力数据中的档案类数据建立前缀树；根据所述前缀树的叶节点，对所述电力数据中的用采数据在数据文件中进行重组，在所述数据文件中生成多个数据片；确定各个所述数据片在所述数据文件中的数据片位置，并建立所述数据片位置与所述前缀树的叶节点之间的映射关系，作为所述电力数据的OLAP系统的索引。
【技术特征摘要】
1.一种电力数据的OLAP系统的索引建立方法，其特征在于，包括：
根据所述电力数据中的档案类数据建立前缀树；
根据所述前缀树的叶节点，对所述电力数据中的用采数据在数据文件中
进行重组，在所述数据文件中生成多个数据片；
确定各个所述数据片在所述数据文件中的数据片位置，并建立所述数据
片位置与所述前缀树的叶节点之间的映射关系，作为所述电力数据的OLAP
系统的索引。
2.根据权利要求1所述的方法，其特征在于，所述根据所述电力数据中
的档案类数据建立前缀树，包括：
读取关系数据库管理系统中保存的所述档案类数据；
从所述档案类数据中提取所述电力数据的区域层级编码表，所述区域层
级编码表中包括每个所述用采数据所属的区域的区域编码以及所述区域编码
所属的区域层级；
根据所述区域层级编码表建立所述前缀树，令所述区域层级编码表中的
所述区域编码与所述前缀树的叶节点一一对应，且令所述区域层级编码表中
的所述区域层级与所述前缀树的层级一一对应。
3.根据权利要求2所述的方法，其特征在于，所述根据所述前缀树的叶
节点，对所述电力数据中的用采数据在数据文件中进行重组，在所述数据文
件中生成多个数据片，包括：
读取每个所述用采数据中的所述区域编码，并确定含有相同的所述区域
编码的所述用采数据；
对每个所述用采数据在数据文件中进行重组，将含有相同的所述区域编
码的所述用采数据汇集成一个所述数据片，并记录每个所述数据片在所述数
据文件中的数据片位置。
4.根据权利要求3所述的方法，其特征在于，所述确定各个所述数据片
在所述数据文件中的数据片位置，并建立所述数据片位置与所述前缀树的叶
节点之间的映射关系，作为所述电力数据的OLAP系统的索引，包括：
确定各个所述数据片在所述数据文件中的数据片位置，并根据每个所述
数据片中的所述用采数据的所述区域编码，以及所述区域层级编码表中的所
述区域编码与所述前缀树的叶节点的一一对应关系，建立每个所述数据片位
\t置与所述前缀树的所述叶节点之间的映射关系，作为所述电力数据的OLAP
系统的索引。
5.根据权利要求1所述的方法，其特征在于，还包括：
将所述前缀树保存在所述电力数据的OLAP系统所在的服务器的内存中，
...
【专利技术属性】
技术研发人员：崔蔚，王亚玲，刘万涛，刘越，虎嵩林，黄高攀，张明明，夏飞，
申请(专利权)人：国网信息通信产业集团有限公司，江苏省电力公司信息通信分公司，中国科学院计算技术研究所，国网浙江省电力公司，国网辽宁省电力有限公司，南京南瑞集团公司，国家电网公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。