基于Spark平台建立数据索引方法及数据查询方法技术

本发明专利技术提供一种基于Spark平台建立数据索引方法，包括，为数据表创建内存索引，该内存索引对应的索引表包括两个字段，两个字段分别表示索引字段，以及该索引字段对应的数据文件清单；扫描数据表下的所有数据文件，针对索引字段的每个值搜寻索引字段值出现在哪些数据文件中，将所有的<索引字段值，数据文件清单>键值对写入索引表中。本发明专利技术在生成内存索引数据时不再索引到文件的偏移量，仅仅索引到文件，索引表数据大大缩小，无需再分配额外的job去分布式并行处理，极大的提升查询性能。

Data index method and data query method based on spark platform

【技术实现步骤摘要】
基于Spark平台建立数据索引方法及数据查询方法
本专利技术涉及一种在数据处理系统上建立索引的方法，尤其涉及一种基于Spark平台建立数据索引方法以及数据查询方法。
技术介绍
随着近20多年来计算技术的不断革新，企业积累了大量数据。数字传感器的进步使得通信系统越来越广泛的使用，尤其是移动平台和移动终端的飞速增长；系统运行产生的大量日志以及越来越多的企业采用无纸化办公的工作方式，这些情况都使得企业积攒了海量数据资源，数据规模已经增长到了传统软件无法承载的地步，并且随着人们对现代科技越来越多的依赖，数据将会以更快的速度增长下去。在分析海量数据的场景下，单台服务器的处理能力已不能满足要求，于是企业就用多台计算机来并行处理这些海量数据，即采用分布式计算架构，典型的代表软件是hadoop、spark等。更准确的说，spark只是一个并行计算框架，而hadoop中包含计算框架MapReduce和分布式文件系统HDFS；Hadoop更广泛地说还包括在其生态系统上的其他系统，如Hbase、Hive等；而Spark生态系统已经发展成为一个包含多个子项目的本文档来自技高网...

【技术保护点】
1.一种基于Spark平台建立数据索引方法，其特征在于：(1)为数据表创建内存索引，该内存索引对应的索引表包括两个字段，两个字段分别表示索引字段，以及该索引字段对应的数据文件清单；(2)扫描数据表下的所有数据文件，针对索引字段的每个值搜寻索引字段值出现在哪些数据文件中，将所有的<索引字段值，数据文件清单>键值对写入索引表中。/n

【技术特征摘要】
1.一种基于Spark平台建立数据索引方法，其特征在于：(1)为数据表创建内存索引，该内存索引对应的索引表包括两个字段，两个字段分别表示索引字段，以及该索引字段对应的数据文件清单；(2)扫描数据表下的所有数据文件，针对索引字段的每个值搜寻索引字段值出现在哪些数据文件中，将所有的<索引字段值，数据文件清单>键值对写入索引表中。


2.如权利要求1所述的基于Spark平台建立数据索引方法，其特征在于：所述步骤(2)中，按照索引字段值的升序或降序将键值对写入索引表中。


3.一种基于Spark平台建立数据索引方法，其特征在于：(1)创建数据表时，设定两个表属性，分别为create.store.index、row.index.rows，分别表示是否创建存储索引、行索引行数；(2)向数据表中导入数据时，先判断是否需要创建存储索引，即，表属性create.store.index是否开启，若开启，则统计需要导入的数据的总行数，按照表属性row.index.rows设置的行索引行数对数据行进行分组；针对每个行组分别计算行组数据的起始地址以及各个列的最大值、最小值、平均值、行个数；将计算得到的每个行组的统计信息写在文件头部，一个行组对应一行统计信息，作为行索引；(3)统计整个文件的数据起始地址以及各个列的最大值、最小值、平均值、行个数，然后将这些统计信息写入文件末尾，单独作为一行，作为文件索引。


4.一种基于Spark平台的数据查询方法，其特征在于：判断数据表是否包含内存索引，如果不包含内存索引，则针对所有数据文件生成计算job；如果包含内存索引并且查询语句要对索引字段值进行筛选，则读取索引表，根据索引字段值从索引表中获取到数据文件清单，为数据文件清单的每个数据文件生成只扫描该数据文件的计算job。


5.如权利要求4所述的基于Spark平台的数据查询方法，其特征在于：索引表中的索引字段值以及数据文件清单是按照索引字段值的升序或降序存储的，使用二分法在...

【专利技术属性】
技术研发人员：陈海涛，邢彩燕，
申请(专利权)人：南京聚力云成电子科技有限公司，
类型：发明
国别省市：江苏;32