基于大数据架构的索引聚合的并行处理系统技术方案

本发明专利技术提供一种基于大数据架构的索引聚合的并行处理系统。所述系统包括：服务界面，用于向并行SQL服务装置提交并行SQL，并通过元数据服务装置进一步进行校验；并行SQL服务装置，用于提供总体查询服务、索引查询服务和聚合查询服务；元数据服务装置，包括元数据库，数据库系统和权限系统，负责SQL校验、表及数据源的抽取，并负责决定将其跳转至数据库服务装置或索引服务装置及并行SQL的重封装。本发明专利技术能够降低传统大数据SQL技术查询的额外开销，且能够对传统SQL语法不能支持多类聚合需求的问题进行扩展。

【技术实现步骤摘要】
基于大数据架构的索引聚合的并行处理系统
本专利技术涉及大数据
，尤其涉及一种基于大数据架构的索引聚合的并行处理系统。
技术介绍
随着近年来网络数据的飞速增长的到来，大数据时代的到来，传统的数据库技术无法满足越来越多的大数据业务系统，而新一代的大数据数据库技术往往无法与索引系统紧密结合，在大量报表计算、聚合统计分析等业务需求上无法有效兼容，其主要原因包含以下两点：1、现有的常用大数据SQL(StructuredQueryLanguage，结构化查询语言)语法(如HiveSQL、Spark-SQL)，在大数据量下往往不能有效的利用索引；2、标准的数据库SQL语法对大量聚合需求的支持较为局限。举例说明：当需要同时处理如下需求的SQL时：SELECT...FROMAWHERE${filter1}GROUPBY${grouping1}SELECT...FROMAWHERE${filter2}GROUPBY${grouping2}...SELECT...FROMAWHERE${filterN}GROUPBY${groupingN}传统的大数据技术、索引技术及其相关优化方法无法做到仅1次查询本文档来自技高网...

【技术保护点】
1.一种基于大数据架构的索引聚合的并行处理系统，其特征在于，包括：服务界面，用于向并行SQL服务装置提交并行SQL，并通过元数据服务装置进一步进行校验；并行SQL服务装置，用于提供总体查询服务、索引查询服务和聚合查询服务；元数据服务装置，包括元数据库，数据库系统和权限系统，负责SQL校验、表及数据源的抽取，并负责决定将其跳转至数据库服务装置或索引服务装置及并行SQL的重封装。

【技术特征摘要】
1.一种基于大数据架构的索引聚合的并行处理系统，其特征在于，包括：服务界面，用于向并行SQL服务装置提交并行SQL，并通过元数据服务装置进一步进行校验；并行SQL服务装置，用于提供总体查询服务、索引查询服务和聚合查询服务；元数据服务装置，包括元数据库，数据库系统和权限系统，负责SQL校验、表及数据源的抽取，并负责决定将其跳转至数据库服务装置或索引服务装置及并行SQL的重封装。2.根据权利要求1所述的系统，其特征在于，所述元数据服务装置通过常用的Spark-SQL组件对查询进行统一整合，决定如何将并行SQL描述修饰为可直接处理的SQL语句或非SQL的并行查询计划。3.根据权利要求1所述的系统，其特征在于，所述并行SQL服务装置兼...

【专利技术属性】
技术研发人员：李秋实，谢莹莹，郭庆，宋怀明，蒋丹东，
申请(专利权)人：中科曙光国际信息产业有限公司，
类型：发明
国别省市：山东,37