一种大规模数据并行处理系统技术方案

本发明专利技术公开了一种大规模数据并行处理系统，包括：查询请求终端，所述查询请求终端与SQL主引擎连接，所述SQL主引擎连接有若干SQL从引擎，所述SQL从引擎设置有若干个，且每个所述SQL从引擎分别对专一数据类型的子数据库进行存储和管理，所述大数据库与数据推送模块连接，所述大数据库根目录下建立有若干个用于分别存储专一数据类型的子数据库，所述数据推送模块与大数据采集终端连接，用于对采集到的数据信息进行数据类型识别。本发明专利技术通过SQL从引擎处理单一数据类型的子数据库，并将数据处理结果向上级SQL主引擎进行汇总，并由SQL主引擎将结果整合后发送至查询请求终端进行显示，输出查询结果，对数据处理效率高，能够以多种设备为载体，操作方便。

A large scale parallel data processing system

【技术实现步骤摘要】
一种大规模数据并行处理系统
本专利技术属于大数据处理
，具体涉及一种大规模数据并行处理系统。
技术介绍
数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。随着互联网技术的发展，数据量也在飞速提升，面对海量数据，传统的数据处理模式已经无法满足现有的生产需求。因此，如何从大数据中快速获取人们需要的信息成为大数据处理中的重要任务。
技术实现思路
本专利技术的目的在于提供一种大规模数据并行处理系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种大规模数据并行处理系统，包括：查询请求终端，所述查询请求终端与SQL主引擎连接，所述查询请求终端用于发出大数据处理指令，并将查询请求进行解析后发送至SQL主引擎以及接收SQL主引擎的请求处理结果并进行结果输本文档来自技高网...

【技术保护点】
1.一种大规模数据并行处理系统，其特征在于：包括：/n查询请求终端，所述查询请求终端与SQL主引擎连接，所述查询请求终端用于发出大数据处理指令，并将查询请求进行解析后发送至SQL主引擎以及接收SQL主引擎的请求处理结果并进行结果输出；/nSQL主引擎，所述SQL主引擎连接有若干SQL从引擎，所述SQL主引擎接收查询请求后，将查询请求向负责查询管理专一数据类型子数据库的SQL从引擎进行分发以及接收SQL从引擎的处理结果；/nSQL从引擎，所述SQL从引擎设置有若干个，且每个所述SQL从引擎分别对专一数据类型的子数据库进行存储和管理，在SQL从引擎接收到查询请求时，从子数据库中调取相关处理结果；/...

【技术特征摘要】
1.一种大规模数据并行处理系统，其特征在于：包括：
查询请求终端，所述查询请求终端与SQL主引擎连接，所述查询请求终端用于发出大数据处理指令，并将查询请求进行解析后发送至SQL主引擎以及接收SQL主引擎的请求处理结果并进行结果输出；
SQL主引擎，所述SQL主引擎连接有若干SQL从引擎，所述SQL主引擎接收查询请求后，将查询请求向负责查询管理专一数据类型子数据库的SQL从引擎进行分发以及接收SQL从引擎的处理结果；
SQL从引擎，所述SQL从引擎设置有若干个，且每个所述SQL从引擎分别对专一数据类型的子数据库进行存储和管理，在SQL从引擎接收到查询请求时，从子数据库中调取相关处理结果；
大数据库，所述大数据库与数据推送模块连接，所述大数据库根目录下建立有若干个用于分别存储专一数据类型的子数据库；
数据推送模块，所述数据推送模块与大数据采集终...

【专利技术属性】
技术研发人员：陆冰芳，谢菁，张希翔，韦宗慧，梁仲峰，
申请(专利权)人：广西电网有限责任公司，
类型：发明
国别省市：广西;45