一种基于混合存储架构的数据查询方法和装置制造方法及图纸

本发明专利技术公开了一种基于混合存储架构的数据查询方法和装置。所述方法包括：初始化混合存储架构，并为混合储存架构提供统一的SQL引擎；获取根据预设统一标准的SQL数据查询语句编写的SQL数据查询请求；根据提供的统一的SQL引擎，解析获取的SQL数据查询请求；根据解析结果，对不同的数据库执行相应的数据操作，并获取相应的数据操作结果；将获取到的多个数据操作结果进行合并，形成总的查询结果。本发明专利技术提供的方法，支持关系数据库和时序数据库混合存储的统一标准SQL数据查询，实现了混合储存架构的统一标准访问，有效提高了混合储存架构的数据查询效率，大大减少数据查询成本，有效支撑大数据分析等各类业务应用。

Data query method and device based on hybrid storage architecture

The invention discloses a data inquiry method and a device based on a hybrid storage architecture. The method comprises the following steps: initialization of hybrid storage architecture, and provide a unified SQL engine for hybrid storage architecture based on SQL data acquisition; statements written query SQL data query according to the preset standard; provide a unified SQL engine, analysis of SQL data access request; according to the results of analysis, the implementation of the corresponding operation data different databases, and obtain the corresponding results of data operation; a plurality of data operation results will get together to form the total query results. The method provided by the invention, the standard of SQL data support the relational database and the sequential database mixed storage query, realize the unified hybrid storage architecture access, effectively improve the efficiency of the hybrid storage architecture of the data query, greatly reduce the cost of data query, data analysis and other effective support for all kinds of business applications.

【技术实现步骤摘要】
一种基于混合存储架构的数据查询方法和装置
本专利技术涉及数据查询
，特别涉及一种基于混合存储架构的数据查询方法和装置。
技术介绍
电力系统正在建设企业级数据中心，支撑各类专题数据分析、即席查询、管理报表业务、辅助决策分析，同时支撑各级别单位个性化报表、定制主题应用。数据中心接入各类源系统，覆盖：结构化管理数据、准实时时序数据、GIS地理信息数据、图形数据、视频数据等。从数据特性来看，包括结构化数据、非结构化数据及部分结构化数据。这些数据大小、产生频率、时效性、关联性等存在极大差异。基于数据特性差异性，数据中心制定混合存储策略。目前的存储策略：结构化管理类数据，如设备台账、组织人员、用户档案等存储在传统关系数据库中；各类自动化系统产生的实时数据，变化频率快，数据规模大、存储空间消耗大、数据快速存取要求高，此类实时数据需存储在时序数据库中。现有的混合存储方式，在数据存储和数据访问两方面都存在接口不统一的问题：关系库操作和时序库操作分离，时序库需要定值开发应用程序编程接口(ApplicationProgrammingInterface，简称“API”)，不能使用统一结构化查询操作语句。另外一个问题，数据消费方需要定制开发，合并查询关系库的结果集以及查询时序库的结果集。接口不统一，不支持结果集合并等，导致和数据中心有接口关系的数据源系统或业务系统需做重复定制开发。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种基于混合存储架构的数据查询方法和装置。所述技术方案如下：一方面，本专利技术实施例提供了一种基于混合存储架构的数据查询方法，所述方法包括：初始化混合存储架构，并为混合储存架构提供统一的结构化查询语言(StructuredQuevyLanguage，简称“SQL”)引擎，所述混合存储架构包括：用于储存结构化数据的关系数据库和用于储存实时数据的时序数据库；获取根据预设统一标准的SQL数据查询语句编写的SQL数据查询请求，所述SQL数据查询请求包括：所要查询的数据库类型及其相应的数据操作；根据提供的统一的SQL引擎，解析获取的SQL数据查询请求；根据解析结果，对不同的数据库执行相应的数据操作，并获取相应的数据操作结果；将获取到的多个数据操作结果进行合并，形成总的查询结果。在本专利技术实施例上述的基于混合存储架构的数据查询方法中，所述初始化混合存储架构，并为混合储存架构提供统一的SQL引擎，包括：为关系数据库提供统一的java数据库连接(JavaDataBaseConnectivity，简称“JDBC”)访问接口，并为时序数据库提供统一的SQL访问接口。在本专利技术实施例上述的基于混合存储架构的数据查询方法中，所述根据提供的统一的SQL引擎，解析获取的SQL数据查询请求，包括：根据提供的统一的SQL引擎，识别SQL数据查询请求语句中的分隔符、数据库类型、以及相应的操作关键字。在本专利技术实施例上述的基于混合存储架构的数据查询方法中，所述根据解析结果，对不同的数据库执行相应的数据操作，包括：根据解析结果，优先对关系数据库执行相应的数据操作，并根据关系数据库的数据操作结果，优化对时序数据库的数据操作。在本专利技术实施例上述的基于混合存储架构的数据查询方法中，所述将获取到的多个数据操作结果进行合并，形成总的查询结果，包括：将获取的多个数据操作结果进行全连接运算，形成总的查询结果。另一方面，本专利技术实施例提供了一种基于混合存储架构的数据查询装置，所述装置包括：初始化模块，用于初始化混合存储架构，并为混合储存架构提供统一的SQL引擎，所述混合存储架构包括：用于储存结构化数据的关系数据库和用于储存实时数据的时序数据库；获取模块，用于获取根据预设统一标准的SQL数据查询语句编写的SQL数据查询请求，所述SQL数据查询请求包括：所要查询的数据库类型及其相应的数据操作；解析模块，用于根据提供的统一的SQL引擎，解析获取的SQL数据查询请求；处理模块，用于根据解析结果，对不同的数据库执行相应的数据操作，并获取相应的数据操作结果；所述处理模块，还用于将获取到的多个数据操作结果进行合并，形成总的查询结果。在本专利技术实施例上述的基于混合存储架构的数据查询装置中，所述初始化模块，还用于为关系数据库提供统一的JDBC访问接口，并为时序数据库提供统一的SQL访问接口。在本专利技术实施例上述的基于混合存储架构的数据查询装置中，所述解析模块，还用于根据提供的统一的SQL引擎，识别SQL数据查询请求语句中的分隔符、数据库类型、以及相应的操作关键字。在本专利技术实施例上述的基于混合存储架构的数据查询装置中，所述处理模块，还用于根据解析结果，优先对关系数据库执行相应的数据操作，并根据关系数据库的数据操作结果，优化对时序数据库的数据操作。在本专利技术实施例上述的基于混合存储架构的数据查询装置中，所述处理模块，还用于将获取的多个数据操作结果进行全连接运算，形成总的查询结果。本专利技术实施例提供的技术方案带来的有益效果是：通过初始化混合存储架构，并为混合储存架构提供统一的SQL引擎；然后，获取根据预设统一标准的SQL数据查询语句编写的SQL数据查询请求；然后，根据提供的统一的SQL引擎，解析获取的SQL数据查询请求；其次，根据解析结果，对不同的数据库执行相应的数据操作，并获取相应的数据操作结果；最后，将获取到的多个数据操作结果进行合并，形成总的查询结果。这样该基于混合存储架构的数据查询方法，屏蔽底层数据库机制细节，支持关系数据库和时序数据库混合存储的统一标准SQL数据查询，避免了现有技术中，分开访问关系数据库和时序数据库的操作方式，实现了混合储存架构的统一标准访问，有效提高了混合储存架构的数据查询效率，简单易用，大大减少了数据查询的成本，有效支撑大数据分析等各类业务应用。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一提供的一种基于混合存储架构的数据查询方法流程图；图2是本专利技术实施例二提供的一种基于混合存储架构的数据查询装置结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。实施例一本专利技术实施例提供了一种基于混合存储架构的数据查询方法，参见图1，该方法可以包括：步骤S11，初始化混合存储架构，并为混合储存架构提供统一的SQL引擎，该混合存储架构可以包括：用于储存结构化数据的关系数据库和用于储存实时数据的时序数据库。在本实施例中，电力行业产生的数据中，除了传统的结构化数据外，还有很多实时的监控数据需要储存，因此，采用混合储存架构来储存上述数据是十分必要的。具体地，可以采用关系数据库来储存结构化数据，采用时序数据库来储存实时数据。可选地，为了方便这些数据库的访问，上述步骤S11可以通过如下方式实现：为关系数据库提供统一的JDBC访问接口，并为时序数据库提供统一的SQL访问接口。在本实施例中，JDBC是一种用于执行SQL语句的JavaAPI，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类本文档来自技高网...

【技术保护点】
一种基于混合存储架构的数据查询方法，其特征在于，所述方法包括：初始化混合存储架构，并为混合储存架构提供统一的SQL引擎，所述混合存储架构包括：用于储存结构化数据的关系数据库和用于储存实时数据的时序数据库；获取根据预设统一标准的SQL数据查询语句编写的SQL数据查询请求，所述SQL数据查询请求包括：所要查询的数据库类型及其相应的数据操作；根据提供的统一的SQL引擎，解析获取的SQL数据查询请求；根据解析结果，对不同的数据库执行相应的数据操作，并获取相应的数据操作结果；将获取到的多个数据操作结果进行合并，形成总的查询结果。

【技术特征摘要】
1.一种基于混合存储架构的数据查询方法，其特征在于，所述方法包括：初始化混合存储架构，并为混合储存架构提供统一的SQL引擎，所述混合存储架构包括：用于储存结构化数据的关系数据库和用于储存实时数据的时序数据库；获取根据预设统一标准的SQL数据查询语句编写的SQL数据查询请求，所述SQL数据查询请求包括：所要查询的数据库类型及其相应的数据操作；根据提供的统一的SQL引擎，解析获取的SQL数据查询请求；根据解析结果，对不同的数据库执行相应的数据操作，并获取相应的数据操作结果；将获取到的多个数据操作结果进行合并，形成总的查询结果。2.根据权利要求1所述的方法，其特征在于，所述初始化混合存储架构，并为混合储存架构提供统一的SQL引擎，包括：为关系数据库提供统一的JDBC访问接口，并为时序数据库提供统一的SQL访问接口。3.根据权利要求1所述的方法，其特征在于，所述根据提供的统一的SQL引擎，解析获取的SQL数据查询请求，包括：根据提供的统一的SQL引擎，识别SQL数据查询请求语句中的分隔符、数据库类型、以及相应的操作关键字。4.根据权利要求1所述的方法，其特征在于，所述根据解析结果，对不同的数据库执行相应的数据操作，包括：根据解析结果，优先对关系数据库执行相应的数据操作，并根据关系数据库的数据操作结果，优化对时序数据库的数据操作。5.根据权利要求1所述的方法，其特征在于，所述将获取到的多个数据操作结果进行合并，形成总的查询结果，包括：将获取的多...

【专利技术属性】
技术研发人员：高正浩，黄良，曹洪，赵立进，邓琨，林圳杰，符飞虎，刘为亮，
申请(专利权)人：贵州电网有限责任公司电力科学研究院，
类型：发明
国别省市：贵州,52