一种数据查询方法及装置制造方法及图纸

本发明专利技术提供了一种数据查询方法及装置，应用于大数据平台中的处理器，大数据平台部署有NoSQL数据库和SQLite数据库，存储有指标数据的SQLite数据文件以对象的形式存储在NoSQL数据库中，数据查询方法包括：在接收到数据查询请求的情况下，对数据查询请求进行解析，确定需要访问的至少一个SQLite数据文件的索引以及查询类型；根据SQLite数据文件的索引，从NoSQL数据库中提取SQLite数据文件；将SQLite数据文件加载到SQLite数据库的SQL引擎的数据缓存区；根据查询类型，利用SQL引擎对SQLite数据文件进行SQL查询，得到目标数据，满足大数据平台的海量数据存储和快速查询需求。

【技术实现步骤摘要】
一种数据查询方法及装置
本专利技术涉及计算机
，更具体的，涉及一种数据查询方法及装置。
技术介绍
随着大数据技术的发展，大数据平台存储的数据量越来越大、应用越来越广泛。在一些数据应用场景中，需要大数据平台既能够存储海量的结构化数据，又能快速返回对数据的查询结果。目前业内一般采用Hadoop或MPP数据库进行计算和存储，在进行数据汇总后，将计算结果分发到关系数据库，由关系数据库支撑数据查询。但是，基于关系型数据库的存储和访问方式，在海量数据写入和查询的场景下，存在性能瓶颈，在极端情况下甚至会引发锁表等故障。
技术实现思路
有鉴于此，本专利技术提供了一种数据查询方法及装置，满足大数据平台的海量数据存储和快速查询需求。为了实现上述专利技术目的，本专利技术提供的具体技术方案如下：一种数据查询方法，应用于大数据平台中的处理器，所述大数据平台部署有NoSQL数据库和SQLite数据库，其中，存储有指标数据的SQLite数据文件以对象的形式存储在所述NoSQL数据库中，所述方法包括：在接收到数据查询请求的情况下，对所述数据查询请求进行解析，确定需要访问的至少一个SQLite数据文件的索引以及查询类型；根据所述至少一个SQLite数据文件的索引，从所述NoSQL数据库中提取所述至少一个SQLite数据文件；将所述至少一个SQLite数据文件加载到所述SQLite数据库的SQL引擎的数据缓存区；根据所述查询类型，利用所述SQL引擎对所述至少一个SQLite数据文件进行SQL查询，得到目标数据。可选的，所述存储有指标数据的SQLite数据文件以对象的形式存储在所述NoSQL数据库中，包括：确定存储有指标数据的SQLite数据文件的指标和统计周期；根据所述SQLite数据文件的指标和统计周期，生成所述SQLite数据文件的索引；根据所述SQLite数据文件的索引，将所述SQLite数据文件以对象的形式存储在所述NoSQL数据库中。可选的，所述存储有指标数据的SQLite数据文件是通过按照预设指标、预设统计周期和预设属性，对待处理原始数据进行处理，得到所述预设指标在所述预设统计周期的结构化数据表，并将所述结构化数据表转换为SQLite数据文件得到的。可选的，所述对所述数据查询请求进行解析，确定需要访问的至少一个SQLite数据文件的索引以及查询类型，包括：对所述数据查询请求进行解析，得到目标指标、目标统计周期和所述查询类型；依据所述目标指标和所述目标统计周期，确定需要访问的至少一个SQLite数据文件的索引。可选的，所述对所述数据查询请求进行解析，得到目标指标、目标统计周期和所述查询类型，包括：接收所述数据查询请求通过调用目标数据访问接口传入的查询参数，所述目标数据访问接口与所述目标指标相对应；对所述查询参数进行解析，得到所述目标指标、所述目标统计周期和所述查询类型。可选的，所述根据所述至少一个SQLite数据文件的索引，从所述NoSQL数据库中提取所述至少一个SQLite数据文件，包括：判断所述SQL引擎的数据缓存区中是否存在所述至少一个SQLite数据文件；若不存在，根据所述至少一个SQLite数据文件的索引，从所述NoSQL数据库中提取所述至少一个数据文件。一种数据查询装置，设置于大数据平台中的处理器，所述大数据平台部署有NoSQL数据库和SQLite数据库，其中，存储有指标数据的SQLite数据文件以对象的形式存储在所述NoSQL数据库中，装置方法包括：查询请求解析单元，用于在接收到数据查询请求的情况下，对所述数据查询请求进行解析，确定需要访问的至少一个SQLite数据文件的索引以及查询类型；数据文件提取单元，用于根据所述至少一个SQLite数据文件的索引，从所述NoSQL数据库中提取所述至少一个SQLite数据文件；数据文件加载单元，用于将所述至少一个SQLite数据文件加载到所述SQLite数据库的SQL引擎的数据缓存区；SQL查询单元，用于根据所述查询类型，利用所述SQL引擎对所述至少一个SQLite数据文件进行SQL查询，得到目标数据。可选的，所述装置还包括数据文件存储单元，所述数据文件存储单元，具体用于：确定存储有指标数据的SQLite数据文件的指标和统计周期；根据所述SQLite数据文件的指标和统计周期，生成所述SQLite数据文件的索引；根据所述SQLite数据文件的索引，将所述SQLite数据文件以对象的形式存储在所述NoSQL数据库中。可选的，所述存储有指标数据的SQLite数据文件是通过按照预设指标、预设统计周期和预设属性，对待处理原始数据进行处理，得到所述预设指标在所述预设统计周期的结构化数据表，并将所述结构化数据表转换为SQLite数据文件得到的。可选的，所述查询请求解析单元，具体用于：对所述数据查询请求进行解析，得到目标指标、目标统计周期和所述查询类型；依据所述目标指标和所述目标统计周期，确定需要访问的至少一个SQLite数据文件的索引。可选的，所述查询请求解析单元，具体用于：接收所述数据查询请求通过调用目标数据访问接口传入的查询参数，所述目标数据访问接口与所述目标指标相对应；对所述查询参数进行解析，得到所述目标指标、所述目标统计周期和所述查询类型；依据所述目标指标和所述目标统计周期，确定需要访问的至少一个SQLite数据文件的索引。可选的，所述数据文件提取单元，具体用于：判断所述SQL引擎的数据缓存区中是否存在所述至少一个SQLite数据文件；若不存在，根据所述至少一个SQLite数据文件的索引，从所述NoSQL数据库中提取所述至少一个数据文件。相对于现有技术，本专利技术的有益效果如下：本专利技术公开的一种数据查询方法，需要访问的存储有指标数据的SQLite数据文件以对象的形式存储在NoSQL数据库中，满足了大数据平台的海量数据的快速存取需求。在接收到数据查询请求的情况下，通过对数据查询请求进行解析，得到需要访问的至少一个SQLite数据文件的索引以及查询类型，在从NoSQL数据库中提取该SQLite数据文件，并加载到SQLite数据库的SQL引擎的数据缓存区，利用SQLite数据库的SQL引擎解决了NoSQL数据库不支持SQL查询的问题，满足了大数据平台快速查询的需求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例公开的一种数据查询方法的流程示意图；图2为本专利技术实施例公开的一种指标数据的存储方法的流程示意图；图3为本发本文档来自技高网...

【技术保护点】
1.一种数据查询方法，其特征在于，应用于大数据平台中的处理器，所述大数据平台部署有NoSQL数据库和SQLite数据库，其中，存储有指标数据的SQLite数据文件以对象的形式存储在所述NoSQL数据库中，所述方法包括：/n在接收到数据查询请求的情况下，对所述数据查询请求进行解析，确定需要访问的至少一个SQLite数据文件的索引以及查询类型；/n根据所述至少一个SQLite数据文件的索引，从所述NoSQL数据库中提取所述至少一个SQLite数据文件；/n将所述至少一个SQLite数据文件加载到所述SQLite数据库的SQL引擎的数据缓存区；/n根据所述查询类型，利用所述SQL引擎对所述至少一个SQLite数据文件进行SQL查询，得到目标数据。/n

【技术特征摘要】
1.一种数据查询方法，其特征在于，应用于大数据平台中的处理器，所述大数据平台部署有NoSQL数据库和SQLite数据库，其中，存储有指标数据的SQLite数据文件以对象的形式存储在所述NoSQL数据库中，所述方法包括：
在接收到数据查询请求的情况下，对所述数据查询请求进行解析，确定需要访问的至少一个SQLite数据文件的索引以及查询类型；
根据所述至少一个SQLite数据文件的索引，从所述NoSQL数据库中提取所述至少一个SQLite数据文件；
将所述至少一个SQLite数据文件加载到所述SQLite数据库的SQL引擎的数据缓存区；
根据所述查询类型，利用所述SQL引擎对所述至少一个SQLite数据文件进行SQL查询，得到目标数据。


2.根据权利要求1所述的方法，其特征在于，所述存储有指标数据的SQLite数据文件以对象的形式存储在所述NoSQL数据库中，包括：
确定存储有指标数据的SQLite数据文件的指标和统计周期；
根据所述SQLite数据文件的指标和统计周期，生成所述SQLite数据文件的索引；
根据所述SQLite数据文件的索引，将所述SQLite数据文件以对象的形式存储在所述NoSQL数据库中。


3.根据权利要求2所述的方法，其特征在于，所述存储有指标数据的SQLite数据文件是通过按照预设指标、预设统计周期和预设属性，对待处理原始数据进行处理，得到所述预设指标在所述预设统计周期的结构化数据表，并将所述结构化数据表转换为SQLite数据文件得到的。


4.根据权利要求2所述的方法，其特征在于，所述对所述数据查询请求进行解析，确定需要访问的至少一个SQLite数据文件的索引以及查询类型，包括：
对所述数据查询请求进行解析，得到目标指标、目标统计周期和所述查询类型；
依据所述目标指标和所述目标统计周期，确定需要访问的至少一个SQLite数据文件的索引。


5.根据权利要求4所述的方法，其特征在于，所述对所述数据查询请求进行解析，得到目标指标、目标统计周期和所述查询类型，包括：
接收所述数据查询请求通过调用目标数据访问接口传入的查询参数，所述目标数据访问接口与所述目标指标相对应；
对所述查询参数进行解析，得到所述目标指标、所述目标统计周期和所述查询类型。


6....

【专利技术属性】
技术研发人员：梅珂夫，刘睿，冯文，薛高飞，蒋顺，
申请(专利权)人：亚信科技中国有限公司，
类型：发明
国别省市：北京;11