一种基于分布式架构的静态数据的查询方法和设备技术

本发明专利技术公开了一种基于分布式架构的静态数据的查询方法和设备，所述方法应用于包括主节点和存储节点的分布式架构中，所述分布式架构设置于内存中，该方法包括：所述主节点根据用户发送的静态数据查询请求生成执行计划，并将所述执行计划推送至所述存储节点，所述主节点根据所述存储节点的数量和所述存储节点返回的与所述执行计划对应的执行结果确定查询结果，并将所述查询结果返回给所述用户，从而使大规模静态数据的处理效率得到显著提升且不存在性能瓶颈等限制，提高了对大规模静态数据的查询速度以及用户体验。

【技术实现步骤摘要】
一种基于分布式架构的静态数据的查询方法和设备
本申请涉及数据处理领域，更具体地，涉及一种基于分布式架构的静态数据的查询方法和设备。
技术介绍
静态数据可以理解为一段时间的历史数据，是指在运行过程中主要作为控制或参考使用的静态数据集，这些数据一般不会随运行而变，即在很长一段时间内存不会发生变化，其主要特点是数据量大、有界、持久存储。静态数据一般应用于历史账单查询、消费记录查询、经济增长趋势分析预测、用户画像、精准营销等领域。现有技术中对静态数据进行处理方式主要分为基于传统数据库的并行处理方式和基于内存计算的单机处理方式。如图1所示为基于传统数据库的并行处理方式的原理示意图，该方式在处理大规模静态数据时，采用的是分布式架构，使用的物理介质为硬盘(包括磁盘和固态硬盘)，处理机制为存储与处理分离，即大规模静态数据存储在分布式集群计算节点的磁盘(或固态盘)上，当有用户需要查询时，再将数据批量加载至内存进行处理，一批数据处理结束释放内存空间后再加载下一批数据进行处理，直至所有数据全部处理完毕，再将各个计算节点获取的数据进行合并，向用本文档来自技高网...

【技术保护点】
1.一种基于分布式架构的静态数据的查询方法，其特征在于，所述方法应用于包括主节点和存储节点的分布式架构中，所述分布式架构设置于内存中，所述方法包括：/n所述主节点根据用户发送的静态数据查询请求生成执行计划，并将所述执行计划推送至所述存储节点；/n所述主节点根据所述存储节点的数量和所述存储节点返回的与所述执行计划对应的执行结果确定查询结果，并将所述查询结果返回所述用户。/n

【技术特征摘要】
1.一种基于分布式架构的静态数据的查询方法，其特征在于，所述方法应用于包括主节点和存储节点的分布式架构中，所述分布式架构设置于内存中，所述方法包括：
所述主节点根据用户发送的静态数据查询请求生成执行计划，并将所述执行计划推送至所述存储节点；
所述主节点根据所述存储节点的数量和所述存储节点返回的与所述执行计划对应的执行结果确定查询结果，并将所述查询结果返回所述用户。


2.如权利要求1所述的方法，其特征在于，在所述主节点根据用户发送的静态数据查询请求生成执行计划之前，还包括：
所述主节点根据监听到的静态数据接入事件确定待接入静态数据；
所述主节点根据所述待接入静态数据的类型确定数据连接进程；
所述主节点基于所述数据连接进程将所述待接入静态数据批量接入预处理空间，并在所述预处理空间将所述待接入静态数据转换为预设格式的静态数据；
所述主节点根据所述数量将所述预设格式的静态数据存储在所述存储节点上。


3.如权利要求2所述的方法，其特征在于，在所述主节点根据所述数量将所述预设格式的静态数据存储在所述存储节点上之前，还包括：
若所述主节点判断所述总可用存储空间小于所述预设格式的静态数据的数据量；
所述主节点对所述总可用存储空间进行扩展，以使扩展后的总可用存储空间大于所述数据量。


4.如权利要求2所述的方法，其特征在于，所述主节点根据所述数量将所述预设格式的静态数据存储在所述存储节点上，具体为：
若所述数量为一个，所述主节点将所述预设格式的静态数据存储在所述存储节点上；
若所述数量为多个，所述主节点基于负载均衡将所述预设格式的静态数据均匀存储在各所述存储节点上。


5.如权利要求1所述的方法，其特征在于，所述主节点根据所述存储节点的数量和所述存储节点返回的与所述执行计划对应的执行结果确定查询结果，具体为：
若所述数量为一个且所述执行结果为存在与所述静态数据查询请求中的查询条件对应的结果数据，所述主节点根据所述结果数据确定所述查询结果；
若所述数量为多个...

【专利技术属性】
技术研发人员：刘睿民，
申请(专利权)人：威讯柏睿数据科技北京有限公司，
类型：发明
国别省市：北京;11