一种基于高频数据处理进行数据并行查询加速的方法和设备技术

本发明专利技术公开了一种基于高频数据处理进行数据并行查询加速的方法和设备，所述方法包括：第一主节点接收用户发送的数据查询请求，查询请求中携带查询条件；所述第一主节点根据所述数据查询请求生成执行计划，并根据所述执行计划查询各所述第一类数据节点；若各所述第一类数据节点中存在与所述查询条件匹配的匹配数据块，所述第一主节点将结果数据返回所述用户，所述结果数据是根据各所述匹配数据块的合并结果确定的；其中，所述高频数据为访问频率大于所述第一主节点中的预设频率阈值的数据，从而提升了大数据并行处理能力和查询的效率。

【技术实现步骤摘要】
一种基于高频数据处理进行数据并行查询加速的方法和设备
本申请涉及大数据处理
，更具体地，涉及一种基于高频数据处理进行数据并行查询加速的方法和设备。
技术介绍
大规模静态数据是指数据达到一定量的数据集合，能够为精准决策提供支撑，是互联网、终端智能设备等兴起和普及的产物，数据量级别也有不同划分，如TB级、PB级或ZB级。在大数据时代，其数据量级仍在快速增加。为满足这种大规模数据存储和处理需求，目前行业中广泛采用分布式系统，将数据分散存储在多台独立的数据节点(服务器设备)上。同时在此基础上，引入了全内存计算技术，实现了内存既能处理数据，也能存储数据，并基于内存计算技术将最初分布式系统采用的物理介质由磁盘替换成内存，推出了面向大规模规模的分布式全内存数据库管理系统。如图5所示，现有技术中分布式全内存数据库管理系统具备非常灵活的扩展性和高效的数据处理能力，通过灵活扩展及多台服务器设备共同分担存储和计算负荷，满足大规模数据存储的要求，保障系统具备更好的可靠性、可用性和可扩展性；凭借内存计算，该系统提供了最快的数据存取效率。分布式全内存本文档来自技高网...

【技术保护点】
1.一种基于高频数据处理进行数据并行查询加速的方法，其特征在于，所述方法应用于包括存储高频数据的第一存储集群和存储大规模静态数据的第二存储集群的分布式系统中，所述第一存储集群包括第一主节点和多个第一类数据节点，所述第二存储集群包括第二主节点和多个第二类数据节点，所述方法包括：/n所述第一主节点接收用户发送的数据查询请求，所述查询请求中携带查询条件；/n所述第一主节点根据所述数据查询请求生成执行计划，并根据所述执行计划查询各所述第一类数据节点；/n若各所述第一类数据节点中存在与所述查询条件匹配的匹配数据块，所述第一主节点将结果数据返回所述用户，所述结果数据是根据各所述匹配数据块的合并结果确定的；...

【技术特征摘要】
1.一种基于高频数据处理进行数据并行查询加速的方法，其特征在于，所述方法应用于包括存储高频数据的第一存储集群和存储大规模静态数据的第二存储集群的分布式系统中，所述第一存储集群包括第一主节点和多个第一类数据节点，所述第二存储集群包括第二主节点和多个第二类数据节点，所述方法包括：
所述第一主节点接收用户发送的数据查询请求，所述查询请求中携带查询条件；
所述第一主节点根据所述数据查询请求生成执行计划，并根据所述执行计划查询各所述第一类数据节点；
若各所述第一类数据节点中存在与所述查询条件匹配的匹配数据块，所述第一主节点将结果数据返回所述用户，所述结果数据是根据各所述匹配数据块的合并结果确定的；
其中，所述高频数据为访问频率大于所述第一主节点中的预设频率阈值的数据。


2.如权利要求1所述的方法，其特征在于，所述方法还包括：
若各所述第一类数据节点中不存在所述匹配数据块，所述第一主节点将所述执行计划推送给所述第二主节点，以使所述第二主节点根据所述执行计划判断各所述第二类数据节点中是否存在所述匹配数据块；
若各所述第二类数据节点中存在所述匹配数据块，所述第一主节点接收从所述第二主节点发送的所述结果数据，并将所述结果数据返回所述用户。


3.如权利要求1所述的方法，其特征在于，在所述第一主节点接收用户发送的数据查询请求之前，还包括：
所述第一主节点根据所述系统中所有数据的访问频率的统计结果和所述第一存储集群的数据存储空间确定最优频率阈值；
若所述数据存储空间不为空，所述第一主节点删除所述第一存储集群中访问频率小于所述最优频率阈值的数据，并从所述第二存储集群中获取待存储高频数据，将所述待存储高频数据按负载均衡进行分组后均匀存储到各所述第一类数据节点上，所述待存储高频数据是根据所述第二主节点对所述第二存储集群中访问频率大于所述最优频率阈值且不存在于所述第一存储集群的数据块的合并结果确定的；
若所述数据存储空间为空，所述第一主节点从所述第二存储集群中获取所述待存储高频数据，并将所述待存储高频数据按负载均衡进行分组后均匀存储到各所述第一类数据节点上；
其中，所述第二存储集群中访问频率大于所述最优频率阈值的数据块的数据量匹配所述数据存储空间的预设分配比例。


4.如权利要求3所述的方法，其特征在于，所述第一主节点根据所述系统中所有数据的访问频率的统计结果和所述第一存储集群中数据存储空间确定最优频率阈值，具体为：
所述第一主节点根据所述统计结果确定所述数据量；
若所述数据量高于所述预设分配比例对应的存储空间，所述第一主节点增大所述预设频率阈值直至所述数据量匹配所述预设分配比例，并根据增大后的预设频率阈值确定所述最优频率阈值；
若所述数据量低于所述预设分配比例对应的存储空间，所述第一主节点减小所述预设频率阈值直至所述数据量匹配所述预设分配比例，根据减小后的预设频率阈值确定所述最优频率阈值；
若所述数据量等于所述预设分配比例对应的存储空间，所述第一主节点将所述预设频率阈值确定为所述最优频率阈值。


5.如权利要求2所述的方法，其特征在于，所述方法还包括：
若各所述第二类数据节点中不存在所述匹配数据块，所述第一主节点接收从所述第二主节...

【专利技术属性】
技术研发人员：刘睿民，
申请(专利权)人：威讯柏睿数据科技北京有限公司，
类型：发明
国别省市：北京;11