一种基于内存计算的静态数据的查询方法和设备技术

技术编号:26170906 阅读:24 留言:0更新日期:2020-10-31 13:40
本发明专利技术公开了一种基于内存计算的静态数据的查询方法和设备,应用于包括内存数据库的系统中,接收用户发送的静态数据查询请求,根据该静态数据查询请求开启数据查询进程,然后所述数据查询进程从所述内存数据库中确定查询结果,其中,所述内存数据库中存储有基于静态数据接入事件接入的静态数据,所述静态数据接入事件是预设数据量的待接入静态数据触发的,从而在存在大规模静态数据的情况下,能显著的提高静态数据的数据查询效率。

A static data query method and device based on memory computing

【技术实现步骤摘要】
一种基于内存计算的静态数据的查询方法和设备
本申请涉及数据处理
,更具体地,涉及一种基于内存计算的静态数据的查询方法和设备。
技术介绍
静态数据可以理解为一段时间的历史数据,是指在运行过程中主要作为控制或参考使用的静态数据集,这些数据一般不会随运行而变,即在很长一段时间内存不会发生变化,其主要特点是数据量大、有界、持久存储,静态数据一般应用于历史账单查询、消费记录查询、经济增长趋势分析预测、用户画像、精准营销等领域。现有技术中对大规模静态数据进行处理主要分为基于传统数据库的处理方式和基于缓存的处理方式。如图1所示,基于传统数据库的处理方式在处理大规模静态数据时,主要使用硬盘(包括磁盘和固态硬盘)作为物理介质,其处理机制为存储与处理分离,即大规模静态数据存储在磁盘(或固态盘)上,当有用户需要查询时,再将数据批量加载至内存进行处理,一批数据处理结束释放内存空间后再加载下一批数据进行处理,直至所有数据全部处理完毕再向用户反馈查询结果。这种处理方式在处理大规模静态数据时,需要频繁地访问磁盘进行数据的交互读写操作,由于对磁盘本文档来自技高网...

【技术保护点】
1.一种基于内存计算的静态数据的查询方法,其特征在于,所述方法应用于包括内存数据库的系统中,包括:/n接收用户发送的静态数据查询请求,并根据所述静态数据查询请求开启数据查询进程;/n根据所述数据查询进程从所述内存数据库中确定查询结果;/n其中,所述内存数据库中存储有基于静态数据接入事件接入的静态数据,所述静态数据接入事件是预设数据量的待接入静态数据触发的。/n

【技术特征摘要】
1.一种基于内存计算的静态数据的查询方法,其特征在于,所述方法应用于包括内存数据库的系统中,包括:
接收用户发送的静态数据查询请求,并根据所述静态数据查询请求开启数据查询进程;
根据所述数据查询进程从所述内存数据库中确定查询结果;
其中,所述内存数据库中存储有基于静态数据接入事件接入的静态数据,所述静态数据接入事件是预设数据量的待接入静态数据触发的。


2.如权利要求1所述的方法,其特征在于,在接收用户发送的静态数据查询请求之前,还包括:
根据监听到的所述静态数据接入事件确定所述待接入静态数据;
根据所述待接入静态数据的数据类型确定对应的数据连接进程;
根据所述数据连接进程和所述内存数据库的可用存储空间将所述待接入静态数据存储到所述内存数据库中。


3.如权利要求2所述的方法,其特征在于,根据所述数据连接进程和所述内存数据库的可用存储空间将所述待接入静态数据存储到所述内存数据库中,具体为:
基于所述数据连接进程将所述待接入静态数据接入预处理空间,并基于所述预处理空间将所述待接入静态数据转换为预设格式的静态数据;
判断所述可用存储空间是否大于所述预设数据量;
若是,基于所述可用存储空间将所述预设格式的静态数据存储到所述内存数据库中;
若否,基于扩展后的可用存储空间将所述预设格式的静态数据存储到所述内存数据库中,
其中,所述预处理空间的介质为内存,且所述预处理空间不大于所述可用存储空间。


4.如权利要求1所述的方法,其特征在于,所述静态数据查询请求中包括查询条件,根据所述数据查询进程从所述内存数据库中确定查询结果,具体为:
根据所述数据查询进程和所述静态数据查询请求对应的结构化查询语言生成执行计划;
根据所述执行计划判断所述内存数据库中是否存在与所述查询条件对应的结果数据;
若是,向所述用户返回所述结果数据;
若否,向所述用户返回查询失败的通知。


5.如权利要求4所述的方法,其特征在于,在根据所述数据查询进程从所述内存数据库中确定...

【专利技术属性】
技术研发人员:刘睿民
申请(专利权)人:威讯柏睿数据科技北京有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1