一种基于Geode的大数据查询服务方法及系统技术方案

本发明专利技术公开一种基于Geode的大数据查询服务方法及系统，其中，该方法包括：将不同数据源的数据需要缓存对象放入缓存池中，按照优先级进行TopN，再根据热度排序将需要缓存对象依次放入缓存队列中；从缓存队列中取出需要缓存对象进行缓存，并将需要缓存对象的数据从不同数据源抽取到中间层Geode中进行缓存；通过指定需要持久化，实现需要缓存对象的数据持久化；根据缓存队列，每天提前预计算出前一天的离线数据缓存到中间层Geode中，并采用先清理再插入的方式对需要缓存对象的数据进行更新；为用户提供统一对外查询服务接口对需要缓存对象的数据进行查询。该方法及系统解决了项目中多个数据源缓存数据问题及查询方式统一化问题。个数据源缓存数据问题及查询方式统一化问题。个数据源缓存数据问题及查询方式统一化问题。

【技术实现步骤摘要】
一种基于Geode的大数据查询服务方法及系统


[0001]本专利技术属于电信及互联网领域，涉及到缓存架构对外提供服务的方法及系统，尤其是一种基于Geode的大数据查询服务方法及系统。

技术介绍

[0002]随着互联网技术和电信通信业务的高速发展以及公司业务的扩大，对海量数据的查询往往耗费较长的时间，特别是针对一些复杂的热点查询，在高并发下往往对计算层和存储层都具有较高的压力，在实际应用中往往更会出现查询延迟的情况。当前复杂的项目中数据存储可能会涉及RDBMS(关系数据库管理系统)、NoSQL(泛指非关系型的数据库)和HDFS(分布式文件系统)等，其存储的介质较多，不同的查询会路由到不同的数据源，当下业界可能会对各个数据存储层本身做缓存，如Druid(一个开源的分布式数据存储)针对实时热点数据做Segment(片段)缓存、ES(全称elasticsearch，分布式搜索和分析引擎)对结果的filter cache(缓存过滤)以及mysql(数据库)对sql文本和结果缓存，用KV(Key
‑
Value，即键值对)形式保存在服务器缓本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Geode的大数据查询服务方法，其特征在于，该方法包括：将不同数据源的数据需要缓存对象放入缓存池中，按照优先级进行TopN排序，再根据热度排序将需要缓存对象依次放入缓存队列中；从缓存队列中取出需要缓存对象进行缓存，并将需要缓存对象的数据从不同数据源抽取到中间层Geode中进行缓存；通过指定需要持久化，实现需要缓存对象的数据持久化；根据缓存队列，每天提前预计算出前一天的离线数据缓存到中间层Geode中，并采用先清理再插入的方式对需要缓存对象的数据进行更新；为用户提供统一对外查询服务接口对需要缓存对象的数据进行查询；将不同数据源的数据缓存到中间层Geode中进行关联分析，并为用户提供统一对外查询服务接口进行关联查询。2.根据权利要求1所述的基于Geode的大数据查询服务方法，其特征在于，将查询高频且耗时长的维度和指标锁定为缓存对象，同时支持手工指定或配置进行特定对象的缓存。3.根据权利要求1所述的基于Geode的大数据查询服务方法，其特征在于，根据热点排序，将在缓存队列长度以外的需要缓存对象视为无效缓存，从缓存队列中删除。4.根据权利要求1所述的基于Geode的大数据查询服务方法，其特征在于，用户发起请求后，若命中需要缓存对象，则通过统一对外查询服务接口进行查询，并从中间层Geode获取需要缓存对象的数据；若未命中需要缓存对象，则进行常规OLAP查询。5.一种基于Geode的大数据查询服务系统，其特征在于，该系统包括：智能缓存模块，用于将不同数据源的数据需要缓存对象放入缓存池中，按照优先级进行TopN排序，再根据热度排序将需要缓存对象依次放入缓存队列中；缓存创建和初始化模块，用于从缓存队列中取...

【专利技术属性】
技术研发人员：闫一帅，毛春阳，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：