百亿级缓存系统在大数据集群中的应用方法技术方案

本发明专利技术公开了百亿级缓存系统在大数据集群中的应用方法，具体步骤如下：步骤一、搭建高可用的Hbase集群和Redis集群作为数据存储集群，搭建Spark集群作为数据计算集群；步骤二、将Spark集群中的大数据计算结果数据存入Hbase集群时；步骤三、将存入Hbase集群的数据转化为JSON格式存入Redis集群；步骤四、用户请求业务系统，业务系统按第一模式读取Redis集群；如果Redis集群能读取数据，则返回数据，并进行下一个业务处理；如果Redis集群不能读取数据，则读取Hbase集群，返回数据，然后进行下一个业务处理；步骤五、实现优先读取Redis集群，读取失败再读取Hbase集群的策略。读取失败再读取Hbase集群的策略。读取失败再读取Hbase集群的策略。

【技术实现步骤摘要】
百亿级缓存系统在大数据集群中的应用方法


[0001]本专利技术涉及互联网数据缓存系统，具体涉及百亿级缓存系统在大数据集群中的应用方法。

技术介绍

[0002]中国是大数据发展最为快速的国家、由于人口基数大，随之而来的就是有价值的互联网应用需要面对海量的用户请求和人性化的用户体验，国内大数据行业发展的如火如荼，作为互联网时代新型的产业，大数据行业其实是互联网和计算机结合的产物，互联网实现了数据的网络化，计算机实现了数据的数字化，两者结合赋予了大数据生命力。现有的大数据系统hadoop是一个由各种计算组件和存储组件组成的大杂烩，它充分的考虑了大数据的方方面面，但是没有考虑到业务系统尤其是高并发高可用项目与大数据协同访问的问题。

技术实现思路

[0003]针对上述问题，本专利技术提供百亿级缓存系统在大数据集群中的应用方法，通过优异可靠的Redis集群作为连接业务系统和大数据系统的中转站和桥梁保障服务的高可用和高并发。
[0004]名词解释：
[0005]1、Redis：高性能、易于扩容的键值对缓存数据库。
[0006]2、Hbase:是一个开源的非关系型分布式数据库，是一个高可靠、高性能、面向列、可伸缩的分布式数据库。
[0007]3、Spark：是一个围绕速度、易用性和复杂分析构建的大数据处理框架。
[0008]5、熔断机制:熔断机制是应对雪崩效应的一种微服务链路保护机制。
[0009]6、高可用的：指的是通过尽量缩短因日常维护操作(计划)和突发的系统崩溃(非计划)所导致的停机时间，以提高系统和应用的可用性。
[0010]为实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：百亿级缓存系统在大数据集群中的应用方法，具体步骤如下：
[0011]步骤一、搭建高可用的Hbase集群和Redis集群作为数据存储集群，搭建Spark集群作为数据计算集群；Redis集群必须要足够的稳定性，具备故障快速恢复的能力。
[0012]步骤二、将Spark集群中的大数据计算结果数据存入Hbase集群时；
[0013]步骤三、将存入Hbase集群的数据转化为JSON格式存入Redis集群；
[0014]步骤四、用户请求业务系统，业务系统按第一模式读取Redis集群；如果Redis集群能读取数据，则返回数据，并进行下一个业务处理；如果Redis集群不能读取数据，则读取Hbase集群，返回数据，然后进行下一个业务处理；
[0015]步骤五、如果第一阈值时间段内Redis集群读取失败次数超过第二阈值，那么切换到第二模式只读取Hbase集群；在第二模式运行第三阈值时间后，每隔第四阈值周期尝试读
取Redis集群，若在尝试读取Redis集群期间在第五阈值时间内成功次数超过第六阈值，那么切换到第一模式读取Redis集群，实现优先读取Redis集群，读取失败再读取Hbase集群的策略。需要同时考虑高并发和高可用，以及大数据算力富余。
[0016]进一步的，所述Redis集群负责承担正常业务访问流量的90％以上，在正常状态下Hbase集群只做备用库查询使用。
[0017]进一步的，Redis集群数据和Hbase集群数据之间要实时同步。保证数据完整不丢失。
[0018]进一步的，监控熔断机制使用单独的进程进行监控。要独立于业务系统、大数据计算和大数据存储系统存在。
[0019]与现有技术相比较，本专利技术的有益效果是：
[0020]其一：通过优异可靠的Redis集群作为连接业务系统和大数据系统的中转站和桥梁保障服务的高可用和高并发，业务系统能够更加快速的响应数据。
[0021]其二：Hbase+Redis的双重数据机制，保证数据不会丢失。
[0022]其三：通过系统模块化设计提升复杂系统并行开发效率以及排错效率。
[0023]其四：监控熔断机制保证中间件的故障容错性，在整个系统层面实现高可用和高并发。
附图说明
[0024]图1是本专利技术百亿级缓存系统在大数据集群中的应用方法的架构图。
具体实施方式
[0025]下面结合附图和具体的实施例对本专利技术技术方案做进一步的详细描述，以使本领域的技术人员可以更好的理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。
[0026]如图1所示，百亿级缓存系统在大数据集群中的应用方法，具体步骤如下：
[0027]步骤一、搭建高可用的Hbase集群和Redis集群作为数据存储集群，搭建Spark集群作为数据计算集群；Redis集群必须要足够的稳定性，具备故障快速恢复的能力。
[0028]步骤二、将Spark集群中的大数据计算结果数据存入Hbase集群时；
[0029]步骤三、将存入Hbase集群的数据转化为JSON格式存入Redis集群；
[0030]步骤四、用户请求业务系统，业务系统按第一模式读取Redis集群；如果Redis集群能读取数据，则返回数据，并进行下一个业务处理；如果Redis集群不能读取数据，则读取Hbase集群，返回数据，然后进行下一个业务处理；
[0031]步骤五、如果十秒内Redis集群读取失败次数超过两次，那么切换到第二模式只读取Hbase集群；在第二模式运行十分钟后，每隔十秒钟尝试读取Redis集群一次，若在尝试读取Redis集群期间在五分钟内成功次数超过第六阈值(如三笔)，那么切换到第一模式读取Redis集群，实现优先读取Redis集群，读取失败再读取Hbase集群的策略。需要同时考虑高并发和高可用，以及大数据算力富余。
[0032]熔断机制的监控进程会不断扫描业务系统和Redis集群中间件，以及Hbase集群中间件，实现策略实施：
[0033]1、如果一定时间段内Redis集群读取失败次数超过阈值，那么切换到第二模式，只读取Hbase集群。
[0034]2、在第二模式运行一段时间后，每隔一定周期尝试读取Redis集群，一段时间成功次数超过阈值，那么切换到第一模式，采取优先读取Redis集群，读取失败再读取Hbase集群的策略。
[0035]3、故障无法恢复时，可以清除Redis集群中的相关数据，然后使用第二模式只读取Hbase集群。每天定时会执行步骤二、步骤三，更新最新数据到Hbase集群和Redis集群，保证数据一致。另外，在实际生产中，监控是必不可少的一个重要环节，在本专利技术中，监控可以有三个维度：Sprak集群内存使用情况监控、Redis内存大小监控、Hbase数据持久化后情况监控。
[0036]该百亿级缓存系统在大数据集群中的应用方法通过优异可靠的Redis集群作为连接业务系统和大数据系统的中转站和桥梁保障服务的高可用和高并发，业务系统能够更加快速的响应数据。Hbase+Redis的双重数据机制，保证数据不会丢失。通过系统模块化设计提升复杂系统并行开发效率以及排错效率。监控熔断机制保证中间件的故障容错性，在整个系统层面实现高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.百亿级缓存系统在大数据集群中的应用方法，其特征在于：具体步骤如下：步骤一、搭建高可用的Hbase集群和Redis集群作为数据存储集群，搭建Spark集群作为数据计算集群；步骤二、将Spark集群中的大数据计算结果数据存入Hbase集群；步骤三、将存入Hbase集群的数据转化为JSON格式存入Redis集群；步骤四、用户请求业务系统，业务系统按第一模式读取Redis集群；如果Redis集群能读取数据，则返回数据，并进行下一个业务处理；如果Redis集群不能读取数据，则读取Hbase集群，返回数据，然后进行下一个业务处理；步骤五、如果第一阈值时间段内Redis集群读取失败次数超过第二阈值，那么切换到第二模式只读取Hbase集群；在第二模式运行第三...

【专利技术属性】
技术研发人员：谢汶达，涂泽，桂进康，杨森，王龙波，赵音龙，陈丰生，
申请(专利权)人：海纳致远数字科技上海有限公司，
类型：发明
国别省市：