一种针对大型数据的高效处理方法技术

本发明专利技术涉及大型数据的缓存和处理的数据库技术领域。本发明专利技术提出的基于Redis BitMap和Redis

【技术实现步骤摘要】
一种针对大型数据的高效处理方法


[0001]本专利技术涉及大型数据的缓存处理
，具体为一种基于Redis BitMap的高效存储、查询、变更操作的分布式集群技术。

技术介绍

[0002]随着平台不断地发展和使用，使得数据量不断的增加，利用现有技术在平台页面进行操作，请求数据应用层接口时，直接从数据库中进行数据检索，并将结果集传送到页面展示层。这个过程中因为表中数量级比较大，进行SQL语句查询时会出现高延时、低响应的情况，给用户造成非常糟糕的体验。与此同时，我们就需要引进一些新的能够高效处理大型数据的技术来解决这一问题。

技术实现思路

[0003]本专利技术的目的在于提供一种基于大型数据的高效处理方法，提高数据响应的速度，提高用户的感知度。
[0004]为解决上述技术问题，本专利技术是一种基于大型数据的高效处理方法包括有数据库、数据应用层，数据库关系型数据库和Redis。数据应用层为Web应用程序，包括有如下步骤：一种基于大型数据的高效处理方法，包括有数据库、数据应用层、数据库关系型数据库和Redis数据库；数据应用层为Web应用程序，包括如下步骤：S1. 数据应用层通过SpringBoot框架中YML文件的配置连接数据库，并利用IDEA进行数据库连接调试，保证WEB应用程序与数据库联通,所属特征包括：YML配置文件中配置业务型关系数据库连接和Redis数据库的连接；其中Redis配置时需要设置资源池的相关信息和Cluster中节点服务信息，以支持Redis集群；在保证Redis集群启动的同时通过单元测试用例来验证数据库是否已经实现联通；S2. 安装Redis应用程序，并复制安装文件，调整其中的redis.conf配置文件，然后启动测试，保证Redis的可用性。然后在Springboot框架中引入相关MAVEN库，并编写Redis配置文件，包含初始化、读取操作封装、过期时间及Cluster集群设置；根据集群数量复制至少3份Redis安装文件，然后修改redis.conf文件中的默认端口、开启备份，然后通过启动命令逐个启动；SpringBoot项目在POM文件中引入Redis包并配置好RedisTemplate自动装配类，然后启动项目，编写单元测试进行调试是否将集群调用成功；S3. 根据请求的接口定位进行数据的获取和逻辑处理，并获取KEY值，然后利用KEY值从Redis中检索，如果存在，则将结果集作为处理基数，如果不存在，则需要从当前连接的数据库中进行检索，并将结果集作为处理基数，同时异步的将其缓存到Redis中，当再次请求此接口时便可以直接从Redis中检索获取；KEY值及组合要求包括业务ID、时间戳TIMESTAMP、类型TYPE保证BitMap中健值的唯一性；
S4.一个key值标识多种数据状态，并且Redis本身支持多种操作、统计函数，用于Top值统计、访问量计算、用户状态更新、参数过滤等。
[0005]所述的WEB应用程序通过SpringBoot技术版本要求2.x；YML配置文件中配置业务型关系数据库连接和Redis数据库的连接；其中Redis配置时需要设置资源池的相关信息和Cluster中节点服务信息，以支持Redis集群。
[0006]所述的Redis应用程序中BitMap使用版本要求大于等于3.0；Redis
‑
Csluster分布式集群技术使用版本要求大于等于6.0。
[0007]本专利技术的有益效果是：本专利技术提出的基于Redis BitMap和Redis
‑
Cluster的分布式集群缓存方法，有效解决了页面展示层响应时间长、操作反应慢等用户体验较差的问题。数据应用层监测到接口请求时首先会根据复合键值在BitMap中快速检索，如果存在，则直接根据请求类型从BitMap中获取数据进行操作，并返回结果集；如果不存在，则首先从数据库中进行检索，然后将结果集根据请求类型进行操作，并返回结果集，同时异步将结果集缓存到BitMap中。当用户多次请求时，直接从Redis中快速获取，同时采用Redis
‑
Cluster分布式技术，其无中心结构的特点，保证数据的有效性和安全性，提高操作效率、缩短响应时长、降低数据延迟，给用户带来更好的操作体验感。
附图说明
[0008]图1为本专利技术原理图；图2为本专利技术中Redis
‑
cluster集群原理图；图3为集群数量复制Redis安装文件。
具体实施方式
[0009]为了更加说明本专利技术中的技术要求和目的，下面通过说明和附图的方式对实施过程进行说明：S1. 数据应用层通过SpringBoot框架中YML文件的配置连接数据库，并利用IDEA进行数据库连接调试，保证WEB应用程序与数据库联通,所属特征包括：YML配置文件中配置业务型关系数据库连接和Redis数据库的连接；其中Redis配置时需要设置资源池的相关信息和Cluster中节点服务信息，以支持Redis集群；在保证Redis集群启动的同时通过单元测试用例来验证数据库是否已经实现联通。
[0010]S2. 安装Redis应用程序，并复制安装文件，调整其中的redis.conf配置文件，然后启动测试，保证Redis的可用性。然后在Springboot框架中引入相关MAVEN库，并编写Redis配置文件，包含初始化、读取操作封装、过期时间及Cluster集群设置;如图3所示，根据集群数量复制Redis安装文件（至少3份），然后修改redis.conf文件中的默认端口、开启备份，然后通过启动命令逐个启动；SpringBoot项目在POM文件中引入Redis包并配置好RedisTemplate自动装配类，然后启动项目，编写单元测试进行调试是否将集群调用成功。
[0011]S3. 前端页面展示层进行操作时，会请求对应的接口访问后端数据应用层，SpringBoot中将会根据请求的接口定位到对应方法中，进行数据的获取和逻辑处理，获取数据时首先会根据当前方法中传递的参数按照规则组合KEY值，然后利用KEY值从
Redis中检索，如果存在，则将结果集作为处理基数，如果不存在，则需要从当前连接的数据库中进行检索，并将结果集作为处理基数，同时异步的将其缓存到Redis中，当再次请求此接口时便可以直接从Redis中检索获取；KEY值的组合要求以业务的唯一确定元素为依据，在实际应用当中一般使用业务ID+时间戳TIMESTAMP+类型TYPE作为KEY来保证BitMap中健值的唯一性。
[0012]S4. Redis中BitMap的应用可以很好的处理大型数据实时访问数据库时所面对的低效率、高延时问题，Redis
‑
Cluster分布式集群则保证了数据的准确性和安全性。一个key值可以用来标识多种数据状态，并且Redis本身支持多种操作、统计函数，对于类似Top值统计、访问量计算、用户状态更新、参数过滤等问题的处理有着高效的处理速率。
[0013]所述的WEB应用程序通过SpringBo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大型数据的高效处理方法，其特征在于：包括有数据库、数据应用层、数据库关系型数据库和Redis数据库；数据应用层为Web应用程序，包括如下步骤：S1. 数据应用层通过SpringBoot框架中YML文件的配置连接数据库，并利用IDEA进行数据库连接调试，保证WEB应用程序与数据库联通,所属特征包括：YML配置文件中配置业务型关系数据库连接和Redis数据库的连接；其中Redis配置时需要设置资源池的相关信息和Cluster中节点服务信息，以支持Redis集群；在保证Redis集群启动的同时通过单元测试用例来验证数据库是否已经实现联通；S2. 安装Redis应用程序，并复制安装文件，调整其中的redis.conf配置文件，然后启动测试；然后在Springboot框架中引入相关MAVEN库，并编写Redis配置文件，包含初始化、读取操作封装、过期时间及Cluster集群设置；根据集群数量复制至少3份Redis安装文件，然后修改redis.conf文件中的默认端口、开启备份，然后通过启动命令逐个启动；SpringBoot项目在POM文件中引入Redis包并配置好RedisTemplate自动装配类，然后启动项目，编写单元测试进行调试是否将集群调用成功；...

【专利技术属性】
技术研发人员：杨维明，郭真，
申请(专利权)人：中电万维信息技术有限责任公司，
类型：发明
国别省市：