一种基于前置分布式数据库的海量数据处理方法及系统技术方案

本发明专利技术实施例提供一种基于前置分布式数据库的海量数据处理方法，包括以下步骤：步骤一：获取当前时间和分布式数据库中记录的交易日期，所述分布式数据库包括前置集群和全量集群；步骤二：根据所述当前时间和所述交易日期之间的间距与阈值进行比较；步骤三：若所述当前时间和所述交易日期之间的间距大于阈值，则所述交易日期对应的数据为冷数据，且将所述交易日期对应的数据存储至所述全量集群；步骤四：若所述当前时间和所述交易日期之间的间距小于等于阈值，则所述交易日期对应的数据为热数据，且将所述交易日期对应的数据存储至所述前置集群。本发明专利技术实施例便于分离热数据与冷数据，且降低了分布式数据库的负载能力。

A massive data processing method and system based on pre distributed database

【技术实现步骤摘要】
一种基于前置分布式数据库的海量数据处理方法及系统
本专利技术涉及分布式数据库领域,更具体地说，涉及到一种基于前置分布式数据库的海量数据处理方法及系统。
技术介绍
随着业务的迅猛发展，数据量快速增长，数据存储及数据使用逐渐成为系统的瓶颈。目前解决数据库瓶颈的方案可采用主从同步读写分离及分库分表的方案。其中读写分离可结合分布式数据库，有效提升读的性能，也减少数据库因频繁的读取请求影响写入功能；而分库分表可解决非海量数据的数据写入问题，当数据量达到PB级别后，写入请求频繁时，因选择写入节点的消耗，会致使写入性能下降严重。本
技术实现思路
为了克服现有技术的不足，本专利技术提供一种基于前置分布式数据库的海量数据处理方法用来如何分离热数据与冷数据分离以及如何解决海量数据高并发对数据库的冲击的问题。本专利技术解决其技术问题所采用的技术方案是：一种基于前置分布式数据库的海量数据处理方法，包括以下步骤：步骤一：获取当前时间和分布式数据库中记录的交易日期，所述分布式数据库包括前置集群和全量集群；步骤二：根据所述当前时间和所述交易日期之本文档来自技高网...

【技术保护点】
1.一种基于前置分布式数据库的海量数据处理方法，其特征在于，包括以下步骤：/n步骤一：获取当前时间和分布式数据库中记录的交易日期，所述分布式数据库包括前置集群和全量集群；/n步骤二：根据所述当前时间和所述交易日期之间的间距与阈值进行比较；/n步骤三：若所述当前时间和所述交易日期之间的间距大于阈值，则所述交易日期对应的数据为冷数据，且将所述交易日期对应的数据存储至所述全量集群；/n步骤四：若所述当前时间和所述交易日期之间的间距小于等于阈值，则所述交易日期对应的数据为热数据，且将所述交易日期对应的数据存储至所述前置集群。/n

【技术特征摘要】
1.一种基于前置分布式数据库的海量数据处理方法，其特征在于，包括以下步骤：
步骤一：获取当前时间和分布式数据库中记录的交易日期，所述分布式数据库包括前置集群和全量集群；
步骤二：根据所述当前时间和所述交易日期之间的间距与阈值进行比较；
步骤三：若所述当前时间和所述交易日期之间的间距大于阈值，则所述交易日期对应的数据为冷数据，且将所述交易日期对应的数据存储至所述全量集群；
步骤四：若所述当前时间和所述交易日期之间的间距小于等于阈值，则所述交易日期对应的数据为热数据，且将所述交易日期对应的数据存储至所述前置集群。


2.根据权利要求1所述的一种基于前置分布式数据库的海量数据处理方法，其特征在于，在所述获取当前时间和分布式数据库中记录的交易日期之前，所述步骤还包括：
基于所述分布式数据库中不同表以及不同用户的不同权限，创建当前应用程序的接口。


3.根据权利要求2所述的一种基于前置分布式数据库的海量数据处理方法，其特征在于，在所述创建当前应用程序的接口之前，所述步骤还包括：
在所述前置集群以及所述全量集群中，创建结构一致的表、索引以及分片建。


4.根据权利要求1所述的一种基于前置分布式数据库的海量数据处理方法，其特征在于，在所述若所述当前时间和所述交易日期之间的间距小于等于阈值，则所述交易日期对应的数据为热数据，且将所述交易日期对应的数据存储至所述前置集群之后，所述步骤还包括：
通过脚本程序定时将所述前置集群中的数据存储至所述全量集群。


5.根据权利要求4所述的一种基于前置分布式数据库的海量数据处理方法，其特征在于，通过脚本程序定时将所述前置集群中的数据存储至所述全量集群之后，...

【专利技术属性】
技术研发人员：刘跃红，余丽玲，管正爽，郭倩，
申请(专利权)人：银盛支付服务股份有限公司，
类型：发明
国别省市：广东;44