高可用可伸缩的分布式数据归档的方法和系统技术方案

技术编号:16607812 阅读:43 留言:0更新日期:2017-11-22 18:08
本发明专利技术提供一种高可用可伸缩的分布式数据归档的方法和系统,能够实现归档算法配置化、调度任务模板化,灵活配置数据采集算法;并且还可实现调度服务器的动态扩展,实现性能稳定。该方法包括:配置并缓存归档任务信息,所述缓存归档任务信息包括将归档任务信息进行集中缓存和在调度服务器的本地缓存;将归档任务注册到Spring中生成模板化调度任务;调度中心加载调度任务,并将调度任务分配至若干调度服务器;调度服务器根据分配的调度任务获取相应的归档任务信息,以进行数据归档处理。

【技术实现步骤摘要】
高可用可伸缩的分布式数据归档的方法和系统
本专利技术涉及计算机技术和软件领域,尤其涉及一种高可用可伸缩的分布式数据归档的方法和系统。
技术介绍
随着科技的发展,现代社会已经步入大数据时代,特别是互联网行业,伴随业务的发展、用户的增多,业务系统平台的数据量越来越大,最终造成数据库压力增大、系统响应性差、用户体验下降。通过对系统的用户操作分析、数据分析等,可以发现存在大量的非活动数据或者非热点数据,这些数据在一些系统的占有率甚至达到了80%-90%,严重影响系统的性能和稳定性,因此就需要有效的数据归档方法,对数据进行及时的归档处理。现有技术的归档方法一般为针对不同归档任务进行定制开发,通过调度任务实现数据的归档。具体过程大致如下:确定来源库、目标库数据源相关参数,初始化数据库连接池;针对不同的表结构定制开发一套归档逻辑,通过单点调度完成来源库数据采集、目标库数据持久化,来源库数据清除。而面对大规模的数据归档需求,现有的归档方法在应用的过程中存在如下不足:数据采集算法不灵活,如果采集需求发生变化,需要进行代码修改;调度任务缺少模板化,过于死板,针对不同的调度任务需要进行定制化开发,不同的表本文档来自技高网...
高可用可伸缩的分布式数据归档的方法和系统

【技术保护点】
一种高可用可伸缩的分布式数据归档的方法,其特征在于,包括:配置并缓存归档任务信息,所述缓存归档任务信息包括将归档任务信息进行集中缓存和在调度服务器的本地缓存;将归档任务注册到Spring中生成模板化调度任务;调度中心加载调度任务,并将调度任务分配至若干调度服务器;调度服务器根据分配的调度任务获取相应的归档任务信息,以进行数据归档处理。

【技术特征摘要】
1.一种高可用可伸缩的分布式数据归档的方法,其特征在于,包括:配置并缓存归档任务信息,所述缓存归档任务信息包括将归档任务信息进行集中缓存和在调度服务器的本地缓存;将归档任务注册到Spring中生成模板化调度任务;调度中心加载调度任务,并将调度任务分配至若干调度服务器;调度服务器根据分配的调度任务获取相应的归档任务信息,以进行数据归档处理。2.根据权利要求1所述的方法,其特征在于,配置归档任务信息还包括:以配置表的方式配置归档任务信息。3.根据权利要求2所述的方法,其特征在于,其中,所述配置表中的归档任务信息包括表名称、采集条件、关联字段。4.根据权利要求1所述的方法,其特征在于,所述调度服务器包括心跳线程,在任务执行过程中监听调度服务器的上下线,以便于调度中心根据调度服务器的数量分配调度任务。5.根据权利要求1所述的方法,其特征在于,所述调度中心通过基于ZooKeeper的TBSchedule分布式调度框架得以实现,其中所述调度中心根据配置的执行时间、执行频率进行调度。6.一种高可用可...

【专利技术属性】
技术研发人员:周立伟崔岩
申请(专利权)人:北京京东尚科信息技术有限公司北京京东世纪贸易有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1