【技术实现步骤摘要】
一种用于历史数据的归档系统及方法
[0001]本专利技术涉及数据处理
，具体涉及一种用于历史数据的归档系统及方法。
技术介绍
[0002]随着业务的快速发展，各项业务开展产生的数据量急剧增加，因此导致数据库占用空间不断增大；数据库的备份和恢复变得更加困难，且迅速膨胀的数据量给应用系统的负载能力、系统资源、运行效率都带来了巨大的压力。而且随着数据变旧，数据被访问的可能性不断降低。若企业内多数系统未做分库分表方案，并在出现数据库资源预警时，一般是通过人工脚本的方式集中来清理，但是数据清理不及时，且数据清理的效率低。
技术实现思路
[0003]本专利技术的目的之一在于提供一种用于历史数据的归档系统，能够对数据库的数据进行及时且高效率的清理。
[0004]为了达到上述目的，提供了一种用于历史数据的归档系统，包括服务器，所述服务器包括以下模块：
[0005]数据配置模块：用于获取用户的配置数据，所述配置数据包括数据源配置数据、归档配置数据和调度配置数据；
[0006]任务调度模块：用于根据...
【技术保护点】
【技术特征摘要】
1.一种用于历史数据的归档系统，其特征在于：包括服务器，所述服务器包括以下模块：数据配置模块：用于获取用户的配置数据，所述配置数据包括数据源配置数据、归档配置数据和调度配置数据；任务调度模块：用于根据调度配置数据和数据源配置数据从数据库中匹配需要进行归档的历史数据，并建立并行历史数据归档任务集和串行历史数据归档任务集；还用于根据并行历史数据归档任务集和串行历史数据归档任务集批量处理需归档的历史数据；数据归档模块：用于将并行历史数据归档任务集和串行历史数据归档任务集根据归档配置数据，从数据库中抽取历史数据写入到归档库，再删除数据库的历史数据。2.根据权利要求1所述的一种用于历史数据的归档系统，其特征在于：所述服务器还包括以下模块：过程记录模块：用于实时记录数据归档模块对并行历史数据归档任务集和串行历史数据归档任务集中的各个历史数据归档子任务的实时执行流程记录；流程对比模块：用于将实时执行流程记录与预设的标准执行流程记录进行对比分析，若分析出实时执行流程记录出现流程错误，则根据实时执行流程记录回溯到出错的前一流程步骤，并生成回溯信息，以及将回溯信息发于数据归档模块进行回溯。3.根据权利要求2所述的一种用于历史数据的归档系统，其特征在于：所述服务器还包括以下模块：数据拆分模块：用于获取各个历史数据归档子任务对应的历史数据的数据包大小信息，并将数据包大小信息与数据包拆分阈值相比较，若大于数据包拆分阈值，则将历史数据根据数据包拆分阈值进行拆分，并将拆分后得到的子数据包及进行编号及关联记录。4.根据权利要求3所述的一种用于历史数据的归档系统，其特征在于：所述服务器还包括以下模块：可视化管理模块：用于将各个历史数据归档子任务的实时执行流程记录...
【专利技术属性】
技术研发人员：杨亮亮，
申请(专利权)人：重庆富民银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。