一种负载感知与空间优化的历史数据迁移方法、系统及介质技术方案

技术编号:45317643 阅读:42 留言:0更新日期:2025-05-23 16:50
本申请实施例提供了一种负载感知与空间优化的历史数据迁移方法、系统及介质,该方法包括:启动程序进行日志记录初始化,加载配置参数,所述配置参数包括数据库连接信息、负载阈值、空间阈值与事务提交间隔信息;定时监测源数据库的性能指标,评估源数据库当前负载情况信息;基于当前负载情况信息分析各数据表的空间占用情况和历史数据比例,自动识别并选择需要迁移的数据表;基于负载监测和数据表选择结果分析需要迁移的数据表是否符合数据迁移任务;若符合,则将历史数据从源端迁移至目标端,按时间间隔分批处理,记录查询耗时并动态调整时间间隔;通过分批处理和可控的事务提交间隔,避免长时间占用大量系统资源,保障数据库的稳定运行。

【技术实现步骤摘要】

本申请涉及数据迁移,具体而言,涉及一种负载感知与空间优化的历史数据迁移方法、系统及介质


技术介绍

1、随着信息技术的迅猛发展,企业在日常运营中积累了大量的业务数据,尤其是历史数据。这些历史数据在数据分析、业务决策和法规遵从等方面具有重要价值。然而,随着时间的推移,历史数据量急剧增加,给企业的数据存储、管理和查询带来了诸多挑战。传统数据库系统主要针对实时业务优化,难以高效处理海量历史数据,导致存储空间紧张、数据库性能下降以及数据管理复杂化。

2、目前,常见的历史数据迁移与归档方法主要包括手动数据迁移、使用商业数据迁移工具以及基于分区表的数据归档。手动数据迁移依赖于运维人员编写脚本或使用数据库自带的导出/导入工具,存在高人工成本、缺乏智能调度和事务控制不足等缺陷。商业数据迁移工具虽然提供了自动化和图形化界面,但通常成本高昂、适应性差且在处理大规模数据时性能瓶颈明显。基于分区表的归档方法依赖于特定数据库的分区功能,操作复杂且缺乏负载感知,容易在系统负荷高时影响业务运行。

3、综上所述,现有的历史数据迁移方案在自动化程度、智能优化和可扩展本文档来自技高网...

【技术保护点】

1.一种负载感知与空间优化的历史数据迁移方法,其特征在于,包括:

2.根据权利要求1所述的负载感知与空间优化的历史数据迁移方法,其特征在于,启动程序进行日志记录初始化,加载配置参数,具体包括:

3.根据权利要求2所述的负载感知与空间优化的历史数据迁移方法,其特征在于,源数据库的负载L(t)在时间t计算公式如下:

4.根据权利要求3所述的负载感知与空间优化的历史数据迁移方法,其特征在于,基于当前负载情况信息分析各数据表的空间占用情况和历史数据比例,自动识别并选择需要迁移的数据表,具体包括:

5.根据权利要求1所述的负载感知与空间优化的历史数据...

【技术特征摘要】

1.一种负载感知与空间优化的历史数据迁移方法,其特征在于,包括:

2.根据权利要求1所述的负载感知与空间优化的历史数据迁移方法,其特征在于,启动程序进行日志记录初始化,加载配置参数,具体包括:

3.根据权利要求2所述的负载感知与空间优化的历史数据迁移方法,其特征在于,源数据库的负载l(t)在时间t计算公式如下:

4.根据权利要求3所述的负载感知与空间优化的历史数据迁移方法,其特征在于,基于当前负载情况信息分析各数据表的空间占用情况和历史数据比例,自动识别并选择需要迁移的数据表,具体包括:

5.根据权利要求1所述的负载感知与空间优化的历史数据迁移方法,其特征在于,基于负载监测和数据表选择结果分析需要迁移的数据表是否符合数据迁移任务,具体包括:

6.根据权利要求5所述的负载感知与空间优化的历史数据迁移方法,其特征在于,若符合,则将历史数据从源端迁移至目标端,按时间...

【专利技术属性】
技术研发人员:郑烽华周冬冬王中乐徐斐虹王贤妮宋津黄一宾林盛盛
申请(专利权)人:杭州炬华科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1