System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据迁移方法、装置、存储介质及电子设备制造方法及图纸_技高网

数据迁移方法、装置、存储介质及电子设备制造方法及图纸

技术编号:40823129 阅读:5 留言:0更新日期:2024-04-01 14:43
本申请公开了一种数据迁移方法、装置、存储介质及电子设备,方法包括:在待迁移数据迁入目标数据库过程中,计算预设周期内服务器的性能参数的均值和数据库的执行参数的均值;在性能参数的均值和执行参数的均值都不在预设区间时,调整当前数据迁移参数,得到目标数据迁移参数;基于目标数据迁移参数,继续将待迁移数据迁入目标数据库,直到性能参数的均值和执行参数的均值都在预设区间。由于本申请计算的性能参数的均值和执行参数的均值可表征一段时间内服务器和数据库的运行情况,通过该参数和预设区间比较的方式调整当前数据迁移参数,使待迁移数据迁入目标数据库过程中可自动完成数据迁移参数的调整,避免了迁移中断,从而提升了数据迁移效率。

【技术实现步骤摘要】

本申请涉及计算机,特别涉及一种数据迁移方法、装置、存储介质及电子设备


技术介绍

1、随着燃气公司对生产燃气表的各表厂的设备不断整合,出现了将不同设备系统之间进行集成的问题,系统之间的集成会造成数据迁移需求,而数据迁移时提供的服务器性能参差不一,当服务器性能低时需要反复调整迁移参数,或者当服务器性能很高时导致资源过剩,造成浪费。

2、相关技术中,数据迁移通常采用静态迁移方式,即每次迁移时根据需要迁移的数据量评估需要的服务器配置,基于评估结果编写专门的迁移程序或者脚本,执行迁移服务。该过程数据迁移过程一旦出现时间长和速度慢的问题时需要停止迁移,重新配置单次迁移数据量,甚至需要清理已迁移的数据从头开始进行迁移,从而降低了数据迁移效率。


技术实现思路

1、本申请实施例提供了一种数据迁移方法、装置、存储介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。

2、第一方面,本申请实施例提供了一种数据迁移方法,方法包括:

3、在待迁移数据迁入目标数据库过程中,计算预设周期内服务器的性能参数的均值和数据库的执行参数的均值;

4、在性能参数的均值和执行参数的均值都不在预设区间的情况下,调整当前数据迁移参数,得到目标数据迁移参数;当前数据迁移参数为当前执行待迁移数据迁入目标数据库过程时控制数据迁移量的参数;

5、基于目标数据迁移参数,继续执行将待迁移数据迁入目标数据库,直到性能参数的均值和执行参数的均值都在预设区间。

6、可选的,性能参数的均值包括平均中央处理器使用率、平均磁盘读写使用率以及平均内存使用率;当前数据迁移参数包括执行数据迁移的当前并发线程数量;

7、在性能参数的均值不在预设区间的情况下,调整当前数据迁移参数,包括:

8、在平均中央处理器使用率、平均磁盘读写使用率以及平均内存使用率低于预设使用率区间的下限值的情况下,根据预设倍率升高当前并发线程数量;或者,

9、在平均中央处理器使用率、平均磁盘读写使用率以及平均内存使用率高于预设使用率区间的上限值的情况下,根据预设倍率降低当前并发线程数量。

10、可选的,执行参数的均值包括平均每一批数据量执行完入库对应的平均批次执行时间;当前数据迁移参数包括执行数据迁移的当前每批次数据量;

11、在执行参数的均值不在预设区间的情况下,调整当前数据迁移参数,包括:

12、在平均批次执行时间低于预设时间区间的下限值的情况下,根据预设倍率升高当前每批次数据量;或者,

13、在平均批次执行时间高于预设时间区间的上限值的情况下,根据预设倍率降低当前每批次数据量。

14、可选的,方法还包括:

15、在性能参数的均值和执行参数的均值都在预设区间的情况下,根据当前数据迁移参数,计算待迁移数据的实际迁移时长;

16、在实际迁移时长大于预设迁移总时长的情况下,调整服务器的性能参数,继续执行将待迁移数据迁入目标数据库,直到服务器的性能参数大于预设值;

17、在服务器的性能参数大于预设值且实际迁移时长大于预设迁移总时长的情况下,根据预设百分比升高预设迁移总时长以及每一批数据量执行完入库对应的批次执行时间;或者,

18、在实际迁移时长小于等于预设迁移总时长的情况下,继续执行将待迁移数据迁入目标数据库,以使待迁移数据迁入目标数据库。

19、可选的,服务器的性能参数包括中央处理器使用率、磁盘读写使用率以及内存使用率;

20、调整服务器的性能参数,包括:

21、根据预设使用率百分比升高中央处理器使用率、磁盘读写使用率以及内存使用率。

22、可选的,计算预设周期内服务器的性能参数的均值和数据库的执行参数的均值,包括:

23、获取当前时刻下服务器的性能参数和数据库的执行参数;

24、存储当前时刻下服务器的性能参数和数据库的执行参数;

25、在当前时刻与上一个均值计算时刻之间的时长等于预设周期的情况下,获取当前时刻与上一个均值计算时刻之间存储的性能参数和执行参数;

26、根据存储的性能参数和执行参数,计算预设周期内服务器的性能参数的均值和数据库的执行参数的均值。

27、可选的,计算预设周期内服务器的性能参数的均值和数据库的执行参数的均值之前,还包括:

28、初始化当前数据迁移参数;

29、根据初始化的当前数据迁移参数,将待迁移数据迁入目标数据库。

30、第二方面,本申请实施例提供了一种数据迁移装置,装置包括:

31、计算模块,用于在待迁移数据迁入目标数据库过程中,计算预设周期内服务器的性能参数的均值和数据库的执行参数的均值;

32、调整模块,用于在性能参数的均值和执行参数的均值都不在预设区间的情况下,调整当前数据迁移参数,得到目标数据迁移参数;当前数据迁移参数为当前执行待迁移数据迁入目标数据库过程时控制数据迁移量的参数;

33、迁移模块,用于基于目标数据迁移参数,继续执行将待迁移数据迁入目标数据库,直到性能参数的均值和执行参数的均值都在预设区间。

34、第三方面,本申请实施例提供一种计算机存储介质,计算机存储介质存储有多条指令,指令适于由处理器加载并执行上述的方法步骤。

35、第四方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,存储器存储有计算机程序,计算机程序适于由处理器加载并执行上述的方法步骤。

36、本申请实施例提供的技术方案可以包括以下有益效果:

37、在本申请实施例中,本申请计算的性能参数的均值和执行参数的均值可表征一段时间内服务器和数据库的运行情况,通过该参数和预设区间比较的方式调整当前数据迁移参数,使待迁移数据迁入目标数据库过程中可自动完成数据迁移参数的动态自动调整,避免了迁移中断,从而提升了数据迁移效率。

38、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

本文档来自技高网...

【技术保护点】

1.一种数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述性能参数的均值包括平均中央处理器使用率、平均磁盘读写使用率以及平均内存使用率;所述当前数据迁移参数包括执行数据迁移的当前并发线程数量;

3.根据权利要求1所述的方法,其特征在于,所述执行参数的均值包括平均每一批数据量执行完入库对应的平均批次执行时间;所述当前数据迁移参数包括执行数据迁移的当前每批次数据量;

4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述服务器的性能参数包括中央处理器使用率、磁盘读写使用率以及内存使用率;

6.根据权利要求1所述的方法,其特征在于,所述计算预设周期内服务器的性能参数的均值和数据库的执行参数的均值,包括:

7.根据权利要求1所述的方法,其特征在于,所述计算预设周期内服务器的性能参数的均值和数据库的执行参数的均值之前,还包括:

8.一种数据迁移装置,其特征在于,所述装置包括:

9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-7任意一项所述的方法。

10.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项所述的方法。

...

【技术特征摘要】

1.一种数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述性能参数的均值包括平均中央处理器使用率、平均磁盘读写使用率以及平均内存使用率;所述当前数据迁移参数包括执行数据迁移的当前并发线程数量;

3.根据权利要求1所述的方法,其特征在于,所述执行参数的均值包括平均每一批数据量执行完入库对应的平均批次执行时间;所述当前数据迁移参数包括执行数据迁移的当前每批次数据量;

4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述服务器的性能参数包括中央处理器使用率、磁盘读写使用率以及内存使用率;

...

【专利技术属性】
技术研发人员:柯开炜陈龙彭良文
申请(专利权)人:金卡智能集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1