System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据迁移方法及装置制造方法及图纸_技高网

一种数据迁移方法及装置制造方法及图纸

技术编号:41260108 阅读:4 留言:0更新日期:2024-05-11 09:18
本申请公开了一种数据迁移方法,包括:获取待处理数据表的冷热状态,待处理数据表的冷热状态,指示待处理数据表中的数据为冷数据或者热数据;响应于冷热状态指示待处理数据表中的数据为冷数据,确定待处理数据表是否关联数据锁,其中,待处理数据表关联数据锁,指示存在数据查询任务需要查询待处理数据表,待处理数据表未关联数据锁,指示不存在数据查询任务需要查询待处理数据表;响应于待处理数据表关联数据锁,在数据锁被解除之后,对待处理数据表执行迁移操作,数据锁被解除,指示需要查询待处理数据表的数据查询任务执行结束。利用本方案,可以在不影响数据存储系统的查询性能的情况下,实现数据迁移。

【技术实现步骤摘要】

本申请涉及计算机,特别是涉及一种数据迁移方法及装置


技术介绍

1、随着计算机技术的发展,出现了越来越多的数据,相应的,也出现了越来越多的数据存储技术。数据存储系统包括但不限于本地文件系统、分布式文件系统(hadoopdistributed file system,hdfs),对象存储系统、以及缓存系统等等。

2、在一些场景中,数据并不是固定的存储在某一位置,而是会发生迁移,例如,迁移至另一数据存储系统,又如,迁移至当前数据存储系统的另一存储位置。

3、目前,当数据发生迁移时,数据存储系统的性能会有所降低。因此,亟需一种方案,能够解决上述问题。


技术实现思路

1、为了解决或者至少部分解决上述技术问题,本申请实施例提供了一种数据迁移方法及装置。

2、第一方面,本申请实施例提供了一种数据迁移方法,所述方法包括:

3、获取待处理数据表的冷热状态,所述待处理数据表的冷热状态,指示所述待处理数据表中的数据为冷数据或者热数据;

4、响应于所述冷热状态指示所述待处理数据表中的数据为冷数据,确定所述待处理数据表是否关联数据锁,其中,所述待处理数据表关联数据锁,指示存在数据查询任务需要查询所述待处理数据表,所述待处理数据表未关联数据锁,指示不存在数据查询任务需要查询所述待处理数据表;

5、响应于所述待处理数据表关联数据锁,在所述数据锁被解除之后,对所述待处理数据表执行迁移操作,所述数据锁被解除,指示需要查询所述待处理数据表的数据查询任务执行结束。

6、可选的,所述待处理数据表关联数据锁,包括:整个所述待处理数据表被加锁;

7、相应的,在所述数据锁被解除之后,对所述待处理数据表执行迁移操作,包括:

8、在所述数据锁被解除之后,对所述待处理数据表中包括的所有数据执行迁移操作。

9、可选的,所述待处理数据表关联数据锁,包括:所述待处理数据表中的第一分区被加锁,所述待处理数据表包括至少一个分区,所述至少一个分区包括所述第一分区,所述第一分区为所述数据查询任务需要查询的分区;

10、相应的,在所述数据锁被解除之后,对所述待处理数据表执行迁移操作,包括:

11、在所述数据锁被解除之后,对所述第一分区中包括的数据执行迁移操作。

12、可选的,所述至少一个分区还包括第二分区,所述第二分区为所述数据查询任务无需查询的分区,所述方法还包括:

13、响应于所述第一分区被加锁,立即对所述第二分区中包括的数据执行迁移操作。

14、可选的,所述获取待处理数据表的冷热状态,包括:

15、获取所述待处理数据表的历史查询参数,所述历史查询参数,包括历史查询频率和/或历史查询时间;

16、根据所述历史查询参数,确定所述冷热状态。

17、可选的,所述获取待处理数据表的冷热状态,包括:

18、根据所述待处理数据表的热度周期,确定所述待处理数据表的冷热状态,其中,所述热度周期用于指示所述待处理数据表中的数据作为热数据的时长。

19、可选的,所述方法还包括:

20、响应于所述待处理数据表未关联数据锁,立即对所述待处理数据表执行迁移操作。

21、可选的,所述待处理数据表包括:

22、基于分布式计算构建的数据仓库分析系统中的数据表。

23、第二方面,本申请实施例提供了一种数据迁移装置,所述装置包括:

24、获取单元,用于获取待处理数据表的冷热状态,所述待处理数据表的冷热状态,指示所述待处理数据表中的数据为冷数据或者热数据;

25、确定单元,用于响应于所述冷热状态指示所述待处理数据表中的数据为冷数据,确定所述待处理数据表是否关联数据锁,其中,所述待处理数据表关联数据锁,指示存在数据查询任务需要查询所述待处理数据表,所述待处理数据表未关联数据锁,指示不存在数据查询任务需要查询所述待处理数据表;

26、第一迁移单元,用于响应于所述待处理数据表关联数据锁,在所述数据锁被解除之后,对所述待处理数据表执行迁移操作,所述数据锁被解除,指示需要查询所述待处理数据表的数据查询任务执行结束。

27、可选的,所述待处理数据表关联数据锁,包括:整个所述待处理数据表被加锁;

28、相应的,所述第一迁移单元,用于:

29、在所述数据锁被解除之后,对所述待处理数据表中包括的所有数据执行迁移操作。

30、可选的,所述待处理数据表关联数据锁,包括:所述待处理数据表中的第一分区被加锁,所述待处理数据表包括至少一个分区,所述至少一个分区包括所述第一分区,所述第一分区为所述数据查询任务需要查询的分区;

31、相应的,所述第一迁移单元,用于:

32、在所述数据锁被解除之后,对所述第一分区中包括的数据执行迁移操作。

33、可选的,所述至少一个分区还包括第二分区,所述第二分区为所述数据查询任务无需查询的分区,所述装置还包括:

34、第二迁移单元,用于响应于所述第一分区被加锁,立即对所述第二分区中包括的数据执行迁移操作。

35、可选的,所述获取单元,用于:

36、获取所述待处理数据表的历史查询参数,所述历史查询参数,包括历史查询频率和/或历史查询时间;

37、根据所述历史查询参数,确定所述冷热状态。

38、可选的,所述获取单元,用于:

39、根据所述待处理数据表的热度周期,确定所述待处理数据表的冷热状态,其中,所述热度周期用于指示所述待处理数据表中的数据作为热数据的时长。

40、可选的,所述装置还包括:

41、第三迁移单元,用于响应于所述待处理数据表未关联数据锁,立即对所述待处理数据表执行迁移操作。

42、可选的,所述待处理数据表包括:

43、基于分布式计算构建的数据仓库分析系统中的数据表。

44、第三方面,本申请实施例提供了一种电子设备,所述设备包括处理器和存储器;

45、所述处理器用于执行所述存储器中存储的指令,以使得所述设备执行如以上第一方面中任一项所述的方法。

46、第四方面,本申请实施例提供了一种计算机可读存储介质,包括指令,所述指令指示设备执行如以上第一方面中任一项所述的方法。

47、第五方面,本申请实施例提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行以上第一方面任一项所述的方法。

48、与现有技术相比,本申请实施例具有以下优点:

49、本申请实施例提供了一种数据迁移方法,可以应用于第一数据存储系统,第一数据存储系统中存储有待处理数据表。该方法包括:获取待处理数据表的冷热状态,其中,待处理数据表的冷热状态用于指示待处理数据表中的数据是冷数据还是热数据。若所述冷热状态指示所述待处理数据表中的本文档来自技高网...

【技术保护点】

1.一种数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述待处理数据表关联数据锁,包括:整个所述待处理数据表被加锁;

3.根据权利要求1所述的方法,其特征在于,所述待处理数据表关联数据锁,包括:所述待处理数据表中的第一分区被加锁,所述待处理数据表包括至少一个分区,所述至少一个分区包括所述第一分区,所述第一分区为所述数据查询任务需要查询的分区;

4.根据权利要求3所述的方法,其特征在于,所述至少一个分区还包括第二分区,所述第二分区为所述数据查询任务无需查询的分区,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述获取待处理数据表的冷热状态,包括:

6.根据权利要求1所述的方法,其特征在于,所述获取待处理数据表的冷热状态,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,所述待处理数据表包括:

9.一种数据迁移装置,其特征在于,所述装置包括:

10.一种电子设备,其特征在于,所述设备包括处理器和存储器;

11.一种计算机可读存储介质,其特征在于,包括指令,所述指令指示设备执行以上权利要求1-8任意一项所述的方法。

...

【技术特征摘要】

1.一种数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述待处理数据表关联数据锁,包括:整个所述待处理数据表被加锁;

3.根据权利要求1所述的方法,其特征在于,所述待处理数据表关联数据锁,包括:所述待处理数据表中的第一分区被加锁,所述待处理数据表包括至少一个分区,所述至少一个分区包括所述第一分区,所述第一分区为所述数据查询任务需要查询的分区;

4.根据权利要求3所述的方法,其特征在于,所述至少一个分区还包括第二分区,所述第二分区为所述数据查询任务无需查询的分区,所述方法还包括:

5.根据...

【专利技术属性】
技术研发人员:琚克俭户蕾蕾丁远普
申请(专利权)人:北京火山引擎科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1