System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据迁移方法、装置、设备及存储介质制造方法及图纸_技高网

数据迁移方法、装置、设备及存储介质制造方法及图纸

技术编号:40810905 阅读:2 留言:0更新日期:2024-03-28 19:32
本公开提供了一种数据迁移方法、装置、设备及存储介质,可以应用于人工智能领域和金融科技领域。该方法包括:响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的目标数据进行热度识别,得到热度识别结果;在热度识别结果表征满足预设热度条件的情况下,将目标数据从第一存储库迁移至第二存储库中,得到迁移后的目标数据,其中,第二存储库的数据传输速度与第一存储库的数据传输速度不同;将目标数据与迁移后的目标数据进行数据比对,得到比对结果;在比对结果表征迁移后的目标数据与目标数据相同的情况下,将迁移后的目标数据在第二存储库中的存储地址作为迁移后的目标数据的访问地址。

【技术实现步骤摘要】

本公开涉及人工智能领域和金融科技领域,尤其涉及一种数据迁移方法、装置、设备、介质和程序产品。


技术介绍

1、企业通常会将数据存储于数据库,而基于数据库的数据通常比较庞大的特性,数据库通常存储于外部存储设备中,其数据传输速率可能不高,对于访问频次较高的数据如果在每次访问时都从数据库中获取数据,可能会存在数据访问速度较慢等问题。

2、在实现本公开构思的过程中,专利技术人发现相关技术中至少存在如下问题:相关技术中对于频繁被访问的数据存在数据访问压力大等技术问题。


技术实现思路

1、鉴于上述问题,本公开提供了数据迁移方法、装置、设备、介质和程序产品。

2、根据本公开的一个方面,提供了一种数据迁移方法,包括:

3、响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的所述目标数据进行热度识别,得到热度识别结果;

4、在所述热度识别结果表征满足预设热度条件的情况下,将所述目标数据从所述第一存储库迁移至第二存储库中,得到迁移后的目标数据,其中,所述第二存储库的数据传输速度与所述第一存储库的数据传输速度不同;

5、将所述目标数据与所述迁移后的目标数据进行数据比对,得到比对结果;

6、在所述比对结果表征所述迁移后的目标数据与所述目标数据相同的情况下,将所述迁移后的目标数据在所述第二存储库中的存储地址作为所述迁移后的目标数据的访问地址。

7、根据本公开的实施例,所述目标数据包括多个第一子数据;所述迁移后的目标数据包括多个第二子数据;所述将所述目标数据与所述迁移后的目标数据进行数据比对,得到比对结果,包括:

8、基于多个所述第一子数据各自的第一数据标识,确定各个所述第一子数据各自的第一哈希值;

9、基于多个所述第二子数据各自的第二数据标识,确定各个所述第二子数据各自的第二哈希值;

10、基于多个所述第一哈希值和多个所述第二哈希值,确定所述比对结果。

11、根据本公开的实施例,所述基于多个所述第一哈希值和多个所述第二哈希值,确定所述比对结果,包括:

12、将多个所述第一哈希值按目标顺序进行拼接,得到所述目标数据的第一比对值;

13、将多个所述第二哈希值按所述目标顺序进行拼接,得到所述迁移后的目标数据的第二比对值;

14、将所述第一比对值与所述第二比对值进行比对,得到所述比对结果。

15、根据本公开的实施例,上述方法还包括:

16、在所述比对结果表征所述迁移后的目标数据与所述目标数据不相同的情况下,基于所述比对结果,确定存在不同的目标第一哈希值和目标第二哈希值;

17、基于所述目标第一哈希值和所述目标第二哈希值,确定存在异常的目标第二子数据;

18、基于与所述目标第二子数据对应的目标第一子数据,对所述目标第二子数据进行修正。

19、根据本公开的实施例,所述基于目标数据的历史访问次数,对第一存储库中的所述目标数据进行热度识别,得到热度识别结果,包括:

20、基于数据访问记录,确定所述目标数据的在目标时间段内的历史访问次数,其中,所述目标时间段包括第一目标时间段和第二目标时间段,所述第一目标时间段表征起始时间与当前时间的时间差小于预设时间差的时间,所述第二目标时间段为固定时间段;

21、基于所述目标数据在目标时间段的历史访问次数,确定目标数据的访问热度,得到热度识别结果。

22、根据本公开的实施例,所述目标数据具有数据属性信息,所述方法还包括:

23、基于所述目标数据的数据属性信息,确定与所述目标数据相关联的待确定数据,其中,所述待确定数据为所述第一存储库中未进行热度识别的数据;

24、基于所述目标数据的热度识别结果,确定所述待确定数据的目标热度识别结果。

25、根据本公开的实施例,所述在所述热度识别结果表征满足预设热度条件的情况下,将所述目标数据从所述第一存储库迁移至第二存储库中,得到迁移后的目标数据,包括:

26、在所述热度识别结果表征满足预设热度条件的情况下,确定所述目标数据的热度类型,其中,所述热度类型包括热点数据类型或冷点数据类型,所述热点数据类型为历史访问次数大于等于第一预设数据阈值的数据类型,所述冷点数据类型为历史访问次数小于等于第二预设数据阈值的数据类型;

27、基于所述热度类型从候选存储库中确定第二存储库,其中,所述候选存储库为与所述第一存储库相比数据传输速度不同的存储库;

28、将所述目标数据迁移至所述第二存储库中,得到所述迁移后的目标数据。

29、本公开的另一个方面提供了一种数据迁移装置,包括:

30、热度识别模块,用于响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的所述目标数据进行热度识别,得到热度识别结果;

31、数据迁移模块,用于在所述热度识别结果表征满足预设热度条件的情况下,将所述目标数据从所述第一存储库迁移至第二存储库中,得到迁移后的目标数据,其中,所述第二存储库的数据传输速度与所述第一存储库的数据传输速度不同;

32、数据比对模块,用于将所述目标数据与所述迁移后的目标数据进行数据比对,得到比对结果;

33、地址确定模块,用于在所述比对结果表征所述迁移后的目标数据与所述目标数据相同的情况下,将所述迁移后的目标数据在所述第二存储库中的存储地址作为所述迁移后的目标数据的访问地址。

34、本公开的另一个方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述数据迁移方法。

35、本公开的另一个方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述数据迁移方法。

36、本公开的另一个方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述数据迁移方法。

37、根据本公开提供的数据迁移方法,通过设置周期任务,对第一存储库中的目标数据定期进行热度识别,确定目标数据的热度是否满足预设热度条件,如果满足则将目标数据进行迁移,并在迁移后将迁移前后的目标数据进行比对,如果比对结果表征迁移前后的目标数据相同,则将迁移后的目标数据在第二存储库中的存储地址作为迁移后的目标数据的访问地址。由于设置周期任务,基于目标数据的历史访问次数,来对第一存储库中的目标数据进行热度识别,可以及时确定目标数据的热度情况,从而将目标数据迁移至应该处于的存储库,即可以将访问频次较高的数据存储至传输速度较快的存储库中,而对于不经常被访问的数据存储至传输速度较慢的存储库中,因此,至少部分的解决了对于频繁被访问的数据存在数据访问压力大的技术问题,实现了提升频繁被访问的数据响应时间以及节省输出传输速度较快数据库的存储资源的技术效果本文档来自技高网...

【技术保护点】

1.一种数据迁移方法,包括:

2.根据权利要求1所述的方法,其中,所述目标数据包括多个第一子数据;所述迁移后的目标数据包括多个第二子数据;

3.根据权利要求2所述的方法,其中,所述基于多个所述第一哈希值和多个所述第二哈希值,确定所述比对结果,包括:

4.根据权利要求3所述的方法,还包括:

5.根据权利要求1所述的方法,其中,所述基于目标数据的历史访问次数,对第一存储库中的所述目标数据进行热度识别,得到热度识别结果,包括:

6.根据权利要求1所述的方法,其中,所述目标数据具有数据属性信息,所述方法还包括:

7.根据权利要求1所述的方法,其中,所述在所述热度识别结果表征满足预设热度条件的情况下,将所述目标数据从所述第一存储库迁移至第二存储库中,得到迁移后的目标数据,包括:

8.一种数据迁移装置,包括:

9.一种电子设备,包括:

10.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~7中任一项所述的方法。

11.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~7中任一项所述的方法。

...

【技术特征摘要】

1.一种数据迁移方法,包括:

2.根据权利要求1所述的方法,其中,所述目标数据包括多个第一子数据;所述迁移后的目标数据包括多个第二子数据;

3.根据权利要求2所述的方法,其中,所述基于多个所述第一哈希值和多个所述第二哈希值,确定所述比对结果,包括:

4.根据权利要求3所述的方法,还包括:

5.根据权利要求1所述的方法,其中,所述基于目标数据的历史访问次数,对第一存储库中的所述目标数据进行热度识别,得到热度识别结果,包括:

6.根据权利要求1所述的方法,其中,所述目标数据具有数据属性...

【专利技术属性】
技术研发人员:张建荣魏亚东刘博朱宇戈
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1