文件迁移方法、装置、存储介质及电子设备制造方法及图纸

技术编号:32547128 阅读:53 留言:0更新日期:2022-03-05 11:45
本公开涉及一种文件迁移方法、装置、存储介质及电子设备。该文件迁移方法应用于分布式存储系统,分布式存储系统包括多个存储节点,每一存储节点用于存储区块链账本数据,该方法包括:针对任一存储节点,在该存储节点上存储的总账本数据量大于多个存储节点的总账本数据量均值的情况下,根据该存储节点的磁盘剩余内存、磁盘占用率、总账本数据量、以及热点数据占比率中的至少一种信息判断是否对该存储节点上存储的至少部分账本数据进行文件迁移;在确定对该存储节点上存储的至少部分账本数据进行文件迁移的情况下,对该存储节点进行文件迁移处理。采用这种方法,可以保障该存储节点与分布式存储系统中其他存储节点负载均衡。与分布式存储系统中其他存储节点负载均衡。与分布式存储系统中其他存储节点负载均衡。

【技术实现步骤摘要】
文件迁移方法、装置、存储介质及电子设备


[0001]本公开涉及区块链
,具体地,涉及一种文件迁移方法、装置、存储介质及电子设备。

技术介绍

[0002]由于区块链具有去中心化、集体维护、高可信、可追溯、不可篡改、共识机制、智能合约等功能特性,所以区块链在越来越多的业务领域得以应用。区块链以链式结构存储账本数据,并以共识机制以及密码学等方式来保障账本数据的不可篡改,任何篡改操作都会导致整个账本不可用。简而言之,区块链账本只支持账本数据查询操作和账本数据写入操作,不支持账本数据修改操作和账本数据删除操作。由于区块链账本数据的不可删除,因此随着时间推移,区块链账本数据不断追加会导致账本数据“膨胀”隐患。
[0003]相关技术中,为了避免账本数据“膨胀”隐患,可将区块链的账本数据存储到分布式存储系统中,然而,久而久之,分布式存储系统中的各个存储节点之间可能存在负载不均衡的问题。

技术实现思路

[0004]本公开的目的是提供一种文件迁移方法、装置、存储介质及电子设备,以解决相关技术中存在的问题。
[0005]为了实现上述目的,本公开实施例的第一部分提供一种文件迁移方法,该方法应用于分布式存储系统,所述分布式存储系统包括多个存储节点,每一所述存储节点用于存储区块链账本数据,所述方法包括:
[0006]针对任一所述存储节点,在所述存储节点上存储的总账本数据量大于所述多个存储节点的总账本数据量均值的情况下,根据所述存储节点的磁盘剩余内存、磁盘占用率、所述总账本数据量、以及热点数据占比率中的至少一种信息判断是否对所述存储节点上存储的至少部分账本数据进行文件迁移;
[0007]在确定对所述存储节点上存储的至少部分账本数据进行文件迁移的情况下,对所述存储节点进行文件迁移处理。
[0008]可选地,所述对所述存储节点进行文件迁移处理,包括:
[0009]将所述存储节点确定为待迁移存储节点,并根据所述待迁移存储节点上存储的所述总账本数据量、所述多个存储节点的所述总账本数据量均值、以及预设影响因子计算所述待迁移存储节点上待迁移账本数据的数据总量;
[0010]根据所述数据总量以及单个账本数据的数据量确定所述待迁移账本数据的个数;
[0011]从所述待迁移存储节点中确定对应所述个数的所述待迁移账本数据;
[0012]针对每一所述待迁移账本数据,从除所述待迁移存储节点之外的其他存储节点中选择目标迁移存储节点,并将所述待迁移账本数据存储到所述目标迁移存储节点。
[0013]可选地,所述从所述待迁移存储节点中确定对应所述个数的所述待迁移账本数
据,包括:
[0014]获取所述待迁移存储节点上各所述账本数据的被查询次数;
[0015]根据所述待迁移存储节点上各所述账本数据的被查询次数,计算平均查询次数;
[0016]针对所述待迁移存储节点上的每一所述账本数据,在确定所述账本数据对应的被查询次数少于所述平均查询次数的情况下,将所述账本数据确定为候选待迁移账本数据,以得到候选待迁移账本数据池;
[0017]从所述候选待迁移账本数据池中随机选择对应所述个数的所述待迁移账本数据。
[0018]可选地,所述针对每一所述待迁移账本数据,从除所述待迁移存储节点之外的其他存储节点中选择目标迁移存储节点,包括:
[0019]确定除所述待迁移存储节点之外的第一候选存储节点池;
[0020]确定存储有所述待迁移账本数据的主本文件或副本文件的抵触存储节点;
[0021]从所述第一候选存储节点池中排除所述抵触存储节点,得到第二候选存储节点池;
[0022]从所述第二候选存储节点池中选择符合预设条件的所述目标迁移存储节点。
[0023]可选地,所述针对每一所述待迁移账本数据,从除所述待迁移存储节点之外的其他存储节点中选择目标迁移存储节点,包括:
[0024]确定除所述待迁移存储节点之外的第一候选存储节点池;
[0025]确定存储有所述待迁移账本数据的主本文件或副本文件的抵触存储节点;
[0026]从所述第一候选存储节点池中排除所述抵触存储节点,得到第二候选存储节点池;
[0027]从所述第二候选存储节点池中排除其他待迁移存储节点,得到第三候选存储节点池;
[0028]从所述第三候选存储节点池中选择符合预设条件的所述目标迁移存储节点。
[0029]可选地,所述预设条件包括磁盘剩余内存大于预设内存、磁盘占用率小于预设占用率、热点数据占比率小于预设占比率、响应时长小于预设时长中的至少一者。
[0030]可选地,所述根据所述存储节点的磁盘剩余内存、磁盘占用率、所述总账本数据量、以及热点数据占比率中的至少一种信息判断是否对所述存储节点上存储的至少部分账本数据进行文件迁移,包括:
[0031]将所述磁盘剩余内存、所述磁盘占用率、所述总账本数据量、以及所述热点数据占比率输入训练完成的支持向量机,得到所述支持向量机输出的表征是否进行文件迁移处理的结果。
[0032]本公开实施例的第二部分提供一种文件迁移装置,所述装置应用于分布式存储系统,所述分布式存储系统包括多个存储节点,每一所述存储节点用于存储区块链账本数据,所述装置包括:
[0033]判断模块,用于针对任一所述存储节点,在所述存储节点上存储的总账本数据量大于所述多个存储节点的总账本数据量均值的情况下,根据所述存储节点的磁盘剩余内存、磁盘占用率、所述总账本数据量、以及热点数据占比率中的至少一种信息判断是否对所述存储节点上存储的至少部分账本数据进行文件迁移;
[0034]执行模块,用于在确定对所述存储节点上存储的至少部分账本数据进行文件迁移
的情况下,对所述存储节点进行文件迁移处理。
[0035]可选地,所述执行模块包括:
[0036]第一计算子模块,用于将所述存储节点确定为待迁移存储节点,并根据所述待迁移存储节点上存储的所述总账本数据量、所述多个存储节点的所述总账本数据量均值、以及预设影响因子计算所述待迁移存储节点上待迁移账本数据的数据总量;
[0037]第一确定子模块,用于根据所述数据总量以及单个账本数据的数据量确定所述待迁移账本数据的个数;
[0038]第二确定子模块,用于从所述待迁移存储节点中确定对应所述个数的所述待迁移账本数据;
[0039]迁移子模块,用于针对每一所述待迁移账本数据,从除所述待迁移存储节点之外的其他存储节点中选择目标迁移存储节点,并将所述待迁移账本数据存储到所述目标迁移存储节点。
[0040]可选地,所述第二确定子模块包括:
[0041]获取子模块,用于获取所述待迁移存储节点上各所述账本数据的被查询次数;
[0042]第二计算子模块,用于根据所述待迁移存储节点上各所述账本数据的被查询次数,计算平均查询次数;
[0043]第三确定子模块,用于针对所述待迁移存储节点上的每一所述账本数据,在确定所述账本数本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种文件迁移方法,其特征在于,所述方法应用于分布式存储系统,所述分布式存储系统包括多个存储节点,每一所述存储节点用于存储区块链账本数据,所述方法包括:针对任一所述存储节点,在所述存储节点上存储的总账本数据量大于所述多个存储节点的总账本数据量均值的情况下,根据所述存储节点的磁盘剩余内存、磁盘占用率、所述总账本数据量、以及热点数据占比率中的至少一种信息判断是否对所述存储节点上存储的至少部分账本数据进行文件迁移;在确定对所述存储节点上存储的至少部分账本数据进行文件迁移的情况下,对所述存储节点进行文件迁移处理。2.根据权利要求1所述的方法,其特征在于,所述对所述存储节点进行文件迁移处理,包括:将所述存储节点确定为待迁移存储节点,并根据所述待迁移存储节点上存储的所述总账本数据量、所述多个存储节点的所述总账本数据量均值、以及预设影响因子计算所述待迁移存储节点上待迁移账本数据的数据总量;根据所述数据总量以及单个账本数据的数据量确定所述待迁移账本数据的个数;从所述待迁移存储节点中确定对应所述个数的所述待迁移账本数据;针对每一所述待迁移账本数据,从除所述待迁移存储节点之外的其他存储节点中选择目标迁移存储节点,并将所述待迁移账本数据存储到所述目标迁移存储节点。3.根据权利要求2所述的方法,其特征在于,所述从所述待迁移存储节点中确定对应所述个数的所述待迁移账本数据,包括:获取所述待迁移存储节点上各所述账本数据的被查询次数;根据所述待迁移存储节点上各所述账本数据的被查询次数,计算平均查询次数;针对所述待迁移存储节点上的每一所述账本数据,在确定所述账本数据对应的被查询次数少于所述平均查询次数的情况下,将所述账本数据确定为候选待迁移账本数据,以得到候选待迁移账本数据池;从所述候选待迁移账本数据池中随机选择对应所述个数的所述待迁移账本数据。4.根据权利要求2所述的方法,其特征在于,所述针对每一所述待迁移账本数据,从除所述待迁移存储节点之外的其他存储节点中选择目标迁移存储节点,包括:确定除所述待迁移存储节点之外的第一候选存储节点池;确定存储有所述待迁移账本数据的主本文件或副本文件的抵触存储节点;从所述第一候选存储节点池中排除所述抵触存储节点,得到第二候选存储节点池;从所述第二候选存储节点池中选择符合预设条件的所述目标迁移存储节点。5.根据权利要求...

【专利技术属性】
技术研发人员:王诗鈞何光宇徐石成
申请(专利权)人:东软集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1