【技术实现步骤摘要】
本专利技术实施例涉及数据处理，尤其涉及一种数据迁移方法、装置、电子设备及存储介质。
技术介绍
1、对象存储系统(object-based storage system)是综合了nas(network attachedstorage，网络附属存储)和san(storage area network，存储区域网络)的优点，同时具有san的高速直接访问和nas的数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。对象存储系统是海量数据存储系统，采用分布式架构实现。利用分布式的原理将数据分散多个处理单元，比如分区，而再将处理单元分配到多个节点是处理数据的有效方式。为了避免多个处理单元聚集到个别机器，从而导致cpu(centralprocessing unit，中央处理器)过载，磁盘占用过多，磁盘响应慢，数据倾斜等问题的出现，如何有效的协调和分配这些逻辑处理单元达到负载均衡的效果，进而提升系统的性能、稳定性以及容量利用率是对象存储系统必须考虑的问题。
2、目前对象存储系统中对数据处理单元或者数据块的平衡处理方式有许多，比如hdfs(hadoop distributed file system，分布式文件系统)的balancer策略(负载均衡策略)。虽然hdfs不是对象存储系统，而是数据分布式文件系统，但仍然需要考虑对象存储系统所面临的问题。再比如ozone(一种分布式存储系统)分布式对象存储系统，目标是确保集群中每个数据节点上存储的对象数量和数据量基本相当，以提高系统的数据访问性能、集群资源利用率和容错性
3、专利技术人在实现本专利技术的过程中，发现现有技术存在如下缺陷：现有适用于对象存储系统的平衡策略的数据迁移操作可能会消耗一定的时间，在迁移过程中，会占用一定的集群资源，并对节点上正在进行的读写操作产生一定的影响。同时与数据迁移相关的网络流量可能会对集群中其他网络活动产生影响。造成网络过载从而影响其他任务的处理能力。管理复杂性，需要管理员配置和监控，以确保其正常运行。它涉及监测节点上存储的对象数量、对象大小和磁盘使用情况等指标，并做出相应的迁移决策。对不同数据量的数据单元据控制不够灵活，需要人为控制比较多。并且没有考虑到与其他服务进行混合部署的时候，其他服务所带来的磁盘等因素的影响。
技术实现思路
1、本专利技术实施例提供一种数据迁移方法、装置、电子设备及存储介质，能够提高数据迁移处理的效率，提升系统的性能、稳定性和容量利用率。
2、根据本专利技术的一方面，提供了一种数据迁移方法，应用于对象存储系统的主管理节点，包括：
3、获取当前对象存储系统的集群统计状态数据；
4、在根据所述集群统计状态数据确定所述当前对象存储系统满足数据平衡条件，且确定存在待平衡数据桶的情况下，从所述待平衡数据桶中确定当前待平衡数据桶；
5、在确定所述当前待平衡数据桶满足数据迁移条件的情况下，对所述当前待平衡数据桶进行数据迁移处理。
6、根据本专利技术的另一方面，提供了一种数据迁移装置，配置于对象存储系统的主管理节点，包括：
7、集群统计状态数据获取模块，用于获取当前对象存储系统的集群统计状态数据；
8、当前待平衡数据桶确定模块，用于在根据所述集群统计状态数据确定所述当前对象存储系统满足数据平衡条件，且确定存在待平衡数据桶的情况下，从所述待平衡数据桶中确定当前待平衡数据桶；
9、数据迁移处理模块，用于在确定所述当前待平衡数据桶满足数据迁移条件的情况下，对所述当前待平衡数据桶进行数据迁移处理。
10、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
11、至少一个处理器；以及
12、与所述至少一个处理器通信连接的存储器；其中，
13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据迁移方法。
14、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据迁移方法。
15、本专利技术实施例通过对象存储系统的主管理节点获取集群统计状态数据，并根据集群统计状态数据确定当前对象存储系统满足数据平衡条件，且确定存在待平衡数据桶时，从待平衡数据桶中确定当前待平衡数据桶，进而在确定当前待平衡数据桶满足数据迁移条件的情况下，对当前待平衡数据桶进行数据迁移处理，解决现有数据迁移方法存在的数据迁移效率低下且迁移过程影响系统性能和稳定性等问题，能够提高数据迁移处理的效率，提升系统的性能、稳定性和容量利用率。
16、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种数据迁移方法，其特征在于，应用于对象存储系统的主管理节点，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述集群统计状态数据确定所述当前对象存储系统满足数据平衡条件，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述当前待平衡数据桶进行数据迁移处理，包括：
4.根据权利要求3所述的方法，其特征在于，所述数据平衡策略包括基于分区个数的平衡策略，所述根据所述数据迁移关联数据和所述数据平衡策略对所述当前待平衡数据桶进行数据迁移处理，包括：
5.根据权利要求3所述的方法，其特征在于，所述数据平衡策略包括基于分区磁盘使用的平衡策略，所述根据所述数据迁移关联数据和所述数据平衡策略对所述当前待平衡数据桶进行数据迁移处理，包括：
6.根据权利要求3所述的方法，其特征在于，所述数据平衡策略包括基于磁盘使用量的平衡策略，所述根据所述数据迁移关联数据和所述数据平衡策略对所述当前待平衡数据桶进行数据迁移处理，包括：
7.根据权利要求3所述的方法，其特征在于，所述数据平衡策略包括基于磁盘剩余量的平衡策略，
8.根据权利要求4-7任一所述的方法，其特征在于，所述对所述当前待平衡数据桶进行数据迁移处理，包括：
9.根据权利要求4-7任一所述的方法，其特征在于，所述对所述当前待平衡数据桶进行数据迁移处理，包括：
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
12.一种数据迁移装置，其特征在于，配置于对象存储系统的主管理节点，包括：
13.一种电子设备，其特征在于，所述电子设备包括：
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-11中任一所述的数据迁移方法。
...【技术特征摘要】
1.一种数据迁移方法，其特征在于，应用于对象存储系统的主管理节点，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述集群统计状态数据确定所述当前对象存储系统满足数据平衡条件，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述当前待平衡数据桶进行数据迁移处理，包括：
4.根据权利要求3所述的方法，其特征在于，所述数据平衡策略包括基于分区个数的平衡策略，所述根据所述数据迁移关联数据和所述数据平衡策略对所述当前待平衡数据桶进行数据迁移处理，包括：
5.根据权利要求3所述的方法，其特征在于，所述数据平衡策略包括基于分区磁盘使用的平衡策略，所述根据所述数据迁移关联数据和所述数据平衡策略对所述当前待平衡数据桶进行数据迁移处理，包括：
6.根据权利要求3所述的方法，其特征在于，所述数据平衡策略包括基于磁盘使用量的平衡策略，所述根据所述数据迁移关联数据和所述数据平衡策略对所述当前待平衡数据桶进行数据迁移处理，包括：<...
【专利技术属性】
技术研发人员：程捷，
申请(专利权)人：北京博睿宏远数据科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。