一种基于分布式存储的数据智能管理方法及系统技术方案

技术编号:42114512 阅读:16 留言:0更新日期:2024-07-25 00:35
本发明专利技术公开了一种基于分布式存储的数据智能管理方法及系统,涉及数据存储技术领域,包括获取数据信息和分布式存储分区信息,根据数据块热点数据信息和分布式存储节点信息,获取数据块存储规划信息,根据分布式存储节点负载信息,对分布式存储进行动态调整。本发明专利技术通过对标准数据进行分类,提高了数据管理的智能化程度,通过数据块热点指数,提高了数据分布式存储效率,同时确保了高频率访问数据的访问效率,通过数据块副本节点匹配指数,在确保数据块故障时访问数据块副本的同时提高数据块副本的响应速率,通过分布式存储节点负载评估指数,对分布式存储进行动态调整,避免节点负载过高,影响热点数据的访问速度。

【技术实现步骤摘要】

本专利技术涉及数据存储,具体是涉及一种基于分布式存储的数据智能管理方法及系统


技术介绍

1、随着大数据时代的来临,数据量呈爆炸式增长,传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式存储,是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

2、分布式存储技术被广泛应用于海量数据的处理和管理,但其数据管理的智能化程度有限,仍需人工介入进行配置和管理。因此,需要一种基于分布式存储的数据智能管理方法及系统,以实现数据的自动优化和管理。

3、目前市面上对于分布式存储的数据管理还存在着无法对数据准确分类,无法根据数据的访问信息,选取出数据中的热点数据,造成了无法将热点数据分配至响应速度快的节点,降低了访问效率,无法根据分布式存储节点的负载对分布式存储进行动态调整,无法对分布式存储节点的空余资源进行利用,造成本文档来自技高网...

【技术保护点】

1.一种基于分布式存储的数据智能管理方法,其特征在于,包括:

2.根据权利要求1所述的一种基于分布式存储的数据智能管理方法,其特征在于,所述根据数据信息,基于数据分类,获取数据块信息,具体包括:

3.根据权利要求1所述的一种基于分布式存储的数据智能管理方法,其特征在于,所述根据数据块热点数据信息和分布式存储节点信息,获取数据块存储规划信息,具体包括:

4.根据权利要求3所述的一种基于分布式存储的数据智能管理方法,其特征在于,所述根据数据块热点数据信息,基于数据块热点指数对数据块进行分类,获取数据块分类信息,具体包括:

5.根据权利要求3所述...

【技术特征摘要】

1.一种基于分布式存储的数据智能管理方法,其特征在于,包括:

2.根据权利要求1所述的一种基于分布式存储的数据智能管理方法,其特征在于,所述根据数据信息,基于数据分类,获取数据块信息,具体包括:

3.根据权利要求1所述的一种基于分布式存储的数据智能管理方法,其特征在于,所述根据数据块热点数据信息和分布式存储节点信息,获取数据块存储规划信息,具体包括:

4.根据权利要求3所述的一种基于分布式存储的数据智能管理方法,其特征在于,所述根据数据块热点数据信息,基于数据块热点指数对数据块进行分类,获取数据块分类信息,具体包括:

5.根据权利要求3所述的一种基于分布式存储的数据智能管理方法,其特征在于,所述根据数据块排序信息,对...

【专利技术属性】
技术研发人员:张腾谢作斌怀丹阳
申请(专利权)人:深圳市爱瑞古德科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1