【技术实现步骤摘要】
本专利技术涉及数据存储，具体是涉及一种基于分布式存储的数据智能管理方法及系统。
技术介绍
1、随着大数据时代的来临，数据量呈爆炸式增长，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式存储，是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
2、分布式存储技术被广泛应用于海量数据的处理和管理，但其数据管理的智能化程度有限，仍需人工介入进行配置和管理。因此，需要一种基于分布式存储的数据智能管理方法及系统，以实现数据的自动优化和管理。
3、目前市面上对于分布式存储的数据管理还存在着无法对数据准确分类，无法根据数据的访问信息，选取出数据中的热点数据，造成了无法将热点数据分配至响应速度快的节点，降低了访问效率，无法根据分布式存储节点的负载对分布式存储进行动态调整，无法对分布式存储节点的空余资源进行利用，造成了资源的浪费的问题。
技术实现思路
1、为解决上述技术问题，提供一种基于分布式存储的数据智能管理方法及系统，本技术方案解决了上述
技术介绍
中提出的无法对数据准确分类，无法根据数据的访问信息，选取出数据中的热点数据，造成了无法将热点数据分配至响应速度快的节点，降低了访问效率，无法根据分布式存储节点的负载对分布式存储进行动态调整，无法对
2、为达到以上目的，本专利技术采用的技术方案为：
3、一种基于分布式存储的数据智能管理方法，包括：
4、获取数据信息，所述数据信息包括数据属性信息和数据特征信息；
5、获取分布式存储分区信息，所述分布式存储分区信息包括分布式存储缓冲层信息和分布式存储节点信息；
6、根据数据信息，基于数据分类，获取数据块信息；
7、根据数据块信息，获取数据块访问信息，所述数据块访问信息包括数据访问方式信息和数据访问方式对应的数据访问频率信息；
8、根据数据块访问信息，获取数据块热点数据信息；
9、根据数据块热点数据信息和分布式存储节点信息，获取数据块存储规划信息；
10、根据数据块存储规划信息，对数据进行分布式存储；
11、获取分布式存储节点负载信息，所述分布式存储节点负载信息包括分布式存储节点负载状态信息、分布式存储节点负载空余资源信息和分布式存储节点响应速度信息；
12、根据分布式存储节点负载信息，对分布式存储进行动态调整；
13、获取分布式存储节点响应信息；
14、根据分布式存储节点响应信息，基于响应时间阈值，获取数据响应故障信息；
15、根据数据响应故障信息，获取数据副本节点信息；
16、根据数据副本节点信息，输出响应数据。
17、优选的，所述根据数据信息，基于数据分类，获取数据块信息，具体包括：
18、根据数据信息，获取数据属性信息，所述数据属性信息包括数据类型信息和数据格式信息；
19、根据数据属性信息，对数据进行数据格式统一，获取修正数据信息；
20、根据修正数据信息，基于哈希去重法，获取去重数据信息；
21、根据去重数据信息，获取去重数据缺失信息；
22、基于数据分布式存储需求，获取数据缺失阈值；
23、根据去重数据缺失信息和数据缺失阈值，判断去重数据缺失信息是否超出数据缺失阈值，若是，则该去重数据不符合分布式存储标准，若否，则根据去重数据信息，基于数据标准化，获取标准数据信息；
24、根据标准数据信息，获取标准数据特征信息，所述标准数据特征信息包括标准数据关键词信息和标准数据时间戳信息；
25、根据标准数据特征信息，对标准数据进行分类，获取数据块信息。
26、优选的，所述根据数据块热点数据信息和分布式存储节点信息，获取数据块存储规划信息，具体包括：
27、根据数据块热点数据信息，基于数据块热点指数对数据块进行分类，获取数据块分类信息；
28、根据数据块分类信息，获取第一热点数据块信息；
29、根据分布式存储分区信息，获取分布式存储缓冲层信息；
30、根据第一热点数据块信息和分布式存储缓冲层信息，将第一热点数据块分配至分布式存储缓冲层，获取缓冲层存储规划信息；
31、根据数据块分类信息，获取第二热点数据块信息和第三热点数据块信息；
32、根据第二热点数据块信息和第三热点数据块信息，基于数据块热点指数从大到小顺序对数据块进行排序，获取数据块排序信息；
33、根据数据块排序信息，对数据块存储进行规划，获取节点存储信息；
34、根据分布式存储缓冲层信息和节点存储信息，获取数据块存储规划信息。
35、优选的，所述根据数据块热点数据信息，基于数据块热点指数对数据块进行分类，获取数据块分类信息，具体包括：
36、根据数据块热点数据信息，获取数据块热点指数；
37、基于数据块访问需求，获取数据块热点指数第一阈值和数据块热点指数第二阈值；
38、根据数据块热点指数、数据块热点指数第一阈值和数据块热点指数第二阈值，对数据块进行分类，获取数据块分类信息；
39、其中，若数据块热点指数高于数据块热点指数第一阈值，则将该数据块划分为第一热点数据块；
40、若数据块热点指数低于数据块热点指数第一阈值且高于数据块热点指数第二阈值，则将该数据块划分为第二热点数据块；
41、若数据块热点指数低于数据块热点指数第二阈值，则将该数据块划分为第三热点数据块；
42、其中，数据块热点指数的计算公式为：
43、
44、式中，q为数据块热点指数，si为数据块第i个数据的大小，s为数据块的大小，ωij为数据块第i个数据第j种访问方式的访问频率，wj为数据块第j种访问方式的热点系数，n为数据块数据的总数目，m为数据块访问方式的总数目。
45、优选的，所述根据数据块排序信息，对数据块存储进行规划，获取节点存储信息，具体包括：
46、根据分布式存储分区信息，获取分布式存储节点信息；
47、根据第二热点数据块信息、第三热点数据块信息和分布式存储节点信息，基于分布式存储节点匹配评估模型，获取分布式存储节点匹配指数；
48、根据分布式存储节点匹配指数和数据块排序信息，对数据块存储进行规划，获取节点存储信息；
49、根据第一热点数据块信息、第二热点数据块信息和第三热点数据块信息，基于数据块热点指数从大到小顺序对数据块进行排序，获取数据块副本信息；
50、根据节点存储本文档来自技高网...
【技术保护点】
1.一种基于分布式存储的数据智能管理方法，其特征在于，包括：
2.根据权利要求1所述的一种基于分布式存储的数据智能管理方法，其特征在于，所述根据数据信息，基于数据分类，获取数据块信息，具体包括：
3.根据权利要求1所述的一种基于分布式存储的数据智能管理方法，其特征在于，所述根据数据块热点数据信息和分布式存储节点信息，获取数据块存储规划信息，具体包括：
4.根据权利要求3所述的一种基于分布式存储的数据智能管理方法，其特征在于，所述根据数据块热点数据信息，基于数据块热点指数对数据块进行分类，获取数据块分类信息，具体包括：
5.根据权利要求3所述的一种基于分布式存储的数据智能管理方法，其特征在于，所述根据数据块排序信息，对数据块存储进行规划，获取节点存储信息，具体包括：
6.根据权利要求1所述的一种基于分布式存储的数据智能管理方法，其特征在于，所述根据分布式存储节点负载信息，对分布式存储进行动态调整，具体包括：
7.一种基于分布式存储的数据智能管理系统，用于实现如权利要求1-6任一项所述的智能管理方法，其特征在于，
8.根据权利要求7所述的一种基于分布式存储的数据智能管理系统，其特征在于，所述主控制模块，具体包括：
9.根据权利要求7所述的一种基于分布式存储的数据智能管理系统，其特征在于，所述信息获取模块，具体包括：
10.根据权利要求7所述的一种基于分布式存储的数据智能管理系统，其特征在于，所述计算模块，具体包括：
...【技术特征摘要】
1.一种基于分布式存储的数据智能管理方法，其特征在于，包括：
2.根据权利要求1所述的一种基于分布式存储的数据智能管理方法，其特征在于，所述根据数据信息，基于数据分类，获取数据块信息，具体包括：
3.根据权利要求1所述的一种基于分布式存储的数据智能管理方法，其特征在于，所述根据数据块热点数据信息和分布式存储节点信息，获取数据块存储规划信息，具体包括：
4.根据权利要求3所述的一种基于分布式存储的数据智能管理方法，其特征在于，所述根据数据块热点数据信息，基于数据块热点指数对数据块进行分类，获取数据块分类信息，具体包括：
5.根据权利要求3所述的一种基于分布式存储的数据智能管理方法，其特征在于，所述根据数据块排序信息，对...
【专利技术属性】
技术研发人员：张腾，谢作斌，怀丹阳，
申请(专利权)人：深圳市爱瑞古德科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。