一种基于大数据的数据存储管理系统及方法技术方案

本发明专利技术涉及存储优化技术领域，具体为一种基于大数据的数据存储管理系统及方法，系统包括效能监测模块、介质评估模块、决策生成模块、策略执行模块和效果反馈模块。本发明专利技术中，通过采集输入输出延迟、介质健康衰减曲线与带宽波动图谱，构建动态特征空间，结合李雅普诺夫指数判断系统稳定性，实现性能异常提前预警，融合擦写周期、寻道错误率、电荷保持率等健康指标，结合访问频率与负载压力，计算补偿系数，提升异构介质协同效率，迁移前评估代价与拓扑调整收益，提升资源配置精准性，动态调整热冷数据分布与节点负载，增强系统调度灵活性，对比吞吐量、介质磨损率与同步延迟，量化配置变更带来的稳定性增益，构建从识别到反馈的闭环流程。

【技术实现步骤摘要】

本专利技术涉及存储优化，尤其涉及一种基于大数据的数据存储管理系统及方法。

技术介绍

1、存储优化
包含存储资源管理、数据存取效率提升、存储介质性能调优等技术方向，其核心内容围绕存储系统架构设计、数据分布策略优化、存储设备效能评估三个维度展开系统性技术布局。该领域通过构建存储资源动态分配模型，实施存储虚拟化层重构，建立数据冷热分级机制，形成覆盖存储网络拓扑优化、存储设备健康度监测、存储容量预测预警的完整技术体系。

2、其中，基于大数据的数据存储管理系统及方法是指针对百pb级非结构化数据存储场景下产生的跨地域存储节点协同效率低下、混合存储介质适配性不足、数据访问路径冗余度高等技术事项的解决方案。该技术方案通过存储区域网络管理协议优化实现异构存储设备统一纳管，采用负载均衡算法完成数据块级智能分布，运用存储介质性能优化算法实施ssd与hdd混合阵列的io调度策略调整，结合存储资源画像建模技术构建多维度的存储性能评估体系。

3、在百pb级非结构化数据的跨地域存储场景下，现有系统通常依赖静态分配策略与固定路径访问机制，未能针对输入输出延迟本文档来自技高网...

【技术保护点】

1.一种基于大数据的数据存储管理系统，其特征在于：所述系统包括：

2.根据权利要求1所述的基于大数据的数据存储管理系统，其特征在于：所述存储效能混沌预警信号包括输入输出延迟序列、存储介质健康度衰减曲线、网络带宽波动图谱、李雅普诺夫指数、系统稳定性阈值，所述混合存储介质适配决策表包括擦写周期计数、寻道错误率、电荷保持率、数据访问频率分布、存储池负载压力值、介质性能衰退补偿系数，所述数据动态分布策略包括数据迁移代价、存储拓扑重构收益预测值、混合存储介质适配决策表，所述存储拓扑优化配置包括冷热数据跨介质迁移、存储节点负载均衡调整、冗余副本拓扑重构操作，所述存储优化效能评估结果包括输...

【技术特征摘要】

1.一种基于大数据的数据存储管理系统，其特征在于：所述系统包括：

2.根据权利要求1所述的基于大数据的数据存储管理系统，其特征在于：所述存储效能混沌预警信号包括输入输出延迟序列、存储介质健康度衰减曲线、网络带宽波动图谱、李雅普诺夫指数、系统稳定性阈值，所述混合存储介质适配决策表包括擦写周期计数、寻道错误率、电荷保持率、数据访问频率分布、存储池负载压力值、介质性能衰退补偿系数，所述数据动态分布策略包括数据迁移代价、存储拓扑重构收益预测值、混合存储介质适配决策表，所述存储拓扑优化配置包括冷热数据跨介质迁移、存储节点负载均衡调整、冗余副本拓扑重构操作，所述存储优化效能评估结果包括输入输出吞吐量、介质磨损率、跨域同步延迟。

3.根据权利要求1所述的基于大数据的数据存储管理系统，其特征在于：所述效能监测模块包括：

4.根据权利要...

【专利技术属性】
技术研发人员：李雨大川，邱星潼，王玉龙，吴明聪，郭伟，
申请(专利权)人：成都始杉科技有限公司，
类型：发明
国别省市：