一种智能存储管理数据块的异构存储策略选举方法、装置制造方法及图纸

本发明专利技术提供一种智能存储管理数据块的异构存储策略选举方法、装置，所述方法包括如下步骤：获取集群上的数据的各项指标数据；根据获取的各项指标数据推演计算预测数据指标的综合终参；根据数据从冷到热的异构策略获取不同异构策略的平衡系数；将数据指标的综合终参与获取的异构策略平衡系数进行比较；根据比较结果确定异构策略；将确定的异构策略与数据原有的异构策略进行对比，若一致，则保持不变，若不一致，输出是否启动数据自动迁移的预警信息。用于为生产环境中HDFS SSM智能存储核心技术数据热度感知数据块选举、推荐、预测最合适的异构策略，为HDFS此领域技术革新提供评估结果，提高企业平台存储利用率。

【技术实现步骤摘要】
一种智能存储管理数据块的异构存储策略选举方法、装置
本专利技术涉及异构存储策略选举
，具体涉及一种智能存储管理数据块的异构存储策略选举方法、装置。
技术介绍
智能存储管理SmartStorageManagement(简称SSM)，提出面向分布式存储的智能管理架构，提供面向新型存储设备、高速网络、新计算的存储优化与数据优化解决方案，实现了端到端的数据管理服务。Hadoop社区在HDFS-7343(HDFSsmartstoragemanagement)以及相关JIRA中提出了HDFS智能存储管理的设计，提供一个全面而灵活的存储策略引擎，把文件属性、元数据、数据温度、存储类型、EC编解码器、可用的硬件功能、用户、应用程序首选项等考虑在内，以方便、智能和有效地使用纠删码、副本或其他存储策略，以及HDFS缓存工具、HSM产品和各种工具大型集群中的均衡器、移动器、磁盘均衡器等，未实现未发布。智能存储的核心技术是数据热度感知，数据热度将有助于找出甚至预测数据访问模式，从而能够针对热数据进行相应地优化处理，特别是在新型存储设备上将获得更高的收益。同时，该本文档来自技高网...

【技术保护点】
1.一种智能存储管理数据块的异构存储策略选举方法，其特征在于，包括如下步骤：/n获取集群上的数据的各项指标数据；/n根据获取的各项指标数据推演计算预测数据指标的综合终参；/n根据数据从冷到热的异构策略获取不同异构策略的平衡系数；/n将数据指标的综合终参与获取的异构策略平衡系数进行比较；/n根据比较结果确定异构策略；/n将确定的异构策略与数据原有的异构策略进行对比，若一致，则保持不变，若不一致，输出是否启动数据自动迁移的预警信息。/n

【技术特征摘要】
1.一种智能存储管理数据块的异构存储策略选举方法，其特征在于，包括如下步骤：
获取集群上的数据的各项指标数据；
根据获取的各项指标数据推演计算预测数据指标的综合终参；
根据数据从冷到热的异构策略获取不同异构策略的平衡系数；
将数据指标的综合终参与获取的异构策略平衡系数进行比较；
根据比较结果确定异构策略；
将确定的异构策略与数据原有的异构策略进行对比，若一致，则保持不变，若不一致，输出是否启动数据自动迁移的预警信息。


2.根据权利要求1所述的智能存储管理数据块的异构存储策略选举方法，其特征在于，获取集群上的数据的各项指标数据的步骤包括:
集群启动时间点为time1，每隔设定的时间获取一次集群上对应数据的数据热度、数据大小、数据血缘、集群存算能力各项指标；
当前时间为timeN，即当前获取的集群上的数据的各项指标数据有N组。


3.根据权利要求2所述的智能存储管理数据块的异构存储策略选举方法，其特征在于，获取集群上对应数据的数据热度、数据大小、数据血缘、集群存算能力各项指标的步骤包括：
通过集群数据库中AccessCount表获取当前数据热度指标文件访问频率，通过YARN任务平台中JOB执行情况获取计算任务调用频率；
通过数据大小获取当前数据大小详细指标文件字节长短和存储格式；
通过集群存储、计算性能测试指标获取当前集群存算能力详细指标；
通过大数据血缘关系获取当前数据血缘详细指标。


4.根据权利要求3所述的智能存储管理数据块的异构存储策略选举方法，其特征在于，根据获取的各项指标数据推演计算预测数据指标的综合终参的步骤包括：
根据获取的各项指标数据计算(N+M)组各项详细指标数据的数据热度终参、数据大小终参、集群存储能力终参、集群计算能力终参、集群存算能力终参、数据血缘终参；其中，B<M<N的自然数；
根据计算的(N+M)组各项指标数据的终参得到每个时间的综合终参；
调用BP神经网络算法，输入time1-timeN每个时间的综合终参、数据热度终参、数据大小终参、集群存算能力终参、数据血缘终参，以及time(N+1)的数据热度终参、数据大小终参数、集群存算能力终参、数据血缘终参，预测time(N+1)的综合终参；
循环计算time(N+x)综合终参，其中1<x<M+1的自然数。


5.根据权利要求4所述的智能存储管理数据块的异构存储策略选举方法，其特征在于，根据获取的各项指标数据计算(N+M)组各项详细指标数据的数据热度终参、数据大小终参、集群存储能力终参、集群计算能力终参、集群存算能力终参、数据血缘终参的步骤之前包括：
选取距当前时间之前获取的N组数据；其中，N<A时，选取实际组数，A<N时，取A组数据。


6.根据权利要求4所述的智能存储管理数据块的异构存储策略选举方法，其特征在于，将确定的异构策略与数据原有的异构策略进行对比，若一致，则保持不变，若不一致，输出是否启动数据自动迁移的预警信息的步骤包括：
将确定的异构策略与数据原有的异构策略进行对比，若一致，则保持不变，若不一致，则发出黄色预警，提示管理员是否启动...

【专利技术属性】
技术研发人员：周俊青，张东东，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32