一种磁盘阵列数据分布方法及系统技术方案

本发明专利技术提出一种磁盘阵列数据分布方法及系统，该方法包括：采集磁盘阵列的Ｉ／Ｏ访问数据；计算磁盘阵列Ｉ／Ｏ访问的特征参数，包括磁盘访问状态观测概率矩阵、可观测符号的集合、磁盘访问状态的集合、初始状态概率矩阵，以及状态转移概率分布，据以构建磁盘阵列Ｉ／Ｏ访问分布状态的隐马尔科夫模型；基于构建好的隐马尔科夫模型进行计算，得到具备最大Ｉ／Ｏ概率的状态序列，以其作为最有可能的磁盘Ｉ／Ｏ访问状态输出序列；对所述最有可能的磁盘Ｉ／Ｏ访问状态输出序列进行分析，找到热点磁盘、热数据、冷数据分布，据以制定数据重新分布策略；根据所述数据重新分布策略，进行磁盘的数据迁移。该方法可以大大提高磁盘访问性能。

【技术实现步骤摘要】

本专利技术涉及一种优化磁盘阵列数据分布的技术，通常用于大规模的、密集访问的存储系统的应用。
技术介绍
随着信息化速度的加快，数据量和访问量爆炸性地增加，存储系统和磁盘阵列正 面临着性能和高数据访问量的压力。 目前， 一些主要的优化磁盘阵列数据分布技术主要是针对当前时刻的磁盘I/O分 布信息来进行一些优化，但是当前的磁盘I/O分布信息并不能够正确地反应下一个时间点 的磁盘I/O信息，这样，即便是对数据分布进行了一些优化，也不能够很好地达到优化的效 果。申请人通过仔细研究后，考虑到如果能够利用采集到的当前时刻的磁盘1/0信息，去准 确的预测未来磁盘的1/0访问分布信息，来制定相应的磁盘数据优化策略，则可以更为可 靠地提高磁盘阵列的性能。 因此如何提供一种方案，使其在显著提高磁盘阵列性能，保证企业对存储系统在 性能、安全性、可靠性等多方面的要求的同时，能够应对当今数据快速增长、大规模集中数 据访问的挑战，是一个亟待解决的问题。
技术实现思路
本专利技术要解决的技术问题是，提一种磁盘阵列数据分布方法及系统，可以在传统 的优化磁盘阵列数据分布技术上再次显著提升性能，有助于解决磁盘阵列访问瓶颈的问 题，从而大大提高磁盘访问性能，热别是针对大规模的、访问频繁的视频存储等应用，也有 助于节约企业成本、有助于企业采取更为灵活的存储架构方式。 为了解决上述技术问题，本专利技术提供了一种磁盘阵列数据分布系统，包括依次相连的一数据采集模块、一隐马尔科夫模型建立模块、一磁盘I/O状态和分布预测模块、一预测状态分析模块、一数据重分布策略分析模块，以及一数据迁移模块，其中 所述数据采集模块，用以采集磁盘阵列中各磁盘的1/0访问数据； 所述隐马尔科夫模型建立模块，用以根据所述磁盘阵列中各磁盘的1/0访问数据，建立磁盘阵列1/0访问分布状态的隐马尔科夫模型； 所述磁盘1/0状态和分布预测模块，用以根据所述磁盘阵列1/0访问分布状态的 隐马尔科夫模型，计算出磁盘1/0处于不同运行状态下的1/0访问概率，选取具备最大I/O 概率的状态序列作为最有可能的磁盘1/0访问状态输出序列； 所述数据重分布策略分析模块，用以对计算出的最有可能的磁盘I/O访问状态输 出序列进行分析，得到热点磁盘、热数据、冷数据的分布情况； 所述数据重分布策略分析模块，用以根据分析出的热点磁盘、热数据、冷数据的分 布情况制定数据重分布的策略； 所述数据迁移模块，用以根据所述数据重分布策略进行数据迁移。 进一步地，上述系统还可具有以下特点 所述隐马尔科夫模型建立模块建立磁盘阵列I/O访问分布状态的隐马尔科夫模型包括 根据所述磁盘阵列中各磁盘的1/0访问数据，计算磁盘访问状态的集合、模型的隐状态个数、可观测符号的集合、磁盘访问状态观测概率矩阵、磁盘访问状态的集合，以及初始状态概率矩阵； 根据磁盘访问状态观测概率矩阵、模型的隐状态个数、可观测符号的集合、磁盘访问状态的集合，以及初始状态概率矩阵，构造状态空间到观察的特征空间的映射，计算出状态转移概率分布； 根据磁盘访问状态观测概率矩阵、可观测符号的集合、磁盘访问状态的集合、初始状态概率矩阵，以及状态转移概率分布构建磁盘阵列1/0访问分布状态的隐马尔科夫模型。进一步地，上述系统还可具有以下特点 还包括一日志信息模块，其中 所述日志信息模块，用以记录系统信息。 进一步地，上述系统还可具有以下特点 还包括一界面管理模块，其中 所述界面管理模块，用以对所述数据采集模块、所述预测状态分析模块、所述数据重分布策略分析模块，以及所述日志信息模块中的一个或多个进行监控。 为了解决上述技术问题，本专利技术还提供了一种磁盘阵列数据分布方法，包括步骤 采集磁盘阵列中各磁盘的I/O访问数据； 计算磁盘阵列I/O访问的特征参数，包括磁盘访问状态观测概率矩阵、可观测符号的集合、磁盘访问状态的集合、初始状态概率矩阵，以及状态转移概率分布，并以此来构建磁盘阵列1/0访问分布状态的隐马尔科夫模型； 根据所述磁盘阵列I/O访问分布状态的隐马尔科夫模型，计算出磁盘I/O处于不同运行状态下的1/0概率，选取具备最大1/0概率的状态序列作为最有可能的磁盘1/0访问状态输出序列； 对所述最有可能的磁盘I/O访问状态输出序列进行分析，找到热点磁盘、热数据、冷数据分布，据以制定数据重新分布策略； 根据制定好的数据重新分布策略，进行磁盘的数据迁移处理。 进一步地，上述方法还可具有以下特点 所述建立磁盘阵列I/O访问分布状态的隐马尔科夫模型包括步骤 根据所述磁盘阵列中各磁盘的I/O访问数据，计算磁盘访问状态的集合、模型的隐状态个数、可观测符号的集合、磁盘访问状态观测概率矩阵、磁盘访问状态的集合，以及初始状态概率矩阵； 根据磁盘访问状态观测概率矩阵、模型的隐状态个数、可观测符号的集合、磁盘访问状态的集合，以及初始状态概率矩阵，构造状态空间到观察的特征空间的映射，计算出状态转移概率分布； 根据磁盘访问状态观测概率矩阵、可观测符号的集合、磁盘访问状态的集合、初始状态概率矩阵，以及状态转移概率分布构建磁盘阵列1/0访问分布状态的隐马尔科夫模型。 进一步地，上述方法还可具有以下特点 通过人机交互界面向用户展示采集到的磁盘阵列1/0信息、预测出的最有可能的磁盘I/O访问状态输出序列、热点盘信息、磁盘数据迁移信息中的一种或者多种。 本专利技术提供的一种磁盘阵列数据分布方法及系统，可以在传统的优化磁盘阵列数据分布技术上再次显著提升性能，有助于解决磁盘阵列访问瓶颈的问题，从而大大提高磁盘访问性能，热别是针对大规模的、访问频繁的视频存储等应用，也有助于节约企业成本、有助于企业采取更为灵活的存储架构方式，可以显著提高磁盘阵列性能，能够保证企业对存储系统在性能、安全性、可靠性等多方面的要求的同时，应对当今数据快速增长、大规模集中数据访问的挑战。附图说明 图1为本专利技术实施例一种磁盘阵列数据分布系统组成示意 图2为本专利技术实施例一种磁盘阵列数据分布方法流程示意图。具体实施例方式本专利技术提供了一种磁盘阵列数据分布系统及方法，其基本构思是将隐马尔科夫模型与磁盘阵列数据分布技术有效地结合，利用隐马尔科夫模型优化数据在磁盘阵列中的分布，通过采集一段时间内的I/O访问信息样本，利用隐马尔科夫模型对样本分析并进行磁盘访问信息的预测，根据预测的结果重新组织数据在磁盘阵列上的分布，将冷热数据分离，通过替换业务数据访问路径来提升磁盘阵列性能。 下面将结合附图来详细说明本专利技术实施方案。参见图l，该图示出了本专利技术实施例一种磁盘阵列数据分布系统，包括界面管理模块、数据采集模块、隐马尔科夫模型建立模块、磁盘1/0状态和分布预测模块、预测状态分析模块、数据重分布策略分析模块、数据迁移模块，以及日志信息模块，其中 所述界面管理模块，可以对所述数据采集模块、所述预测状态分析模块、所述数据重分布策略分析模块，以及所述日志信息模块中的一个或者多个进行监控，从而可以为用户提供对采集的磁盘阵列1/0信息查看、预测出的最有可能的磁盘1/0访问状态输出序列、热点盘信息查看、磁盘数据迁移信息查看等功能。所述数据采集模块，用以采集磁盘阵列中各磁盘的1/0访问数据。 所述数据采集模块，可以根据一预设的采集策略，采集磁盘阵列中各磁盘的I/O访问数据，本文档来自技高网...

【技术保护点】
一种磁盘阵列数据分布系统，其特征在于，包括依次相连的一数据采集模块、一隐马尔科夫模型建立模块、一磁盘Ｉ／Ｏ状态和分布预测模块、一预测状态分析模块、一数据重分布策略分析模块，以及一数据迁移模块，其中：所述数据采集模块，用以采集磁盘阵列中各磁盘的Ｉ／Ｏ访问数据；所述隐马尔科夫模型建立模块，用以根据所述磁盘阵列中各磁盘的Ｉ／Ｏ访问数据，建立磁盘阵列Ｉ／Ｏ访问分布状态的隐马尔科夫模型；所述磁盘Ｉ／Ｏ状态和分布预测模块，用以根据所述磁盘阵列Ｉ／Ｏ访问分布状态的隐马尔科夫模型，计算出磁盘Ｉ／Ｏ处于不同运行状态下的Ｉ／Ｏ访问概率，选取具备最大Ｉ／Ｏ概率的状态序列作为最有可能的磁盘Ｉ／Ｏ访问状态输出序列；所述数据重分布策略分析模块，用以对计算出的最有可能的磁盘Ｉ／Ｏ访问状态输出序列进行分析，得到热点磁盘、热数据、冷数据的分布情况；所述数据重分布策略分析模块，用以根据分析出的热点磁盘、热数据、冷数据的分布情况制定数据重分布的策略；所述数据迁移模块，用以根据所述数据重分布策略进行数据迁移。

【技术特征摘要】

【专利技术属性】
技术研发人员：张雷，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：11[中国|北京]