一种基于多维数据融合的硬盘状态通用监测方法技术

本发明专利技术涉及一种基于多维数据融合的硬盘状态通用监测方法，属于数据存储技术领域。该方案中设计了一套硬盘空间状态轻量级映射表DMAP与硬盘细粒度IO统计方法；通过对SMART数据、Kernel日志、DMAP、IO细粒度信息处理、筛选得到的多维特征数据进行横向对比，实时快速地定位异常硬盘；通过对异常硬盘多维数据进行融合决策，排除状态误判，准确发现慢盘、故障盘。本发明专利技术是一种轻量级应用技术，能够在不影响存储业务的同时，提供快速定位慢盘、坏盘的服务，有效支撑存储系统的高性能、高可靠性。高可靠性。高可靠性。

【技术实现步骤摘要】
一种基于多维数据融合的硬盘状态通用监测方法


[0001]本专利技术属于数据存储
，具体涉及一种基于多维数据融合的硬盘状态通用监测方法。

技术介绍

[0002]在存储系统的生产环境中，硬盘问题高频发生，威胁着数据安全和存储系统性能。在高并发、高带宽的性能要求下，硬盘故障已经不是制约存储系统性能的主要因素，慢盘成为制约中小型存储系统性能的主要原因。现有的硬盘状态监测大多使用硬盘SMART信息，以及基于SMART信息的机器学习方法。但SMART信息不能在故障前报告错误，且只能报告少量故障；不同厂家、型号的硬盘报告的信息量不同，例如SAS盘、SSD仅报告少量特征，因此机器学习的方法只适用于有大量数据的某一型号硬盘，且不能发现系统中的慢盘，不是一种通用的硬盘状态监测技术。针对中小型存储系统与报告少量SMART信息的硬盘，亟需一种切实可行的、通用的硬盘状态监测技术。

技术实现思路

[0003](一)要解决的技术问题
[0004]本专利技术要解决的技术问题是：为中小型存储系统的各类机械盘、固态盘，提供一种生产环境切实可用的异常状态监测方法。
[0005](二)技术方案
[0006]为了解决上述技术问题，本专利技术提供了一种基于多维数据融合的硬盘状态通用监测方法，包括以下步骤：
[0007]采集存储系统中硬盘的多维数据，包括硬盘SMART数据、Kernel日志数据、轻量级映射表DMAP数据、IO细粒度统计数据、存储系统操作日志数据；
[0008]通过对所述多维数据进行模型匹配、关键信息提取或统计分析得到多维特征数据，并利用操作日志数据对多维特征数据进行数据筛选；
[0009]将筛选后的多维特征数据进行对比，将得到的异常数据进行融合处理及决策，定位慢速和故障两种状态的硬盘。
[0010]优选地，在采集所述多维数据之后，还对其中的DMAP数据进行如下管理：
[0011]首先是DMAP数据的初始化管理，将物理硬盘地址空间按照1024M的块大小进行切片，每一块地址空间对应DMAP数据的一个byte，它记录着对应地址空间数据不一致的次数，用多个byte来表征一个硬盘的状态。
[0012]在完成DMAP数据的初始化后，存储系统在校验完数据后，调用API提交校验结果，基于校验结果解析数据地址与物理地址的映射关系；
[0013]最后，维护DMAP数据与硬盘物理地址的动态映射，对增减的物理盘进行身份识别。
[0014]优选地，所采集的硬盘SMART数据、Kernel日志数据、存储系统操作日志数据、DMAP数据、以及IO细粒度统计数据中，前三者是存储系统能直接提供的数据，后两者是为表征硬
盘状态而生成的两种数据，其中，存储系统操作日志数据不参与横向对比。
[0015]优选地，通过对所述多维数据进行模型匹配、关键信息提取或统计分析得到多维特征数据具体为：
[0016]首先通过对硬盘SMART数据进行模型匹配得到一系列SMART特征；其次通过对Kernel日志数据进行分析，提取出有关硬盘的警告、错误信息，得到Kernel特征；然后通过对存储系统数据校验得到的DMAP数据进行分析统计得到DMAP特征；最后根据IO细粒度统计数据，即所统计的一段时间内不同大小等级的IO的时延、带宽、占比、重试次数信息，得到细粒度IO特征，所述SMART特征、Kernel特征、DMAP特征、细粒度IO特征就组成了多维特征数据。
[0017]优选地，所采集的多维数据中，IO细粒度统计信息的获取方式如下：
[0018]按IO大小，将IO分为四个等级：0
‑
4K，4
‑
16K，16
‑
512K，>512K，统计服务运行在内核态，收集每一次IO请求的信息，每单位时间统计分析一次，将IO不同等级占比、时延、带宽、重试次数信息存放到循环队列中，并通过socket将数据发送给应用程序。
[0019]优选地，利用操作日志数据对多维特征数据进行数据筛选的具体过程为：
[0020]存储系统操作日志数据解析，提取非法操作信息；
[0021]列出多维特征数据与非法操作具有时间相关的数据；
[0022]解析操作与特征数据的相关性，过滤掉多维特征数据中强相关的数据。
[0023]优选地，将筛选后的多维特征数据进行对比时，对比对象是同类硬盘，即有着相同型号并在存储系统中具备相同角色和地位的硬盘；在多维数据横向对比过程中，按特征进行一一对比，找出偏差异常的特征和硬盘，是否异常的判断标准是预设的；且每一维度的对比建立在要素一致的基础上。
[0024]优选地，对同类硬盘的多维特征数据进行横向对比时，横向对比流程包括系统解析、硬盘分类、数据对比三个部分：
[0025]首先解析存储系统，根据存储系统的特性和数据存放规则，按角色、位置、型号为硬盘标记label；
[0026]其次根据硬盘不同的label，将硬盘分为不同的组，同一组内的硬盘具有相同的角色、型号，存储系统将数据均匀分布在硬盘上；
[0027]最后，按组将这些硬盘的多维特征数据进行一一对比，找出有异常的硬盘，为异常数据融合处理及决策做数据准备。
[0028]优选地，将得到的异常数据进行融合处理及决策，定位慢速和故障两种状态的硬盘时，将这些多维特征数据中相关的特征进行融合，得到一系列不相关的特征，最后再进一步加权求和进行决策，得到硬盘的状态，包括正常、慢速、故障三种状态；其中加权求和时，不同的决策目的对应不同的加权系数，针对慢盘决策，细粒度IO特征和SMART特征的权重占比均比其余两种特征权重占比大；针对坏盘决策，DMAP特征、Kernel特征和SMART特征占比均比细粒度IO特征的权重占比大。决策的结果是两个二值化(0、1)的值，分别表示对硬盘慢速和故障两种状态的检测结果。
[0029]本专利技术还提供了一种用于实现所述方法的监测系统。
[0030](三)有益效果
[0031]为及时准确定位存储系统中的慢盘、坏盘，本专利技术设计了一种基于多维数据融合
的硬盘状态通用监测方法。该方案中设计了一套硬盘空间状态轻量级映射表DMAP与硬盘细粒度IO统计方法；通过对SMART数据、Kernel日志、DMAP、IO细粒度信息处理、筛选得到的多维特征数据进行横向对比，实时快速地定位异常硬盘；通过对异常硬盘多维数据进行融合决策，排除状态误判，准确发现慢盘、故障盘。本专利技术是一种轻量级应用技术，能够在不影响存储业务的同时，提供快速定位慢盘、坏盘的服务，有效支撑存储系统的高性能、高可靠性。
附图说明
[0032]图1为本专利技术的多维数据融合决策架构图；
[0033]图2为本专利技术的DMAP管理架构图；
[0034]图3为本专利技术的横向对比服务设计原理图；
[0035]图4为本专利技术的多维数据融合图。
具体实施方式
[0036]为使本专利技术的目的、内容和优点更加清楚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多维数据融合的硬盘状态通用监测方法，其特征在于，包括以下步骤：采集存储系统中硬盘的多维数据，包括硬盘SMART数据、Kernel日志数据、轻量级映射表DMAP数据、IO细粒度统计数据、存储系统操作日志数据；通过对所述多维数据进行模型匹配、关键信息提取或统计分析得到多维特征数据，并利用操作日志数据对多维特征数据进行数据筛选；将筛选后的多维特征数据进行对比，将得到的异常数据进行融合处理及决策，定位慢速和故障两种状态的硬盘。2.如权利要求1所述的方法，其特征在于，在采集所述多维数据之后，还对其中的DMAP数据进行如下管理：首先是DMAP数据的初始化管理，将物理硬盘地址空间按照1024M的块大小进行切片，每一块地址空间对应DMAP数据的一个byte，它记录着对应地址空间数据不一致的次数，用多个byte来表征一个硬盘的状态。在完成DMAP数据的初始化后，存储系统在校验完数据后，调用API提交校验结果，基于校验结果解析数据地址与物理地址的映射关系；最后，维护DMAP数据与硬盘物理地址的动态映射，对增减的物理盘进行身份识别。3.如权利要求1所述的方法，其特征在于，所采集的硬盘SMART数据、Kernel日志数据、存储系统操作日志数据、DMAP数据、以及IO细粒度统计数据中，前三者是存储系统能直接提供的数据，后两者是为表征硬盘状态而生成的两种数据，其中，存储系统操作日志数据不参与横向对比。4.如权利要求3所述的方法，其特征在于，通过对所述多维数据进行模型匹配、关键信息提取或统计分析得到多维特征数据具体为：首先通过对硬盘SMART数据进行模型匹配得到一系列SMART特征；其次通过对Kernel日志数据进行分析，提取出有关硬盘的警告、错误信息，得到Kernel特征；然后通过对存储系统数据校验得到的DMAP数据进行分析统计得到DMAP特征；最后根据IO细粒度统计数据，即所统计的一段时间内不同大小等级的IO的时延、带宽、占比、重试次数信息，得到细粒度IO特征，所述SMART特征、Kernel特征、DMAP特征、细粒度IO特征就组成了多维特征数据。5.如权利要求4所述的方法，其特征在于，所采集的多维数据中，IO细粒度统计信息的获取方式如下：按IO大小，将IO分为四个等级：0
‑
...

【专利技术属性】
技术研发人员：邓玲，刘彬彬，王振帅，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：