一种磁盘识别方法及装置制造方法及图纸

本发明专利技术提供一种磁盘识别方法及装置，获取数据中心中当前运行的所有磁盘的磁盘数据；基于预先构建的磁盘预测模型对磁盘数据进行处理，得到目标磁盘；针对每一目标磁盘，基于预先构建的磁盘识别模型对磁盘参数进行处理，得到每一目标磁盘的磁盘分值；在确定磁盘分值大于预设限值时，确定磁盘分值对应的目标磁盘为隐性坏盘。在本方案中，通过磁盘预测模型对磁盘数据进行处理，确定目标磁盘；并利用磁盘识别模型对目标磁盘进行二次识别处理，确定磁盘分值，以确定目标磁盘是否为隐性坏盘，在确定磁盘分值大于预设限值时，确定磁盘分值对应的目标磁盘为隐性坏盘。能够规避隐性坏盘所造成的计算倾斜等问题，且能够提高磁盘的鲁棒性和可用性。用性。用性。

【技术实现步骤摘要】
一种磁盘识别方法及装置


[0001]本专利技术涉及磁盘识别
，尤其涉及一种磁盘识别方法及装置。

技术介绍

[0002]随着大数据时代的到来，数据的可靠性是企业和数据中心最为关注的问题之一。磁盘是服务器中重要的存储设备，当磁盘中的计算节点存在隐患时，就会发生计算倾斜，从而引起集群倾斜，继而造成数据中心的磁盘性能下降甚至不可用。
[0003]目前，常收集服务器中磁盘报错的硬盘自检(Self
‑
Monitoring，Analysis and Reporting Technology，SMART)日志信息。运维人员基于经验对收集到的SMART日志信息进行分析，从而确定可能会故障的磁盘。通过上述方式较难发现磁盘存在读写报错，即磁盘中的计算节点所存在隐患不容易被找到，因此在磁盘的隐患发生时，会引起集群倾斜，继而造成数据中心的磁盘性能下降甚至不可用。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种磁盘识别方法及装置，以解决现有技术中。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：
[0006]本专利技术实施例一方面示出了一种磁盘识别方法，所述方法包括：
[0007]获取数据中心中当前运行的所有磁盘的磁盘数据；
[0008]基于预先构建的磁盘预测模型对所述磁盘数据进行处理，得到目标磁盘，所述目标磁盘为可能存在隐患的磁盘，所述磁盘预测模型是利用第一预设历史时间段内数据库的磁盘输入/输出I/O数据进行训练得到的，所述目标磁盘的数量至少为一个；
[0009]针对每一目标磁盘，基于预先构建的磁盘识别模型对磁盘参数进行处理，得到每一目标磁盘的磁盘分值，所述磁盘参数是对目标磁盘的硬盘自检SMART日志信息进行处理得到的，所述磁盘识别模型是利用第二预设历史时间段内磁盘的SMART日志信息进行训练得到的；
[0010]在确定所述磁盘分值大于预设限值时，确定所述磁盘分值对应的目标磁盘为隐性坏盘。
[0011]可选的，所述利用预设历史时间段内数据库的磁盘I/O数据进行训练得到磁盘预测模型的过程，包括：
[0012]获取第一预设历史时间段内数据库中的磁盘I/O数据，并将所述磁盘I/O数据分为训练集和测试集；
[0013]对所述训练集进行分类处理，并提取每一类训练集中的特征数据；
[0014]基于所述每一类训练集中的特征数据进行训练，得到训练完成的初始磁盘预测模型；
[0015]利用所述测试集对所述初始磁盘预测模型进行验证测试，直至得到的测试结果与预期结果相同，确定当前训练得到的初始磁盘预测模型为磁盘预测模型，其中，所述测试结
果是在所述初始磁盘预测模型中对所述测试集进行预测得到的。
[0016]可选的，所述利用第二预设历史时间段内磁盘的SMART日志信息进行训练得到磁盘识别模型的过程包括：
[0017]获取第二预设历史时间段内磁盘的SMART日志信息，并将所述SMART日志信息作为训练集；
[0018]基于所述训练集对专家模型进行训练，得到训练完成的磁盘识别模型。
[0019]可选的，在基于预先构建的磁盘预测模型对所述磁盘数据进行处理，得到目标磁盘之后，还包括：
[0020]针对每一目标磁盘，对所述目标磁盘的SMART日志信息进行处理，得到的磁盘参数；
[0021]对每一目标磁盘所对应的磁盘参数进行计算，得到每一目标磁盘对应的磁盘分值。
[0022]可选的，所述在确定所述磁盘分值大于预设限值时，确定所述磁盘分值对应的目标磁盘为隐性坏盘，包括：
[0023]判断每一目标磁盘的所述磁盘分值是否大于预设限值；
[0024]若存在磁盘分值大于预设限值，则将磁盘分值大于预设限值的目标磁盘作为隐性坏盘。
[0025]本专利技术实施例另一方面示出了一种磁盘识别装置，所述装置包括：
[0026]数据接入单元，用于获取数据中心中当前运行的所有磁盘的磁盘数据；
[0027]磁盘预测模型，用于基于预先构建的磁盘预测模型对所述磁盘数据进行处理，得到目标磁盘，所述目标磁盘为可能存在隐患的磁盘，所述磁盘预测模型是利用第一构建单元构建的，所述目标磁盘的数量至少为一个；
[0028]磁盘识别模型，用于针对每一目标磁盘，基于预先构建的磁盘识别模型对磁盘参数进行处理，得到每一目标磁盘的磁盘分值，所述磁盘参数是对目标磁盘的SMART日志信息进行处理得到的，所述磁盘识别模型是利用第二构建单元构建的；
[0029]确定单元，用于在确定所述磁盘分值大于预设限值时，确定所述磁盘分值对应的目标磁盘为隐性坏盘。
[0030]可选的，所述第一构建单元，包括：
[0031]第一数据接入模块，用于获取第一预设历史时间段内数据库中的磁盘I/O数据，并将所述磁盘I/O数据分为训练集和测试集；
[0032]处理模块，对所述训练集进行分类处理，并提取每一类训练集中的特征数据；
[0033]分类模型训练模块，用于基于所述每一类训练集中的特征数据进行训练，得到训练完成的初始磁盘预测模型；
[0034]优化模块，用于利用所述测试集对所述初始磁盘预测模型进行验证测试，直至得到的测试结果与预期结果相同，确定当前训练得到的初始磁盘预测模型为磁盘预测模型，其中，所述测试结果是在所述初始磁盘预测模型中对所述测试集进行预测得到的。
[0035]可选的，所述第二构建单元，包括：
[0036]第二数据接入模块，用于获取第二预设历史时间段内磁盘的SMART日志信息，并将所述SMART日志信息作为训练集；
[0037]专家模型训练模块，基于所述训练集对专家模型进行训练，得到训练完成的磁盘识别模型。
[0038]可选的，所述确定单元，具体用于：
[0039]判断每一目标磁盘的所述磁盘分值是否大于预设限值；若存在磁盘分值大于预设限值，则将磁盘分值大于预设限值的目标磁盘作为隐性坏盘。
[0040]可选的，还包括：
[0041]计算单元，用于针对每一目标磁盘，对所述目标磁盘的SMART日志信息进行处理，得到的磁盘参数；对每一目标磁盘所对应的磁盘参数进行计算，得到每一目标磁盘对应的磁盘分值。
[0042]基于上述本专利技术实施例提供的一种磁盘识别方法及装置，该方法包括：获取数据中心中当前运行的所有磁盘的磁盘数据；基于预先构建的磁盘预测模型对磁盘数据进行处理，得到目标磁盘，目标磁盘为可能存在隐患的磁盘，磁盘预测模型是利用第一预设历史时间段内数据库的磁盘I/O数据进行训练得到的，目标磁盘的数量至少为一个；针对每一目标磁盘，基于预先构建的磁盘识别模型对磁盘参数进行处理，得到每一目标磁盘的磁盘分值，磁盘参数是对目标磁盘的SMART日志信息进行处理得到的，磁盘识别模型是利用第二预设历史时间段内磁盘的SMART日志信息进行训练得到的；在确定磁盘分值大于预设限值时，确定磁盘分值对应的目标磁盘为隐性坏盘。在本专利技术实施例中，通过磁盘预测模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种磁盘识别方法，其特征在于，所述方法包括：获取数据中心中当前运行的所有磁盘的磁盘数据；基于预先构建的磁盘预测模型对所述磁盘数据进行处理，得到目标磁盘，所述目标磁盘为可能存在隐患的磁盘，所述磁盘预测模型是利用第一预设历史时间段内数据库的磁盘输入/输出I/O数据进行训练得到的，所述目标磁盘的数量至少为一个；针对每一目标磁盘，基于预先构建的磁盘识别模型对磁盘参数进行处理，得到每一目标磁盘的磁盘分值，所述磁盘参数是对目标磁盘的硬盘自检SMART日志信息进行处理得到的，所述磁盘识别模型是利用第二预设历史时间段内磁盘的SMART日志信息进行训练得到的；在确定所述磁盘分值大于预设限值时，确定所述磁盘分值对应的目标磁盘为隐性坏盘。2.根据权利要求1所述的方法，其特征在于，所述利用预设历史时间段内数据库的磁盘I/O数据进行训练得到磁盘预测模型的过程，包括：获取第一预设历史时间段内数据库中的磁盘I/O数据，并将所述磁盘I/O数据分为训练集和测试集；对所述训练集进行分类处理，并提取每一类训练集中的特征数据；基于所述每一类训练集中的特征数据进行训练，得到训练完成的初始磁盘预测模型；利用所述测试集对所述初始磁盘预测模型进行验证测试，直至得到的测试结果与预期结果相同，确定当前训练得到的初始磁盘预测模型为磁盘预测模型，其中，所述测试结果是在所述初始磁盘预测模型中对所述测试集进行预测得到的。3.根据权利要求1所述的方法，其特征在于，所述利用第二预设历史时间段内磁盘的SMART日志信息进行训练得到磁盘识别模型的过程包括：获取第二预设历史时间段内磁盘的SMART日志信息，并将所述SMART日志信息作为训练集；基于所述训练集对专家模型进行训练，得到训练完成的磁盘识别模型。4.根据权利要求1所述的方法，其特征在于，在基于预先构建的磁盘预测模型对所述磁盘数据进行处理，得到目标磁盘之后，还包括：针对每一目标磁盘，对所述目标磁盘的SMART日志信息进行处理，得到的磁盘参数；对每一目标磁盘所对应的磁盘参数进行计算，得到每一目标磁盘对应的磁盘分值。5.根据权利要求1所述的方法，其特征在于，所述在确定所述磁盘分值大于预设限值时，确定所述磁盘分值对应的目标磁盘为隐性坏盘，包括：判断每一目标磁盘的所述磁盘分值是否大于预设限值；若存在磁盘...

【专利技术属性】
技术研发人员：莫亚运，郭玉章，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：