【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种磁盘故障预测的方法、装置、设备及介质。
技术介绍
1、磁盘故障是数据中心常见的一种故障，磁盘故障会导致数据丢失、宕机时间增加甚至对业务造成不利影响，因此，需要对数据中心的磁盘故障进行提前预测。对数据中心进行巡检或者监控的方式无法及时对磁盘故障进行预测，且随着数据中的数据量不断增大，依靠巡检或者监控的方式效率低下，无法应对较大数据量的磁盘故障检测。
2、在磁盘故障预测的相关领域中，基于浅层机器学习的方法无法有效表达磁盘的相关特征且无法有效学习到磁盘故障的发生过程随时间序列的变化过程；基于迁移学习的方法只考虑了数据的相似性，基于浅层机器学习的方法和基于迁移学习的方法不适用于一些磁盘型号的有效数据较少，难以采集足够的训练数据的小规模数据场景。
技术实现思路
1、有鉴于此，本专利技术提出了一种磁盘故障预测的方法、装置、设备及介质，至少解决了基于浅层机器学习的方法和基于迁移学习的方法不适用于一些磁盘型号的有效数据较少，难以采集足够的训练数据的小规模数据场景以及依靠巡检或者监控的方式效率低下的问题。
2、基于以上目的，本专利技术的实施例的一个方面提供了一种磁盘故障预测的方法，包括：基于磁盘故障标签获取源领域和目标领域分别对应的第一数据集和第二数据集；基于对transformer模型的自注意力函数以及对所述磁盘的位置编码中的位置常数进行改进后的新transformer模型，利用所述第一数据集进行训练，以预测所述源领域中发生磁盘故障的位置；
3、在一些实施例中，所述基于磁盘故障标签获取源领域和目标领域分别对应的第一数据集和第二数据集的步骤包括：对源领域和目标领域中每个磁盘连续采集若干个基于磁盘故障标签的数据并进行预处理，得到所述源领域和目标领域中每个磁盘分别对应的输入序列分别作为第一数据集和第二数据集。
4、在一些实施例中，所述基于对transformer模型的自注意力函数以及对所述磁盘的位置编码中的位置常数进行改进后的新transformer模型，利用所述第一数据集进行训练，以预测所述源领域中发生磁盘故障的位置的步骤包括：将所述源领域中的每个磁盘分别对应的输入序列基于注意力机制转换为对应的向量；基于所述向量构建用于计算所述磁盘对应的注意力权重的查询向量、键向量和值向量；对所述查询向量、键向量以及值向量计算点积，得到用于计算所述磁盘注意力权重的原自注意力函数attention1(q,k,v)，所述原自注意力函数attention1(q,k,v)的公式如下：
5、
6、其中，q为所述查询向量，k为所述键向量，v为所述值向量，dk为所述键向量的长度，为所述磁盘对应的注意力分数，为所述磁盘对应的注意力权重；删除所述原自注意力函数attention1(q,k,v)中的参数得到新自注意力函数attention 2(q,k,v)，所述新自注意力函数attention 2(q,k,v)的公式如下：
7、attention 2(q,k,v)＝softmax(qkt)v
8、其中，q为所述查询向量，k为所述键向量，v为所述值向量，(qkt)v为所述磁盘对应的注意力分数，softmax(qkt)v为所述磁盘对应的注意力权重。
9、在一些实施例中，所述基于对transformer模型的自注意力函数以及对所述磁盘的位置编码中的位置常数进行改进后的新transformer模型，利用所述第一数据集进行训练，以预测所述源领域中发生磁盘故障的位置的步骤还包括：获取所述磁盘在所述源领域的全部磁盘中的位置信息；对所述位置信息进行位置编码，得到所述磁盘对应的位置编码，并将所述位置编码中的位置常数与所述磁盘故障预测的时间周期相匹配，所述位置编码公式如下：
10、
11、
12、其中，pos为所述磁盘在所述源领域的全部磁盘中的位置，i为所述位置的维度，dmodel为输出位置编码的维度，为基于不同频率的正弦函数的位置编码，为基于不同频率的余弦函数的位置编码，c为位置常数，所述c的实际取值不超过100。
13、在一些实施例中，所述基于对transformer模型的自注意力函数以及对所述磁盘的位置编码中的位置常数进行改进后的新transformer模型，基于所述第一数据集进行训练，以预测所述源领域中发生磁盘故障的位置的步骤还包括：基于所述新自注意力函数attention 2(q,k,v)以及所述位置编码公式得到新transformer模型；基于所述新transformer模型对所述第一数据集进行训练，以预测所述源领域中发生磁盘故障的位置。
14、在一些实施例中，所述基于域对抗模型，利用所述第一数据集和所述第二数据集进行训练，获取适用于所述第二数据集基于所述新transformer模型进行训练的训练参数的步骤包括：将所述第一数据集和所述第二数据集经过梯度反转后输入到所述域对抗模型中的领域判别器，以获取所述第一数据集和所述第二数据集之间的通用特征；基于所述通用特征获取适用于所述第二数据集基于所述新transformer模型进行训练的训练参数。
15、在一些实施例中，所述对源领域和目标领域中每个磁盘连续采集若干个基于磁盘故障标签的数据并进行预处理，得到所述源领域和目标领域中每个磁盘分别对应的输入序列的步骤包括：对源领域和目标领域中每个磁盘连续采集若干个基于磁盘故障标签的数据；对所述数据填充缺失值并进行归一化处理后筛选符合与所述磁盘故障标签关联性要求的数据，以得到所述源领域和目标领域中每个磁盘分别对应的输入序列。
16、本专利技术实施例的另一方面，还提供了一种磁盘故障预测的装置，包括：第一模块，用于基于磁盘故障标签获取源领域和目标领域分别对应的第一数据集和第二数据集；第二模块，用于基于对transformer模型的自注意力函数以及对所述磁盘的位置编码中的位置常数进行改进后的新transformer模型，利用所述第一数据集进行训练，以预测所述源领域中发生磁盘故障的位置；第三模块，用于基于域对抗模型，利用所述第一数据集和所述第二数据集进行训练，获取适用于所述第二数据集基于所述新transformer模型进行训练的训练参数；第四模块，用于基于所述训练参数以及所述新transformer模型，利用所述第二数据集进行训练，预测所述目标领域中发生磁盘故障的位置，以及利用训练完成的新transformer模型进行磁盘故障预测。
17、本专利技术实施例的另一方面，还提供了一种电子设备，包括至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由本文档来自技高网...
【技术保护点】
1.一种磁盘故障预测的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于磁盘故障标签获取源领域和目标领域分别对应的第一数据集和第二数据集的步骤包括：
3.根据权利要求2所述的方法，其特征在于，所述基于对Transformer模型的自注意力函数以及对所述磁盘的位置编码中的位置常数进行改进后的新Transformer模型，利用所述第一数据集进行训练，以预测所述源领域中发生磁盘故障的位置的步骤包括：
4.根据权利要求3所述的方法，其特征在于，所述基于对Transformer模型的自注意力函数以及对所述磁盘的位置编码中的位置常数进行改进后的新Transformer模型，利用所述第一数据集进行训练，以预测所述源领域中发生磁盘故障的位置的步骤还包括：
5.根据权利要求4所述的方法，其特征在于，所述基于对Transformer模型的自注意力函数以及对所述磁盘的位置编码中的位置常数进行改进后的新Transformer模型，利用所述第一数据集进行训练，以预测所述源领域中发生磁盘故障的位置的步骤还包括：
6.根据权
7.根据权利要求2所述的方法，其特征在于，所述对源领域和目标领域中每个磁盘连续采集若干个基于磁盘故障标签的数据并进行预处理，得到所述源领域和目标领域中每个磁盘分别对应的输入序列的步骤包括：
8.一种磁盘故障预测的装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现权利要求1-7任意一项所述方法的步骤的计算机程序。
...【技术特征摘要】
1.一种磁盘故障预测的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于磁盘故障标签获取源领域和目标领域分别对应的第一数据集和第二数据集的步骤包括：
3.根据权利要求2所述的方法，其特征在于，所述基于对transformer模型的自注意力函数以及对所述磁盘的位置编码中的位置常数进行改进后的新transformer模型，利用所述第一数据集进行训练，以预测所述源领域中发生磁盘故障的位置的步骤包括：
4.根据权利要求3所述的方法，其特征在于，所述基于对transformer模型的自注意力函数以及对所述磁盘的位置编码中的位置常数进行改进后的新transformer模型，利用所述第一数据集进行训练，以预测所述源领域中发生磁盘故障的位置的步骤还包括：
5.根据权利要求4所述的方法，其特征在于，所述基于对transformer模型的自注意力函数...
【专利技术属性】
技术研发人员：马鸿超，段谊海，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。