故障GPU的预测方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及一种故障GPU的预测方法、装置、电子设备及存储介质，该方法包括获取多个GPU中每个GPU的参数信息，得到参数信息集合；将所述参数信息集合输入到预先训练好的多个预测模型中，得到每个预测模型对应的预测结果；根据所述预测结果从所述多个GPU中确定故障GPU。本公开能够提高对故障GPU的预测准确性。本公开能够提高对故障GPU的预测准确性。本公开能够提高对故障GPU的预测准确性。

【技术实现步骤摘要】
故障GPU的预测方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体地，涉及一种故障GPU的预测方法、装置、电子设备及存储介质。

技术介绍

[0002]随着智能终端的快速普及，图形处理器(Graphic Processing Unit，GPU)在通用计算领域的使用越来越广泛，拥有几百个计算核心的GPU，在计算能力上可以达到每秒万亿次浮点运算(Tera Floating
‑
Point Operations Per Second，TFLOPS)。在通用计算领域，GPU强大的浮点运算能力是中央处理器(Central Processing Unit，CPU)无法比拟的，GPU的通用计算能力，可以弥补CPU并行计算能力的不足。
[0003]在相关技术为了便于了解GPU集群中的每个GPU的状态，会在每个GPU的节点上部署一个守护进程，通过守护进程收集GPU的型号、温度、功耗、使用时间、使用状态等GPU信息，然后展示GPU信息，并在根据GPU信息确定GPU产生故障时，进行报警。
[0004]然而，这种方式只有在检测到GPU产生故障时，才进行报警，告知用户端GPU产生了故障，此后，用户端才会更换GPU、或将产生故障的GPU的程序迁移到其他GPU上去执行，这样会影响业务的正常进行。

技术实现思路

[0005]提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0006]第一方面，本公开提供一种故障GPU的预测方法，该方法包括：
[0007]获取多个GPU中每个GPU的参数信息，得到参数信息集合；
[0008]将所述参数信息集合输入到预先训练好的多个预测模型中，得到每个预测模型对应的预测结果；
[0009]根据所述预测结果从所述多个GPU中确定故障GPU。。
[0010]第二方面，本公开提供一种故障GPU的预测装置，该装置包括：
[0011]参数信息集合获取模块，用于获取多个GPU中每个GPU的参数信息，得到参数信息集合；
[0012]预测结果获取模块，用于将所述参数信息集合输入到预先训练好的多个预测模型中，得到每个预测模型对应的预测结果；
[0013]预测模块，用于根据所述预测结果从所述多个GPU中确定故障GPU。
[0014]第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现第一方面所述方法的步骤。
[0015]第四方面，本公开提供一种电子设备，包括：
[0016]存储装置，其上存储有一个或多个计算机程序；
[0017]一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现第一方面所述方法的步骤。
[0018]本公开提供的技术方案通过获取多个GPU中每个GPU的参数信息，得到参数信息集合；再将所述参数信息集合输入到预先训练好的多个预测模型中，得到每个预测模型对应的预测结果，从而能够得到多个不同模型针对GPU的故障率的预测结果。最后根据所述预测结果从所述多个GPU中确定故障GPU，从而能够结合多个预测模型的预测结果更准确地在GPU出现故障之前就预测出故障GPU，以提醒用户及时处理，避免影响业务的正常运行。
[0019]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0020]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0021]图1是根据一示例性实施例示出的一种故障GPU的预测方法的流程图。
[0022]图2是根据另一示例性实施例示出的一种故障GPU的预测方法的流程图。
[0023]图3是根据图2实施例示出的基于级联架构模型实施故障GPU的预测方法的示意图。
[0024]图4是根据又一示例性实施例示出的一种故障GPU的预测方法的流程图。
[0025]图5是根据图4实施例示出的基于级联架构模型实施故障GPU的预测方法的示意图。
[0026]图6是根据一示例性实施例示出的一种故障GPU的预测装置的框图。
[0027]图7是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
[0028]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0029]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0030]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0031]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0032]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0033]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0034]在相关技术中，为了提前对GPU的故障进行预测，通常是在GPU的节点部署检测进程，以从节点中提取出CPU的状态参数，再将GPU的状态参数与预设的平均状态参数进行比较，最后根据比较结果，确定GPU是否将产生故障。
[0035]然而，这种预测方式太过单一，而平均状态参数无法真实地反映GPU的故障标准，所以无法保证预测结果的准确度。
[0036]针对上述问题，本公开提供了一种故障GPU的预测方法、装置、电子设备及存储介质，能够提高对故障GPU的预测准确性。
[0037]下面对本公开所涉及的专业术语进行解释说明：
[0038]滑动窗口(sliding window)：滑动窗口算法是在给定特定窗口大小的数组或字符串上执行要求的操作。该技术可以将一部分问题中的嵌套循环转变为一个单循环，因此它可以减少时间复杂本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种故障GPU的预测方法，其特征在于，包括：获取多个GPU中每个GPU的参数信息，得到参数信息集合；将所述参数信息集合输入到预先训练好的多个预测模型中，得到每个预测模型对应的预测结果；根据所述预测结果从所述多个GPU中确定故障GPU。2.根据权利要求1所述的方法，其特征在于，所述多个预测模型包括第一预测模型和第二预测模型，所述将所述参数信息集合输入到预先训练好的多个预测模型中，得到每个预测模型对应的预测结果，包括：将所述参数信息集合输入到所述第一预测模型，得到所述第一预测模型对应的第一预测结果，所述第一预测结果包括每个GPU对应的第一故障率；根据所述每个GPU对应的第一故障率，从所述多个GPU选取第一目标GPU；将所述第一目标GPU的参数信息输入到所述第二预测模型，得到所述第二预测模型对应的第二预测结果，所述第二预测结果包括所述第一目标GPU中的每个GPU对应的第二故障率；所述根据所述预测结果从所述多个GPU中确定故障GPU，包括：根据所述第一目标GPU中的每个GPU对应的第二故障率，从所述第一目标GPU中确定故障GPU。3.根据权利要求2所述的方法，其特征在于，所述根据所述每个GPU对应的第一故障率，从所述多个GPU选取第一目标GPU，包括：将所述第一预测结果中所述第一故障率最大的前m个GPU确定为第一目标GPU，其中，所述m为正整数；所述根据所述第一目标GPU中的每个GPU对应的第二故障率，从所述第一目标GPU中确定故障GPU，包括：将所述第二预测结果中所述第二故障率最大的前n个第一目标GPU确定为故障GPU，其中，所述n为正整数。4.根据权利要求2所述的方法，其特征在于，所述第一预测模型为1D
‑
CNN模型，所述第二预测模型为MLP模型；或者，所述第一预测模型为MLP模型，所述第二预测模型为1D
‑
CNN模型。5.根据权利要求1所述的方法，其特征在于，所述预测模型包括第一预测模型、第二预测模型以及第三预测模型，所述将所述参数信息集合输入到预先训练好的多个预测模型中，得到每个预测模型对应的预测结果，包括：将所述参数信息集合输入到所述第一预测模型，得到所述第一预测模型对应的第一预测结果，所述第一预测结果包括每个GPU对应的第一故障率；将所述参数信息集合输入到所述第二预测模型，得到所述第二预测模型对应的第二预测结果，所述第二预测结果包括每个GPU对应的第二故障率；将所述参数信息集合输入到所述第三预测模型，得到所述第三预测模型对应的第三预测结果，所述第三预测结果包括每个GPU对应的第三故障率；所述根据所述预测结果从所述多个GPU中确定故障GPU，包括：根据每个GPU对应的第一故障率，从所述多个GPU选取第一目标GPU；
根据每个GPU对应的第二故障率，从所述多个GPU选取第二目标GPU；根据每个GPU对应...

【专利技术属性】
技术研发人员：李志超，柳鹤婷，刘哲瑞，郭传雄，王剑，
申请(专利权)人：脸萌有限公司，
类型：发明
国别省市：