一种训练时长预测方法、装置、多元异构计算设备及介质制造方法及图纸

本发明专利技术公开了一种训练时长预测方法、装置、多元异构计算设备及介质，涉及模型训练技术领域，该方法包括：获取待预测计算芯片的模型训练信息；其中，待预测计算芯片为需要完成模型训练任务的计算芯片，模型训练信息包括训练任务特征、计算芯片特征和服务器特征中的至少一项；获取待预测计算芯片对应的目标耗时预测模型；根据模型训练信息，利用目标耗时预测模型计算待预测计算芯片的单步训练时长；本发明专利技术能够利用计算芯片所要完成的模型训练任务的特征、计算芯片的动态特征和/或计算芯片所在服务器的动态特征，准确地预测计算芯片在单个训练迭代的计算耗时，提高了对计算芯片的模型训练时长预测的准确性。型训练时长预测的准确性。型训练时长预测的准确性。

【技术实现步骤摘要】
一种训练时长预测方法、装置、多元异构计算设备及介质


[0001]本专利技术涉及模型训练
，特别涉及一种训练时长预测方法、装置、多元异构计算设备及计算机可读存储介质。

技术介绍

[0002]目前，对网络模型（如神经网络模型）的耗时预测，大多是针对模型推理阶段实际部署的耗时展开的预测，难以应用于训练时间的预测；虽然存在一些对于模型训练任务的耗时预测方案，但这些方案是粗略预测的是整个网络模型的收敛速度，无法精确预测每一个计算芯片每一个迭代的耗时，使得网络模型训练时长的预测结果并不准确。
[0003]因此，如何提供一种模型训练任务的训练时长预测方案，提高对计算芯片的模型训练时长预测的准确性，是现今急需解决的问题。

技术实现思路

[0004]本专利技术的目的是提供一种训练时长预测方法、装置、多元异构计算设备及计算机可读存储介质，以提高对计算芯片的模型训练时长预测的准确性。
[0005]为解决上述技术问题，本专利技术提供一种训练时长预测方法，包括：获取待预测计算芯片的模型训练信息；其中，所述待预测计算芯片为需要完成模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练时长预测方法，其特征在于，包括：获取待预测计算芯片的模型训练信息；其中，所述待预测计算芯片为需要完成模型训练任务的计算芯片，所述模型训练信息包括训练任务特征、计算芯片特征和服务器特征中的至少一项；获取所述待预测计算芯片对应的目标耗时预测模型；根据所述模型训练信息，利用所述目标耗时预测模型计算所述待预测计算芯片的单步训练时长。2.根据权利要求1所述的训练时长预测方法，其特征在于，所述获取所述待预测计算芯片对应的目标耗时预测模型，包括：根据所述待预测计算芯片的计算芯片标识，从存储的预设耗时预测模型中获取所述目标耗时预测模型；其中，所述目标耗时预测模型为任一所述预设耗时预测模型。3.根据权利要求2所述的训练时长预测方法，其特征在于，所述根据所述待预测计算芯片的计算芯片标识，从存储的预设耗时预测模型中获取所述目标耗时预测模型，包括：根据所述计算芯片标识和所述模型训练任务对应的模型标识，从存储的所述预设耗时预测模型中获取所述目标耗时预测模型。4.根据权利要求2所述的训练时长预测方法，其特征在于，所述模型训练信息包括所述计算芯片特征，所述根据所述待预测计算芯片的计算芯片标识，从存储的预设耗时预测模型中获取所述目标耗时预测模型，包括：根据所述计算芯片特征中的计算芯片标识，从存储的所述预设耗时预测模型中获取所述目标耗时预测模型。5.根据权利要求2所述的训练时长预测方法，其特征在于，所述根据所述待预测计算芯片的计算芯片标识，从存储的预设耗时预测模型中获取所述目标耗时预测模型，包括：判断是否存储有所述计算芯片标识对应的预设耗时预测模型；若是，则将所述计算芯片标识对应的预设耗时预测模型确定为所述目标耗时预测模型。6.根据权利要求5所述的训练时长预测方法，其特征在于，所述判断是否存储有所述计算芯片标识对应的预设耗时预测模型之后，还包括：若未存储有所述计算芯片标识对应的预设耗时预测模型，则监控获取所述待预测计算芯片对应的模型训练完成信息；其中，所述模型训练完成信息包括已完成模型训练任务对应的模型训练信息和单步训练实际时长；根据所述模型训练完成信息，训练生成所述计算芯片标识对应的预设耗时预测模型。7.根据权利要求6所述的训练时长预测方法，其特征在于，所述监控获取所述待预测计算芯片对应的模型训练完成信息，包括：监控获取异构计算系统中全部目标计算芯片对应的模型训练完成信息；其中，目标计算芯片为所述计算芯片标识对应的计算芯片。8.根据权利要求1所述的训练时长预测方法，其特征在于，所述模型训练信息包括训练任务特征、计算芯片特征和服务器特征，所述获取待预测计算芯片的模型训练信息，包括：根据所述模型训练任务，提取得到所述训练任务特征；监控采集所述待预测计算芯片的计算芯片特征和所述待预测计算芯片所在服务器的
服务器特征。9.根据权利要求8所述的训练时长预测方法，其特征在于，所述控采集所述待预测计算芯片的计算芯片特征和所述待预测计算芯片所在服务器的服务器特征，包括：按预设时间间隔采集计算芯片特征和所述服务器特征。10.根据权利要求1所述的训练时长预测方法，其特征在于，还包括：获取耗时模型新增指令；其中，所述耗时模型新增指令包括耗时模型信息，所述耗时模型信息包括计算芯片标识或所述计算芯片标识和模型标识；根据所述耗时模型新增指令，监控获取所述耗时模型信息对应的模型训练完成信息；其中，所述模型训练完成信息包括已完成模型训练任务对应的模型训练信息和单步训练实际时长；根据所述耗时模型信息对应的模型训练完成信息，训练生成所述耗时模型信息对应的预设耗时预测模型；其中，所述目标耗时预测模型为任一所述预设耗时预测模型。11.根据权利要求1所述的训练时长预测方法，其特征在于，所述根据所述模型训练信息，利用所述目标耗时预测模型计算所述待预测计算芯片的单步训练时长之后，还包括：根据所述单步训练时长，确定所述待预测计算芯片的单轮训练时长。12.根据权利要求1所述的训练时长预测方法，其特征在于，所述模型训练信息包括所述...

【专利技术属性】
技术研发人员：唐轶男，郭振华，赵雅倩，李仁刚，王丽，曹芳，高开，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：