算力的计算方法、装置、终端设备和存储介质制造方法及图纸

本发明专利技术涉及一种算力的计算方法、装置、终端设备和存储介质，通过获取待预测算力的用户任务，其中，用户任务至少包括目标任务类型和目标任务量；根据预先建立的预训练模型，对与目标任务类型的用户任务进行模型推理，确定执行用户任务所需要的与目标任务量对应的算力信息，其中，预先建立的预训练模型至少包括多个不同任务类型的目标神经网络模型，目标神经网络模型是预设神经网络处理器经过转换得到的，通过本发明专利技术实施例中在终端设备上建立预训练模型，这样，在输入用户任务时，不论终端设备上的预设神经网络处理器是什么类型的，都可以对用户任务进行算力预测。对用户任务进行算力预测。对用户任务进行算力预测。

【技术实现步骤摘要】
算力的计算方法、装置、终端设备和存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种算力的计算方法、装置、终端设备和存储介质。

技术介绍

[0002]随着人工智能领域的快速发展，各种基于深度学习模型的应用不断被开发，如何高效地为用户提供智能服务是IT从业者们关心的问题。硬件是其中一个比较关键的问题。目前，国内有许多针对智能计算而开发的NPU加速卡，这些加速卡的算力不能简单通过硬件数据进行计算。而且，通过硬件数据计算出来的算力仅是理想值，实际算力需要根据具体的深度学习应用来测试。
[0003]MLPerf是一套用于测量和提高机器学习软硬件性能的通用基准，主要用来测量训练和推理不同神经网络所需要的时间。但是MLPerf对部分NPU加速卡并不适用，无法对用户任务的算力进行预测。

技术实现思路

[0004]本专利技术意在提供一种算力的计算方法、装置、终端设备和存储介质，以解决现有技术中存在的不足，本专利技术要解决的技术问题通过以下技术方案来实现。
[0005]第一个方面，本专利技术实施例提供一种算力的计算方法，所述方法包括：
[0006]获取待预测算力的用户任务，其中，所述用户任务至少包括目标任务类型和目标任务量；
[0007]根据预先建立的预训练模型，对与所述目标任务类型的用户任务进行模型推理，确定执行所述用户任务所需要的与所述目标任务量对应的算力信息，其中，所述预先建立的预训练模型至少包括多个不同任务类型的目标神经网络模型，所述目标神经网络模型是预设神经网络处理器经过转换得到的，其中，所述预设神经网络处理器包括NPU加速卡或CPU与NPU加速卡的组合。
[0008]可选地，所述预先建立的预训练模型通过如下方式得到：
[0009]获取不同任务类型对应的训练样本集，其中，所述不同任务类型至少包括：图像分类任务、物体识别任务、推荐任务、语音识别任务、文本识别任务或强化学习任务；
[0010]采用不同的训练样本集对不同的神经网络模型进行训练，得到不同的初始神经网络模型；
[0011]根据不同类型的预设神经网络处理器，对所述初始神经网络模型进行转换，确定与所述预设神经网络处理器相对应的预训练模型。
[0012]可选地，所述获取不同任务类型对应的训练样本集，包括：
[0013]通过ImageNet数据库、COCO数据库或Wikipedia数据库，获取不同任务类型对应的训练样本集。
[0014]可选地，所述采用不同的训练样本集对不同的神经网络模型进行训练，得到不同
的初始神经网络模型，包括：
[0015]根据图像分类样本集对VGG19模型进行训练，得到初始图像分类神经网络模型；
[0016]根据物体识别样本集对yolov3模块进行训练，得到初始物体识别神经网络模型；
[0017]根据推荐任务样本集对DLRM模型进行训练，得到初始推荐任务神经网络模型；
[0018]根据语音识别样本集对RNN
‑
T模型进行训练，得到初始语音识别神经网络模型；
[0019]根据文本识别样本集对BERT模型进行训练，得到初始文本识别神经网络模型；
[0020]根据强化学习样本集对MINIGO模型进行训练，得到初始强化学习神经网络模型。
[0021]可选地，所述根据不同类型的预设神经网络处理器，对所述初始神经网络模型进行转换，确定与所述预设神经网络处理器相对应的预训练模型，包括：
[0022]获取深度学习样本集；
[0023]采用深度学习框架建立网络架构，其中，所述深度学习框架至少包括tensorflow、pytorch中的一种；
[0024]根据所述深度学习样本集，对所述不同类型的预设神经网络处理器对应的初始神经网络模型进行训练，得到训练结果；
[0025]若所述训练结果满足预设条件，则将与不同类型的预设神经网络处理器对应的初始神经网络模型，确定为所述预训练模型。
[0026]第二个方面，本专利技术实施例提供一种算力的计算装置，所述装置包括：
[0027]获取模块，用于获取待预测算力的用户任务，其中，所述用户任务至少包括目标任务类型和目标任务量；
[0028]计算模块，用于根据预先建立的预训练模型，对与所述目标任务类型的用户任务进行模型推理，确定执行所述用户任务所需要的与所述目标任务量对应的算力信息，其中，所述预先建立的预训练模型至少包括多个不同任务类型的目标神经网络模型，所述目标神经网络模型是预设神经网络处理器经过转换得到的，其中，所述预设神经网络处理器包括NPU加速卡或CPU与NPU加速卡的组合。
[0029]可选地，所述装置还包括训练模块，所述训练模块用于：
[0030]获取不同任务类型对应的训练样本集，其中，所述不同任务类型至少包括：图像分类任务、物体识别任务、推荐任务、语音识别任务、文本识别任务或强化学习任务；
[0031]采用不同的训练样本集对不同的神经网络模型进行训练，得到不同的初始神经网络模型；
[0032]根据不同类型的预设神经网络处理器，对所述初始神经网络模型进行转换，确定与所述预设神经网络处理器相对应的预训练模型。
[0033]可选地，所述训练模块用于：
[0034]通过ImageNet数据库、COCO数据库或Wikipedia数据库，获取不同任务类型对应的训练样本集。
[0035]可选地，所述训练模块具体用于：
[0036]根据图像分类样本集对VGG19模型进行训练，得到初始图像分类神经网络模型；
[0037]根据物体识别样本集对yolov3模块进行训练，得到初始物体识别神经网络模型；
[0038]根据推荐任务样本集对DLRM模型进行训练，得到初始推荐任务神经网络模型；
[0039]根据语音识别样本集对RNN
‑
T模型进行训练，得到初始语音识别神经网络模型；
[0040]根据文本识别样本集对BERT模型进行训练，得到初始文本识别神经网络模型；
[0041]根据强化学习样本集对MINIGO模型进行训练，得到初始强化学习神经网络模型。
[0042]可选地，所述训练模块具体用于：
[0043]获取深度学习样本集；
[0044]采用深度学习框架建立网络架构，其中，所述深度学习框架至少包括tensorflow、pytorch中的一种；
[0045]根据所述深度学习样本集，对所述不同类型的预设神经网络处理器对应的初始神经网络模型进行训练，得到训练结果；
[0046]若所述训练结果满足预设条件，则将与不同类型的预设神经网络处理器对应的初始神经网络模型，确定为所述预训练模型。
[0047]第三个方面，本专利技术实施例提供一种终端设备，包括：至少一个处理器和存储器；
[0048]所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的算力的计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种算力的计算方法，其特征在于，所述方法包括：获取待预测算力的用户任务，其中，所述用户任务至少包括目标任务类型和目标任务量；根据预先建立的预训练模型，对与所述目标任务类型的用户任务进行模型推理，确定执行所述用户任务所需要的与所述目标任务量对应的算力信息，其中，所述预先建立的预训练模型至少包括多个不同任务类型的目标神经网络模型，所述目标神经网络模型是预设神经网络处理器经过转换得到的，其中，所述预设神经网络处理器包括NPU加速卡或CPU与NPU加速卡的组合。2.根据权利要求1所述的方法，其特征在于，所述预先建立的预训练模型通过如下方式得到：获取不同任务类型对应的训练样本集，其中，所述不同任务类型至少包括：图像分类任务、物体识别任务、推荐任务、语音识别任务、文本识别任务或强化学习任务；采用不同的训练样本集对不同的神经网络模型进行训练，得到不同的初始神经网络模型；根据不同类型的预设神经网络处理器，对所述初始神经网络模型进行转换，确定与所述预设神经网络处理器相对应的预训练模型。3.根据权利要求2所述的方法，其特征在于，所述获取不同任务类型对应的训练样本集，包括：通过ImageNet数据库、COCO数据库或Wikipedia数据库，获取不同任务类型对应的训练样本集。4.根据权利要求2所述的方法，其特征在于，所述采用不同的训练样本集对不同的神经网络模型进行训练，得到不同的初始神经网络模型，包括：根据图像分类样本集对VGG19模型进行训练，得到初始图像分类神经网络模型；根据物体识别样本集对yolov3模块进行训练，得到初始物体识别神经网络模型；根据推荐任务样本集对DLRM模型进行训练，得到初始推荐任务神经网络模型；根据语音识别样本集对RNN
‑
T模型进行训练，得到初始语音识别神经网络模型；根据文本识别样本集对BERT模型进行训练，得到初始文本识别神经网络模型；根据强化学习样本集对MINIGO模型进行训练，得到初始强化学习神经网络模型。5.根据权利要求4所述的方法，其特征在于，所述根据不同类型的预设神经网络处理器，对所述初始神经网络模型进行转换，确定与所述预设神经网络处理器相对应的预训练模型，包...

【专利技术属性】
技术研发人员：黄茗，杨军，王滨，钱宝生，原鑫，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：