一种神经网络模型的时间预估方法及相关产品技术

本披露提供一种神经网络模型的时间预估方法及相关产品，其中，所述方法包括如下步骤：确定所述神经网络模型的网络信息、输入数据尺寸、权值数据尺寸以及运算策略；依据所述网络信息、输入数据尺寸、权值数据尺寸以及运算策略预估所述运算策略对应的执行时间。略预估所述运算策略对应的执行时间。略预估所述运算策略对应的执行时间。

【技术实现步骤摘要】
一种神经网络模型的时间预估方法及相关产品


[0001]本披露涉及神经网络领域，尤其涉及一种神经网络模型的时间预估方法及相关产品。

技术介绍

[0002]近年来，深度学习加速器被不断提出，并如同通用处理器一样，正在由单核向多核扩展。这种扩展后的多核结构可以在训练阶段支持数据并行的方式来提高数据吞吐量，加快训练速度。然而，在推理阶段，相比吞吐量深度神经网络对端到端的时延有着更高的要求，这往往决定了加速器在某个场景下的可用性。传统的数据并行方案不能满足推理场景下对加速器小数据、低延迟的要求。
[0003]在多核处理系统中，根据系统的可用核数可以将网络的输入数据拆分成不同的规模，在不同的核上进行计算；不同的数据拆分策略可能有不同的性能表现。因此，为了解决在多核处理器上进行多核拆分运算过程中的拆分策略选择问题，拆分策略的选择需要预估执行该神经网络模型所需的时间。因此，急需解决该时间预估问题。

技术实现思路

[0004]为了解决该技术问题，本披露实施例提供了一种神经网络模型的时间预估方法及相关产品。
[0005]第一方面，提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的时间预估方法，其特征在于，所述方法包括如下步骤：确定所述神经网络模型的网络信息、输入数据尺寸、权值数据尺寸以及运算策略；依据所述网络信息、输入数据尺寸、权值数据尺寸以及运算策略预估所述运算策略对应的执行时间。2.根据权利要求1所述的方法，其特征在于，所述依据所述网络信息、输入数据尺寸、权值数据尺寸以及运算策略预估所述运算策略对应的执行时间具体包括：依据所述网络信息、输入数据尺寸、权值数据尺寸、运算策略以及硬件参数预估IO时间以及运算时间；所述执行时间等于IO时间与运算时间之间的最大值。3.根据权利要求2所述的方法，其特征在于，所述依据所述网络信息、输入数据尺寸、权值数据尺寸以及运算策略预估IO时间具体包括：依据所述网络信息、输入数据尺寸、权值数据尺寸确定所述神经网络模型每层输入数据尺寸、每层权值数据尺寸；依据所述运算策略确定每层的拆分策略、每层的数据读写重复次数以及每层的存储参数；依据所述拆分策略确定每层输入数据的基本尺寸、每层权值数据的基本尺寸；依据所述每层输入数据的基本尺寸、每层权值数据的基本尺寸、每层的存储参数以及每层的数据读写重复次数计算得到每层的IO子时间，所有层的IO子时间的和为所述IO时间。4.根据权利要求2所述的方法，其特征在于，依据所述网络信息、输入数据尺寸、权值数据尺寸以及运算策略预估所述运算策略预估所述神经网络模型的运算时间具体包括：依据所述网络信息、输入数据尺寸、权值数据尺寸确定所述神经网络模型每层输入数据尺寸、每层权值数据尺寸，依据所述运算策略确...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：