一种深度学习处理器性能测试与评价方法技术

本发明专利技术提供一种深度学习处理器性能测试与评价方法，属于人工智能深度学习技术领域。本发明专利技术提出的技术方案将深度学习处理器基准测试性能测试分为三个测试部分：对于通用矩阵乘法测试结果的评价指标，引入了基于稀疏性的性能指标，从而能够更加公平地对硬件的基础算力进行评价；对于深度学习单层网络测试的评价指标，引入了roofline模型从而能够比较理论性能与实际性能的差异，更好支撑了对于硬件的优化；对于常用网络模型测试结果的评价指标，在分开训练与测试两类应用场景的指标外，还引入了对于每层网络的延时指标，从而判断网络模型的性能瓶颈，更好支撑设计人员对于系统或体系结构进行优化。结构进行优化。结构进行优化。

【技术实现步骤摘要】
一种深度学习处理器性能测试与评价方法


[0001]本专利技术属于人工智能深度学习
，具体涉及一种深度学习处理器性能测试与评价方法。

技术介绍

[0002]近年来，人工智能加速发展，智能应用领域快速拓展，即将演进形成颠覆式科技变革，“智能化革命”正在孕育。深度学习作为当前人工智能技术的重要分支，在诸如图像识别、目标跟踪、语音处理等领域发挥着重要作用。专用的深度学习处理器作为深度学习算法应用的物质载体应运而生。对于深度学习处理器性能的测试与评价的研究，一方面能够支撑比对各种深度学习处理器的性能优劣，另一方面能够支撑引领深度学习处理器的发展与研制，对于人工智能技术的发展具有重要意义。
[0003]当前的深度学习处理器性能测试，大都采用基准测试方法，即将常用的深度学习算法模型以及算子等作为基准测试集，然后使用深度学习处理器计算系统运行基准测试集，将各个测试的运行结果进行比较，从而对各类深度学习处理器的性能进行比对，从而判断各自的性能优劣。
[0004]对于MLPerf基准测试集等的一系列基准测试集，包含了机器学习各个领域下的常用算法模型，主要测试智能应用场景下的深度学习处理器表现(能耗、运算速度、吞吐率)，其聚集于具体的应用场景，而缺少对于深度学习处理器基础运算能力的测试，难以支撑全面公平的深度学习处理器测试评价)；同时，MLPerf基准测试集关注的指标较简单，难以指导硬件设计人员对系统或体系结构的优化。
[0005]AI
‑
Matrix基准测试集里面包含了Micro benchmarks、Layer
‑
based benchmarks、Macro benchmarks以及Synthetic benchmarks四层结构，分别采用基础的矩阵乘法测试、CNN与RNN的常用运算层、常用的网络模型以及基于运算特征合成的测试对处理器的性能进行全面测评。但是其评价指标仅仅是延时以及吞吐率等基础指标，难以支撑公平全面测评以及指导硬件设计人员对系统或体系结构的优化的目的。

技术实现思路

[0006]本专利技术的目的是提供一种深度学习处理器性能测试与评价方法，实现对于深度学习处理器公平完备的性能测试，同时指导硬件设计人员对深度学习处理器的优化。
[0007]为达到上述目的，实现上述功能，本专利技术的技术方案包括如下步骤：
[0008]步骤1、通用矩阵乘法测试与评估
[0009]1.1通用矩阵乘法测试的实现
[0010]1.1.1从图像识别、目标跟踪和语音处理的深度学习训练算法中抽取出稠密的通用矩阵乘法运算相关参数，包括通用矩阵的规模参数、转置参数与运算精度；将上述相关参数保存在参数文件中，用于后续读取或修改拓展；
[0011]1.1.2从图像识别、目标跟踪和语音处理的深度学习算法模型在推理过程中抽取
通用矩阵乘法相关参数，包括通用矩阵的规模参数、转置参数、运算精度以及矩阵稀疏性；将上述相关参数保存在参数文件中，用于后续读取或修改拓展；
[0012]1.1.3完成通用矩阵乘法测试，该测试包含了通用矩阵乘法函数，支持读取调用参数文件中的相关参数，并生成随机数从而对矩阵的各个元素进行赋值；对于具有稀疏性的通用矩阵，还需要按照其稀疏性对相应比例的矩阵元素赋值0；
[0013]1.2设计通用矩阵乘法测试的评价指标，依据评价指标对深度学习处理器通用矩阵乘法测试结果进行评估，评价指标包括：
[0014]功耗：运行测试程序时所消耗的功耗；
[0015]延时：运行测试程序时所需的平均延时；
[0016]吞吐率：每秒钟运行的平均浮点乘加数量；
[0017]考虑稀疏的吞吐率：每秒钟运行的平均非0浮点乘加数量；
[0018]能量效率值：消耗的能量/非0的参数值比例；
[0019]存储带宽：DRAM读写数量/非0的参数值比例。
[0020]步骤2、深度学习单层网络测试与评估
[0021]2.1、单层网络结构测试的实现
[0022]2.1.1抽取当前常用的网络模型的每一层网络，包括基础运算算子与对应的相关参数；将上述相关参数保存成参考文件，用于后续读取或修改拓展；
[0023]2.1.2实现单层网络结构测试，该测试包含每种网络的基础算子函数，将参数文件中的相关参数读入测试所对应的基础算子函数中，生成随机数从而对单层网络结构中的各个元素进行赋值；
[0024]2.2、设计单层网络结构测试的评价指标，依据下述指标对单层网络结构测试结果进行评估；
[0025]引入roofline模型计算，得到计算平台的理论带宽约束性能区域与理论算力约束性能区域，以及单层网络测试的理论性能：
[0026][0027]其中，I为计算密度，β为宽带，π为最大算力，P为理论的吞吐率，单层网络的计算密度I＝计算量/访存量，计算量为单层网络测试程序所需的浮点运算次数，访存量为单层网络测试程序所需的输入输出访存空间。
[0028]单层网络测试程序运行时获取的性能指标包括：
[0029]延时：运行测试程序时所需的平均延时；
[0030]吞吐率：每秒钟运行的平均浮点乘加数量；
[0031]将实际运行的吞吐率与理论性能进行比较，如果无法达到理论性能，则说明深度学习处理器存在访存或计算瓶颈。
[0032]步骤3、常用网络模型测试与评估
[0033]3.1常用网络模型测试的实现
[0034]3.1.1选取常用于语音处理、图像识别各类不同深度学习应用领域的常用网络模型，作为常用网络模型测试集，每种网络模型又分为训练测试与推理测试，因此常用网络模型测试的实现分为训练测试集实现与推理测试集实现。
[0035]3.1.2训练测试集实现：每种网络模型的训练测试采用封闭型分区设计，即要求使用相同模型、优化器与训练数据集，并限制batch大小或学习率等超参数的值，从而支持深度学习处理器训练性能的公平比较；
[0036]3.1.3推理测试集实现：每种网络模型的推理测试包含了网络模型、预设的参数值以及数据集，能够在特定数据集上测试深度学习处理器的模型推理性能；
[0037]3.2设计常用网络模型测试的评价指标，并依据下述指标对常用网络模型测试结果进行评估
[0038]3.2.1训练测试集评价指标与评估
[0039]对于训练测试集的每一个测试程序，其评价指标是在特定数据集上训练一个模型使其达到目标质量时所需的时间；训练测试集的最终训练结果是由指定次数的基准测试时间平均得出的，测试即运行若干次取训练测试时间的平均值，训练测试时间包含了模型构建，数据预处理，训练以及质量测试时间；
[0040]3.2.2推理测试集评价指标与评估
[0041]对于推理测试集的每一个测试程序，其评价标准是在特定数据集上测量模型的推理性能，包括平均延时和吞吐量；另外，为了更好地判断网络模型的性能瓶颈，支撑设计人员对于系统或体系结构进行优化，还引入了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习处理器性能测试与评价方法，其特征在于，实现过程包括如下步骤：步骤1、通用矩阵乘法测试与评估1.1通用矩阵乘法测试的实现1.1.1从图像识别、目标跟踪和语音处理的深度学习训练算法中抽取出稠密的通用矩阵乘法运算相关参数，包括通用矩阵的规模参数、转置参数与运算精度；将上述相关参数保存在参数文件中，用于后续读取或修改拓展；1.1.2从图像识别、目标跟踪和语音处理的深度学习算法模型在推理过程中抽取通用矩阵乘法相关参数，包括通用矩阵的规模参数、转置参数、运算精度以及矩阵稀疏性；将上述相关参数保存在参数文件中，用于后续读取或修改拓展；1.1.3完成通用矩阵乘法测试，该测试包含了通用矩阵乘法函数，支持读取调用参数文件中的相关参数，并生成随机数从而对矩阵的各个元素进行赋值；对于具有稀疏性的通用矩阵，还需要按照其稀疏性对相应比例的矩阵元素赋值0；1.2设计通用矩阵乘法测试的评价指标，依据评价指标对深度学习处理器通用矩阵乘法测试结果进行评估，评价指标包括：功耗：运行测试程序时所消耗的功耗；延时：运行测试程序时所需的平均延时；吞吐率：每秒钟运行的平均浮点乘加数量；考虑稀疏的吞吐率：每秒钟运行的平均非0浮点乘加数量；能量效率值：消耗的能量/非0的参数值比例；存储带宽：DRAM读写数量/非0的参数值比例。步骤2、深度学习单层网络测试与评估2.1、单层网络结构测试的实现2.1.1抽取当前常用的网络模型的每一层网络，包括基础运算算子与对应的相关参数；将上述相关参数保存成参考文件，用于后续读取或修改拓展；2.1.2实现单层网络结构测试，该测试包含每种网络的基础算子函数，将参数文件中的相关参数读入测试所对应的基础算子函数中，生成随机数从而对单层网络结构中的各个元素进行赋值；2.2、设计单层网络结构测试的评价指标，依据下述指标对单层网络结构测试结果进行评估；引入roofline模型计算，得到计算平台的理论带宽约束性能区域与理论算力约束性能区域，以及单层网络测试的理论...

【专利技术属性】
技术研发人员：吕昭，汪淼，游光荣，葛亚维，邓锦洲，徐秦，
申请(专利权)人：中国人民解放军军事科学院战略评估咨询中心，
类型：发明
国别省市：