一种卷积神经网络在加速器上的推理性能评估系统技术方案

本发明专利技术公开了一种卷积神经网络在加速器上的推理性能评估系统，属于计算机视觉领域。包括三个模块：硬件性能分析模块、模型解析模块、时间预测模块。硬件性能分析模块用于测试并分析加速器的性能信息，包括运算速率和访存带宽。模型解析模块用于统计网络的复杂度信息，包括网络的结构信息、运算量、数据传输量。时间预测模块结合加速器的性能信息与网络的复杂度信息，计算评估网络在加速器上的推理时间。本发明专利技术支持不同的主流深度学习框架格式，具有适用性广的特点；同时，本发明专利技术在评估网络的推理性能时，充分考虑了硬件计算特性与网络结构特点，评估结果误差小；此外，本发明专利技术的评估过程无需将待评估网络部署至加速器，评估过程简单高效。简单高效。简单高效。

【技术实现步骤摘要】
一种卷积神经网络在加速器上的推理性能评估系统


[0001]本专利技术涉及计算机视觉领域，具体涉及一种卷积神经网络在加速器上的推理性能评估系统。

技术介绍

[0002]卷积神经网络技术在人工智能领域的各种任务中具有突出的性能表现，被广泛应用于各种边缘计算应用场景。其推理是计算密集型与存储密集型任务，其在边缘嵌入式设备上的实时运行需要硬件加速器提供算力支持。在网络部署至嵌入式设备上之前，需要分析网络在设备上的推理性能，包括硬件性能、网络复杂度信息，网络推理时间，以为后续的部署工作提供指导，提高部署工程的效率。
[0003]卷积神经网络在加速器上推理时，对于每一层算子，需要将计算所需的数据从片外存储器上传输至片内存储器，计算单元从片内存储器上读取数据并进行计算，将计算结果返回片内存储器，最终返回片外存储器。在计算过程中，所涉及的卷积神经网络的结构与算子是复杂多样的，加速器的加速架构、性能指标是多变不一的。这些多样性给评估网络的推理性能带来了巨大的挑战。现有推理时间评估方法中，孙军欢等人(孙军欢,张骏雪.一种评估、以及预测深度学习模型中层计算时间的方法[P].北京市：CN109670593A,2019
‑
04
‑
23.)通过层的输入规模、输出规模、计算核大小、通道数量等属性在历史日志中找到相似度最高的层，并计算待评估层的推理时间的可信范围，以可信范围的上下界推理时间的平均值作为评估结果。由于网络的复杂性，该方法需要大量的迭代测试以丰富历史日志数据，进而获得较为可靠的评估结果，评估过程效率低。王东等人(王东.计算神经网络在处理器上运行时间的方法及装置[P].广东省：CN112016665B,2021
‑
04
‑
06.)根据处理器上待编译的神经网络的切割信息，获取所述神经网络中每个网络层的数据读写时间信息和数据处理时间信息，并根据所述每个网络层各自的数据读写时间信息和数据处理时间信息，分别确定所述每个网络层的时间值，将所述神经网络中的各个网络层的时间值相加，得到所述处理器运行所述神经网络的时间值。该方法没有考虑处理器不同计算单元的性能差异，没有考虑层间关系对推理时间带来的影响，评估结果误差大。
[0004]综上，现有的网络推理时间评估方法存在评估结果误差大，或者评估效率低的缺点，不能有效地为网络的部署工作提供指导，提高网络部署工程的效率。

技术实现思路

[0005]本专利技术申请提供了一种卷积神经网络在加速器上的推理性能评估系统，包括三个模块：硬件性能分析模块、模型解析模块、时间预测模块。硬件性能分析模块用于分析加速器的性能信息，包括运算速率和访存带宽。模型解析模块用于统计网络的复杂度信息，包括网络的结构信息、运算量、数据传输量。时间预测模块结合加速器的性能信息与网络的复杂度信息，计算评估网络在加速器上的推理时间。本专利技术支持不同的主流深度学习框架格式，具有适用性广的特点；同时，本专利技术在评估网络的推理时间时，充分考虑了硬件计算特性与
网络的结构特点，评估结果误差小；此外，本专利技术的评估过程无需将网络部署至加速器，评估过程简单高效。
[0006]本专利技术通过如下技术方案实现。
[0007]一种卷积神经网络在加速器上的推理性能评估系统，包括以下模块：
[0008]硬件性能分析模块，用于测试并分析加速器的硬件性能信息，包括运算速率和访存带宽，并将硬件性能信息记录到输出文件；
[0009]模型解析模块，用于解析待评估网络模型结构文件，统计待评估网络的复杂度信息，包括待评估网络的结构信息、运算量、数据传输量，并将待评估网络的复杂度信息记录到输出文件；
[0010]时间预测模块，结合加速器的性能信息与待评估网络的复杂度信息，预测待评估网络在加速器上的推理时间，并将推理时间记录到输出文件。
[0011]进一步地，硬件性能分析模块测试分析得到的硬件性能信息包括：
[0012]运算速率，除了包括乘加运算速率CP
m
，还包括面数据运算速率CP
p
、点数据运算速率CP
s
；
[0013]访存带宽，具体为输入特征图的访存带宽BW
if
、输出特征图的访存带宽BW
of
、待评估网络参数的访存带宽BW
w
；
[0014]所述面数据运算是对二维数据运算，面数据运算操作与特征图的宽和高两个维度相关，面数据运算包括池化运算；
[0015]所述点数据运算是对张量的逐元素进行运算操作，包括激活运算。
[0016]进一步地，模型解析模块统计得到的待评估网络的网络复杂度信息包括：
[0017]网络结构信息，具体为待评估网络的分支信息和待评估网络每一层的算子类型信息；
[0018]网络运算量，具体为乘加运算量OP
m
、面数据运算量OP
p
、点数据运算量OP
s
；
[0019]数据传输量，具体为输入特征图数据传输量MEM
if
、输出特征图数据传输量MEM
of
、网络参数数据传输量MEM
w
。
[0020]进一步地，，所述时间预测模块包括推理时间评估数学模型和时间交叠参数文件；
[0021]所述推理时间评估数学模型包括层推理时间评估公式和总推理时间评估公式；
[0022]所述时间交叠参数文件记录不同算子类型对应的层间时间交叠参数α与层内时间交叠参数β的具体数值，α、β∈[0,1]。
[0023]进一步地，所述时间预测模块的工作流程具体包括以下步骤：
[0024]从时间交叠参数文件读取层内时间交叠参数β的数值，结合加速器的性能信息与待评估网络的复杂度信息，通过层推理时间评估公式计算待评估网络每一层的推理时间；
[0025]从时间交叠参数文件读取层间时间交叠参数α的数值，通过总推理时间评估公式计算待评估网络整体的推理时间；将待评估网络整体的推理时间记录到输出文件。
[0026]进一步地，所述层推理时间评估公式为：
[0027][0028][0029][0030]其中，所述FIT
i
表示待评估网络第i层的推理时间，分别表示网络的第i层的乘加运算时间、点数据运算时间、面数据运算时间，示网络的第i层的乘加运算时间、点数据运算时间、面数据运算时间，分别表示网络的第i层的输入特征图数据传输时间、输出特征图数据传输时间、网络参数数据传输时间，所述分别表示网络的第i层的输入路径、输出路径数量参数，描述网络的分支信息，β
i
是网络第i层的层内时间交叠参数，分别表示网络第i层的乘加运算量、点数据运算量、面数据运算量，分别表示网络第i层的乘加运算速率、点数据运算速率、面数据运算速率，分别表示网络第i层的输入特征图数据传输量、输出特征图数据传输量、网络参数数据传输量，BW
iif
、BW
iof本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络在加速器上的推理性能评估系统，其特征在于，包括以下模块：硬件性能分析模块，用于测试并分析加速器的硬件性能信息，包括运算速率和访存带宽，并将硬件性能信息记录到输出文件；模型解析模块，用于解析待评估网络模型结构文件，统计待评估网络的复杂度信息，包括待评估网络的结构信息、运算量、数据传输量，并将待评估网络的复杂度信息记录到输出文件；时间预测模块，结合加速器的性能信息与待评估网络的复杂度信息，预测待评估网络在加速器上的推理时间，并将推理时间记录到输出文件。2.根据权利要求1所述的一种卷积神经网络在加速器上的推理性能评估系统，其特征在于，硬件性能分析模块测试分析得到的硬件性能信息包括：运算速率，除了包括乘加运算速率CP
m
，还包括面数据运算速率CP
p
、点数据运算速率CP
s
；访存带宽，具体为输入特征图的访存带宽BW
if
、输出特征图的访存带宽BW
of
、待评估网络参数的访存带宽BW
w
；所述面数据运算是对二维数据运算，面数据运算操作与特征图的宽和高两个维度相关，面数据运算包括池化运算；所述点数据运算是对张量的逐元素进行运算操作，包括激活运算。3.根据权利要求1所述的一种卷积神经网络在加速器上的推理性能评估系统，其特征在于，模型解析模块统计得到的待评估网络的网络复杂度信息包括：网络结构信息，具体为待评估网络的分支信息和待评估网络每一层的算子类型信息；网络运算量，具体为乘加运算量OP
m
、面数据运算量OP
p
、点数据运算量OP
s
；数据传输量，具体为输入特征图数据传输量MEM
if
、输出特征图数据传输量MWM
of
、网络参数数据传输量MEM
w
。4.根据权利要求1所述的一种卷积神经网络在加速器上的推理性能评估系统，其特征在于，所述时间预测模块包括推理时间评估数学模型和时间交叠参数文件；所述推理时间评估数学模型包括层推理时间评估公式和总推理时间评估公式；所述时间交叠参数文件记录不同算子类型对应的层间时间交叠参数α与层内时间交叠参数β的具体数值，α、β∈[0,1]。5.根据权利要求1所述的一种卷积神经网络在加速器上的推理性能评估系统，其特征在于，所述时间预测模块的工作流程具体包括以下步骤：从时间交叠参数文件读取层内时间交叠参数β的数值，结合加速器的性能信息与待评估网络的复杂度信息，通过层推理时间评估公式计算待评估网络每一层的推理时间；从时间交叠参数文件读取层间时间交叠参数α的数值，通过总推理时间评估公式计算待评估网络整体的推理时间；将待评估网络整体的推理时间记录到输出文件。6.根据权利要求4所述的一种卷积神经网络在加速器上的推理性能评估系统，其特征在于，所述层推理时间评估公式为：
其中，所述F...

【专利技术属性】
技术研发人员：秦华标，廖远达，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：