效能分析系统及效能分析方法技术方案

本发明专利技术提供一种效能分析系统及效能分析方法，用于分析人工智能(Artificial Intelligence，AI)芯片的效能。效能分析系统包括人工智能芯片以及主机。人工智能芯片预埋有追踪电路。追踪电路向人工智能芯片的任务调度模块收集人工智能芯片的软件操作信息。追踪电路向人工智能芯片的多个可编程多处理器收集多个可编程多处理器的硬件操作信息。主机向人工智能芯片的追踪电路收集硬件操作信息和软件操作信息。基于硬件操作信息的硬件时间戳和软件操作信息的软件时间戳，主机将硬件操作信息和软件操作信息呈现在性能分析图的相同时间轴。

【技术实现步骤摘要】

本专利技术涉及一种人工智能(artificial intelligence，ai)芯片，且特别涉及用于分析人工智能芯片的一种效能分析系统及效能分析方法。

技术介绍

1、诸如人工智能芯片等运算装置可以提供巨大算力。ai芯片的巨大算力源于内部大量的硬件执行单元(execution unit，eu，或称执行核)。一个ai芯片通常包含多个可编程多处理器，例如流式处理器簇(stream processor cluster，spc)。每一个可编程多处理器包含多个计算单元(compute unit，cu，或称计算核)，例如张量核(tensor core)、矢量核(vector core)和其他计算核，其他计算核例如整数(integer，int)计算核或浮点数(floating point，fp)计算核。每一个计算单元通常包含多个执行单元。通过编程将各种类型的计算单元进行组织，可编程多处理器可以支持通用计算、科学计算和神经网络计算。

2、ai芯片广泛应用在高效能运算(high performance computing，hpc)和ai训练和推理中。ai芯片的多本文档来自技高网...

【技术保护点】

1.一种效能分析系统，用于分析人工智能芯片的效能，其特征在于，所述效能分析系统包括：

2.根据权利要求1所述的效能分析系统，其特征在于，所述软件操作信息包括不同计算工作在不同硬件模块的不同执行时间，而所述软件操作信息的所述软件时间戳用以表示所述不同执行时间。

3.根据权利要求1所述的效能分析系统，其特征在于，所述硬件操作信息包括所述多个可编程多处理器的不同硬件模块的不同性能计数器在不同收集时间的计数结果，而所述硬件操作信息的所述硬件时间戳用以表示所述不同收集时间。

4.根据权利要求3所述的效能分析系统，其特征在于，所述主机使用所述多个可编程多处理器的所...

【技术特征摘要】

1.一种效能分析系统，用于分析人工智能芯片的效能，其特征在于，所述效能分析系统包括：

2.根据权利要求1所述的效能分析系统，其特征在于，所述软件操作信息包括不同计算工作在不同硬件模块的不同执行时间，而所述软件操作信息的所述软件时间戳用以表示所述不同执行时间。

3.根据权利要求1所述的效能分析系统，其特征在于，所述硬件操作信息包括所述多个可编程多处理器的不同硬件模块的不同性能计数器在不同收集时间的计数结果，而所述硬件操作信息的所述硬件时间戳用以表示所述不同收集时间。

4.根据权利要求3所述的效能分析系统，其特征在于，所述主机使用所述多个可编程多处理器的所述不同硬件模块的所述不同性能计数器在所述不同收集时间的所述计数结果，计算所述不同硬件模块的硬件指标。

5.根据权利要求4所述的效能分析系统，其特征在于，所述硬件指标包括利用率、时延和带宽其中至少一者。

6.根据权利要求1所述的效能分析系统，其特征在于，所述人工智能芯片的所述追踪电路包括：

7.根据权利要求6所述的效能分析系统，其特征在于，在所述追踪收集模块在拿到所述软件操作信息和所述硬件操作信息后，所述追踪收集模块对所述硬件操作信息和所述硬件时间戳编码成硬件信息符记，所述追踪收集模块对所述软件操作信息和所述软件时间戳编码成软件信息符记，并将所述硬件信息符记和所述软件信息符记按照编码顺序写入所述追踪缓冲器。

8.根据权利要求7所述的效能分析系统，其特征在于，在所述人工智能芯片收到所述主机发出的停止追踪收集指令后，所述追踪收集模块将所有所述硬件信息符记和所有所述软件信息符记刷新到所述追踪缓冲器。

9.根据权利要求7所述的效能分析系统，其特征在于，在所述主机从所述人工智能芯片的所述追踪缓冲器读取所述硬件信息符记后，所述主机对所述硬件信息符记进行解析...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：