片上-片间互连的神经网络芯片联合性能预测方法及系统技术方案

本发明专利技术提供了一种片上

【技术实现步骤摘要】
片上
‑
片间互连的神经网络芯片联合性能预测方法及系统


[0001]本专利技术涉及神经网络芯片
的一种性能预测技术，具体地，涉及一种基于Chiplet片上
‑
片间互连的神经网络芯片架构层内
‑
层间联合性能预测方法及系统。同时提供了一种相应的终端及计算机可读存储介质。

技术介绍

[0002]近年来，深度神经网络(Deep Neural Network，DNN)，尤其是卷积神经网络 (Convolutional Neural Network，CNN)在包括人脸识别、语言识别和自动驾驶等多个领域中取得了出色的表现，并成功应用在各种人工智能设备上。神经网络芯片主要通过挖掘算法中的并行性提升性能。
[0003]然而，随着深度学习的飞速发展，神经网络模型层数不断增加，计算量和参数量也有了大幅增长。如何给计算资源及时供给所需的大量数据成为设计难点，计算资源和存储单元、计算资源和计算资源之间的数据通信也逐渐成为系统的瓶颈。针对这一问题，研究者提出采用片上网络(Network on Chip，No本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种片上
‑
片间互连的神经网络芯片联合性能预测方法，其特征在于，包括：基于神经网络芯片的互连拓扑结构，提取神经网络芯片通信数据流；基于所述通信数据流，进行神经网络层内性能预测，得到每层神经网络层在片间并行度方案P、PK和K下的各自的最优性能，其中，P表示输出特征图的宽维度，K表示输出特征图通道维度，PK表示输出特征图的宽维度结合输出特征图通道维度；基于所述通信数据流，进行神经网络层切换性能预测，得到相应的片间并行度组合方案下的层切换性能；通过上述步骤，即完成神经网络芯片层内和层间的联合性能预测。2.根据权利要求1所述的片上
‑
片间互连的神经网络芯片联合性能预测方法，其特征在于，所述提取神经网络芯片通信数据流，包括：设神经网络芯片通信仅发生在片上L2缓存与PE阵列和L2缓存与DRAM间的数据交互；其中，片间并行度来源于P、PK和K三个维度，不同芯片处理不同部分的输出特征图，在进行通信数据流计算时无芯片间通信；获取神经网络模型第l层的各级存储单元在本层计算中包含的通信需求，包括：WL1_comm
l
、AL1_comm
l
、OL1_comm
l
、WL2_comm
l
、AL2_comm
l
和OL2_comm
l
；其中，WL1_comm
l
表示WL1需要从WL2中读取的数据量，WL2_comm
l
表示WL2需要从本地DRAM中读取的数据量；WL1为权重一级缓存，WL2为权重二级缓存，AL1_comm
l
为输入特征图一级缓存与二级缓存交互数据量，OL1_comm
l
为输出特征图一级缓存与二级缓存通信数据量，AL2_comm
l
为输入特征图二级缓存与DRAM通信数据量，OL2_comm
l
为输出特征图二级缓存与DRAM通信数据量，AL1为输入特征图一级缓存，AL2为输入特征图二级缓存，OL1为输出特征图一级缓存，OL2为输出特征图二级缓存；基于所述通信需求，对神经网络芯片通信进行抽象，将L2缓存与PE阵列间的数据通信划分为单播、多播和广播三种类型，得到三种类型的神经网络模型通信数据流。3.根据权利要求1所述的片上
‑
片间互连的神经网络芯片联合性能预测方法，其特征在于，所述进行神经网络层内性能预测，包括：遍历神经网络芯片中所有的卷积层与全连接层，执行以下步骤：从片间并行度方案{P、PK、K}中选择一个片间并行度方案；基于选择的所述片间并行度方案，得到每个芯片的该神经网络层的计算任务基于互连网络拥塞度进行所述神经网络芯片层内性能预测，得到EDP能量延时积，对能量与延时两大性能指标进行综合评价；基于所述层内性能预测的结果，与选择的所述片间并行度方案下的历史最优性能进行比较，保留更优者为最优性能；遍历片间并行度方案，输出每一种片间并行度方案各自对应的最优性能；遍历所述神经网络芯片所有的卷积层与全连接层，得到各层对应的每一种片间并行度方案下的最优性能，完成层内性能预测，得到每层神经网络层片间并行度方案的最优性能。4.根据权利要求3所述的片上
‑
片间互连的神经网络芯片联合性能预测方法，其特征在于，所述基于互连网络拥塞度进行所述神经网络芯片层内性能预测，包括：获得延时性能，包括：计算所述神经网络层内的理想计算延时；
基于互连网络拥塞度，计算所述神经网络层内的互连通信延时；通过比较所述理想计算延时与所述互连通信延时，取较大者作为所述神经网络层内的延时性能；得到能量指标，包括：计算所述神经网络层内的计算能量；计算所述神经网络层内的互连通信能量；计算所述神经网络层内的访存能量；通过将所述计算能量、所述互连通信能量和所述访存能量相加，得到所述神经网络层内的能量指标；将得到的所述延时性能乘以所述能量指标，得到所述神经网络层内的能量延时积，...

【专利技术属性】
技术研发人员：张浩，罗飞，鞠春晖，董中飞，岳大胜，
申请(专利权)人：辉羲智能科技上海有限公司，
类型：发明
国别省市：