一种神经拟态芯片多任务调度的片上网络碎片整理方法技术

本发明专利技术公开了一种神经拟态芯片多任务调度的片上网络碎片整理方法，包括：获取多个脉冲神经网络任务的相关结构和配置，将脉冲神经网络映射到片上网络的多个核心中去，并在旧任务结束和新任务创建时重新安排核心映射；以通信代价和核心占用率为映射收益，并以启发式的带回溯的随机爬坡算法逐步寻找更佳的映射位置，并评估实际应用该映射节约的时间是否足够弥补在片上网络设置该映射需要的时间，以最后确认是否使用映射。本发明专利技术的方法有效提高了片上网络核心的利用率，进而提高了芯片计算效率和任务平均功耗。和任务平均功耗。和任务平均功耗。

【技术实现步骤摘要】
一种神经拟态芯片多任务调度的片上网络碎片整理方法


[0001]本专利技术属于神经拟态芯片领域，尤其是涉及一种神经拟态芯片多任务调度的片上网络碎片整理方法。

技术介绍

[0002]神经网络被认为是当前人工智能发展的主要驱动力，而近年来，起源于脑科学的脉冲神经网络以其丰富的时空领域的神经动力学特性、多样的编码机制、事件驱动的优势引起了学者的关注。
[0003]如公开号为CN110909869A的中国专利文献公开了一种基于脉冲神经网络的类脑计算芯片；公开号为CN115392445A的中国专利文献公开了一种脉冲神经网络芯片架构、芯片及系统。
[0004]采取高密度片上网络硬件实现的脉冲神经网络加速芯片，采取了可扩展架构，许多计算核和芯片同时工作，通过一个路由网络交换中间结果数据。整个系统通常没有统一的外部存储器，而是每个计算核有自己独立的存储空间，呈现去中心化的运行模式，从而具有极高的并行性和访存效率。
[0005]然而，这就导致片上网络不同核心间的信息通信成为了性能瓶颈之一。因此，将脉冲神经网络高效地加载到神经形态芯片上，特别是高效地加载多个网络到同一块芯片上就成为了提高芯片利用率和提高学习推理性能的重要手段，也是目前亟需解决的问题。

技术实现思路

[0006]本专利技术提供了一种神经拟态芯片多任务调度的片上网络碎片整理方法，有效提高了片上网络核心的利用率，进而提高了芯片计算效率，减少了任务平均功耗。
[0007]一种神经拟态芯片多任务调度的片上网络碎片整理方法，包括以下过程：
[0008](1)在将脉冲神经网络任务分配到片上网络时，获取任务的相关配置，包括每个任务的脉冲神经网络分割成簇后的图结构、按图边预估通信负荷生成的权重、任务预估在片上需要执行的次数；
[0009](2)多个任务在片上网络执行时，对于每一个任务，记录按照当前使用核心配置继续执行时剩余的预估执行次数乘以当前配置下当前任务的通信消耗，记为该任务预计的总通信消耗；
[0010](3)使用启发式的带回溯的随机爬坡算法从线性变换和碎片整理两种类型的动作中随机选择以重新安排片上网络当前任务对应的核心配置，使得最终所有任务的总通信消耗减小；
[0011](4)每当有任务执行完成并释放其使用的核心时，执行步骤(2)～(3)，直到所有片上任务执行完毕；
[0012]同时，维护一个最久未使用的任务列表，当一个任务被用户调用了，则将其编号插入到列表头部；每当有新任务加入时，如果空闲核心数量不足，则依次卸载最久未使用的任
务，直到有足够空闲核心以加载新任务，此时同样按步骤(2)～(3)来加载新任务。
[0013]本专利技术将脉冲神经网络映射到片上网络的多个核心中去，并在旧任务结束和新任务创建时重新安排核心映射；以通信代价和核心占用率为映射收益，并以启发式的带回溯的随机爬坡算法逐步寻找更佳的映射位置，并评估实际应用该映射节约的时间是否足够弥补在片上网络设置该映射需要的时间，以最后确认是否使用映射。
[0014]步骤(1)中，图结构以邻接表形式存储，其中权重根据该边连接的两个节点在数据集上推理时产生的通信流量作为数据集，任务预估在片上需要执行的次数由用户指定数量级。
[0015]步骤(2)中，通信消耗由边的权重W乘以这条边连接的两个核心间的曼哈顿距离得到，每个任务预计的总通信消耗为：
[0016][0017]其中，Cost
j
表示第j个任务在其生命周期内预计的总通信消耗；BeginCore
i
和EndCore
i
是第i条边的两个顶点核心；N
left
＝N
‑
N
done
是预估的执行次数N减去完成的执行次数N
done
，即剩余的预估执行次数。
[0018]步骤(3)中，使用启发式的带回溯的随机爬坡算法过程中，包含线性变换、碎片整理和回溯到之前记录的状态这三个动作类型；其中，线性变换是将任务所映射的核心在片上网络上进行随机平移、旋转、镜像动作；碎片整理是设当前有n个任务，进行n次尝试，其中第i次尝试仅考虑占用核心数量最小的前i个任务，对它们进行核心的重新映射；
[0019]对于上述三个动作类型，都在原有状态的基础上尝试多次，计算执行上述动作类型后所有任务的总通信消耗TotalCost，并且从减少通信消耗的所有动作中随机选择动作执行，其概率由通信消耗减少的程度决定，减少的越多选中的概率越高；并把旧状态记录以便之后的回溯；
[0020]重复执行上述动作直到所有任务的总通信消耗收敛或执行次数超过用户指定的次数。
[0021]进一步地，三个动作类型中，线性变换和碎片整理在进行随机生成时，计算所有已占用核心的几何中心位置，并且按用户指定的参数提高生成动作时生成向该位置移动的动作的概率。
[0022]进一步地，三个动作类型中，回溯到之前记录的状态时，如果之前保存的记录中存在已经完成或者暂时卸载了的任务，则对应使用的核心也设置为未占用，再考虑进一步生成动作。
[0023]进一步地，回溯到之前记录的状态时，由一个栈存储之前的所有旧状态，以便回溯动作在任何情况下都可进行。
[0024]进一步地，步骤(4)中，任务列表由队列实现，并且为每一个任务分配一个唯一的自增ID。
[0025]与现有技术相比，本专利技术具有以下有益效果：
[0026]本专利技术可以充分调度和提高片上网络的利用率，实现减少片上网络的脉冲包通信开销，提高运行任务的数量，提高神经元核心的利用率，减低芯片上每任务的功耗。
附图说明
[0027]图1为本专利技术一种神经拟态芯片多任务调度的片上网络碎片整理方法的流程图；
[0028]图2为一个经过分簇后的脉冲神经网络的图表示的示例；
[0029]图3为在片上网络布置多个脉冲神经网络的示例。
具体实施方式
[0030]下面结合附图和实施例对本专利技术做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本专利技术的理解，而对其不起任何限定作用。
[0031]如图1所示，一种神经拟态芯片多任务调度的片上网络碎片整理方法，包括以下步骤：
[0032]S1，获取数个脉冲神经网络任务的相关配置的列表，包括：每个任务的脉冲神经网络分割成簇后的图结构，按图边上的预估通信负荷生成的权重，任务预估的在片上需要执行的次数。
[0033]其中，将脉冲神经网络任务定义为一个脉冲神经网络模型，其已经预先按照节点间通信开销最小的原则将神经元进行了分簇，但是尚未分配实际的物理核心。
[0034]指定的图结构以邻接表形式存储，其中权重可根据该边连接的两个节点在数据集上推理时产生的通信流量作为数据集。而执行次数可以由用户指定一个大致的数量级，如十次/百次等。
[0035]S2，当多个任务需要同时在片上运行时，对其中每一个任务，记录按照当前使用核心配置继续执行时剩余的预估执行次数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经拟态芯片多任务调度的片上网络碎片整理方法，其特征在于，包括以下过程：(1)在将脉冲神经网络任务分配到片上网络时，获取任务的相关配置，包括每个任务的脉冲神经网络分割成簇后的图结构、按图边预估通信负荷生成的权重、任务预估在片上需要执行的次数；(2)多个任务在片上网络执行时，对于每一个任务，记录按照当前使用核心配置继续执行时剩余的预估执行次数乘以当前配置下当前任务的通信消耗，记为该任务预计的总通信消耗；(3)使用启发式的带回溯的随机爬坡算法从线性变换和碎片整理两种类型的动作中随机选择以重新安排片上网络当前任务对应的核心配置，使得最终所有任务的总通信消耗减小；(4)每当有任务执行完成并释放其使用的核心时，执行步骤(2)～(3)，直到所有片上任务执行完毕；同时，维护一个最久未使用的任务列表，当一个任务被用户调用了，则将其编号插入到列表头部；每当有新任务加入时，如果空闲核心数量不足，则依次卸载最久未使用的任务，直到有足够空闲核心以加载新任务，此时同样按步骤(2)～(3)来加载新任务。2.根据权利要求1所述的神经拟态芯片多任务调度的片上网络碎片整理方法，其特征在于，步骤(1)中，图结构以邻接表形式存储，其中权重根据该边连接的两个节点在数据集上推理时产生的通信流量作为数据集，任务预估在片上需要执行的次数由用户指定数量级。3.根据权利要求1所述的神经拟态芯片多任务调度的片上网络碎片整理方法，其特征在于，步骤(2)中，通信消耗由边的权重W乘以这条边连接的两个核心间的曼哈顿距离得到，每个任务预计的总通信消耗为：其中，Cost
j
表示第j个任务在其生命周期内预计的总通信消耗；BeginCore
i
和EndCore
i
是第i条边的两个顶点核心；N
left
＝N
‑
N
done

【专利技术属性】
技术研发人员：李莹，周博文，何煜坤，邓水光，潘纲，
申请(专利权)人：浙江大学，
类型：发明
国别省市：