基于中断的神经网络加速器多任务调度方法技术

本发明专利技术公开了一种基于中断的神经网络加速器多任务调度方法，该方法包括：通过待部署神经网络模型的每个神经网络生成正常指令序列，处理正常指令序列生成中断位置；获取中断位置进行网络切换所需必要数据，并将必要数据对应操作编码为虚拟指令；将正常指令序列和虚拟指令封装，得到包含虚指令的指令序列；在运行阶段时，同时调度多个神经网络对应的指令序列，对每个神经网络对应的封装后的包含虚指令的指令序列进行解封，得到正常指令和虚拟指令，根据任务切换请求对正常指令和虚拟指令进行微调。该方法通过监控当前神经网络任务执行状态，在任务切换时仅仅对极少数必须备份和恢复片上缓存进行备份和恢复，实现低延迟、低代价的多任务切换。

Multi task scheduling method of neural network accelerator based on interruption

【技术实现步骤摘要】
基于中断的神经网络加速器多任务调度方法
本专利技术涉及人工智能算法加速器
，特别涉及一种基于中断的神经网络加速器多任务调度方法。
技术介绍
近年来，神经网络已经引起了越来越多的关注，并在人工智能
引起了巨大的进步。然而，神经网络推理需要消耗大量的计算和存储资源，传统的CPU难以对神经网络进行实时计算。有工作利用GPU对神经网络推理进行加速，然而GPU存在计算功耗高、计算资源利用率低等缺点。为了解决CPU和GPU处理神经网络存在的实时性和功耗问题，基于ASIC和FPGA的神经网络加速器被提出来实现神经网络的高能效推理。加速器具有很多优点：其一，专用加速器可以根据应用设计专门优化的计算和存储单元，进行高效率的数据重复使用，减少对片外存储的访问，降低功耗。其二，专用加速器可以充分利用神经网络的数据冗余，利用低比特的数据表示和完成计算，同时减少计算硬件资源和带宽资源需求。其三，神经网络专用加速器可以非常容易地与其他加速单元(如向量计算单元)等相结合，提升应用系统整体能效。神经网络加速器在机器人、服务器等应用场景中取得了不错的效果，但本文档来自技高网...

【技术保护点】
1.一种基于中断的神经网络加速器多任务调度方法，其特征在于，包括以下步骤：/n通过待部署神经网络模型的每个神经网络生成正常指令序列，处理所述正常指令序列生成中断位置；/n获取所述中断位置进行网络切换所需必要数据，并将所述必要数据对应操作编码为虚拟指令；/n将所述正常指令序列和所述虚拟指令封装，得到包含虚指令的指令序列；以及/n在运行阶段时，调度并解封多个神经网络封装后的包含虚指令的指令序列，生成正常指令和虚拟指令，根据多个任务间切换请求对正常指令和虚拟指令进行微调，调至下一任务的指令序列。/n

【技术特征摘要】
1.一种基于中断的神经网络加速器多任务调度方法，其特征在于，包括以下步骤：
通过待部署神经网络模型的每个神经网络生成正常指令序列，处理所述正常指令序列生成中断位置；
获取所述中断位置进行网络切换所需必要数据，并将所述必要数据对应操作编码为虚拟指令；
将所述正常指令序列和所述虚拟指令封装，得到包含虚指令的指令序列；以及
在运行阶段时，调度并解封多个神经网络封装后的包含虚指令的指令序列，生成正常指令和虚拟指令，根据多个任务间切换请求对正常指令和虚拟指令进行微调，调至下一任务的指令序列。


2.根据权利要求1所述的基于中断的神经网络加速器多任务调度方法，其特征在于，所述正常指令序列为基于指令的神经网络加速器的一段指令序列，所述一段指令序列将一个神经网络的计算任务映射到加速器上。


3.根据权利要求1所述的基于中断的神经网络加速器多任务调度方法，其特征在于，所述必要数据为进行网络切换所需备份数据和恢复数据。


4.根据权利要求3所述的基于中断的神经网络加速器多任务调度方法，其特征在于，所述备份数据将片上数据搬运至片外，所述恢复数据...

【专利技术属性】
技术研发人员：余金城，葛广君，汪玉，杨华中，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11