一种适用于神经网络加速器的内存回收结构及方法技术

本发明专利技术公开了一种适用于神经网络加速器的内存回收结构及方法，集成电路设计领域，可以通过寄存器对神经网络加速器进行“任务态

【技术实现步骤摘要】
一种适用于神经网络加速器的内存回收结构及方法


[0001]本专利技术属于集成电路设计领域，具体涉及一种适用于神经网络加速器的内存回收结构及方法。

技术介绍

[0002]内存又称主存，是CPU能直接寻址的存储空间，由半导体器件制成。电子设备中的内存的空间是有限的，为了保证系统有足够的内存可以使用，通常会在一定的情况下进行内存回收。
[0003]现有的内存回收专利，主要是通过操作系统或其上运行的应用对硬件的内4存空间进行回收利用与再分配。如中国专利CN112286692A，名称为“内存回收方法、内存回收装置及存储介质”，主要应用于终端，在第一应用启动时确定应用执行要消耗的内存预测值，并根据内存预测值确定应用在执行指定操作时需满足的内存回收条件，然后回收其他应用占用的内存。其他如中国专利CN110727607B，名称“内存回收方法、装置以及电子设备”，中国专利CN114253872B，名称“电子设备及其内存回收方法、介质”等均是通过操作系统或其上应用对硬件的内存空间进行回收利用与再分配。还有的内存回收专利主要是通过页表管理进行内存管理、回收，如中国专利CN105373484A，名称“一种网络通信芯片中内存分配、存储和管理的方法”通过空闲页表管理单元，即计数器与FIFO和数据页表管理单元SRAM进行内存的回收与分配。
[0004]目前的深度神经网络类智能计算需要极大的输入/输出数据量，然而运算单元与内存之间的性能差距越来越大，内存子系统已经成为芯片整体处理能力提高的障碍，即通常所说的“内存墙”。而神经网络模型的网络化、层次化数据流特征，需要大量的存储和各层次存储器间的数据搬移，导致“内存墙”问题更加突出，所以加速器通常需在片内设计较大的缓存，用于存储输入和中间计算数据，以提高卷积计算数据重用，以缓解“内存墙”并降低与片外数据迁移带来的较大功耗开销。
[0005]对于当前的智能化高性能处理器，通常均采用异构形态，典型的如CPU+智能加速器。当启用智能加速器时，CPU作为主控单元控制加速器的启停，而加速器则根据CPU为其加载的程序和数据自主执行；当不启用智能加速器时，CPU则作为通用处理器进行电子系统的控制。然而加速器会带来较高的芯片面积和功耗，在其不工作时会造成内部存储资源的浪费，如何在不启用加速器时又能最大程度的复用加速器在芯片上的存储资源，将其进行回收利用而不浪费，是能够提升智能化高性能处理器效能的一种新颖思路，经检索相关文献和专利，尚未发现有解决该问题的方法。

技术实现思路

[0006]为了克服上述现有技术的缺点，本专利技术的目的在于提供一种适用于神经网络加速器的内存回收方法，已解决现有技术中加速器内部缓存区会占据芯片较多面积，如果遇到任务中加速器处于空闲期会造成浪费的问题。
[0007]为了达到上述目的，本专利技术采用以下技术方案予以实现：
[0008]一种适用于神经网络加速器的内存回收结构，包括：空闲态
‑
工作态转换模块、接口转换映射模块、特征图数据映射和Clock Gating门控时钟单元；设置在指令分发控制器内部，接口转换映射模块、特征图数据映射设置在加速器的数据输入单元内，Clock Gating门控时钟单元设置在加速器内部用于切换加速器工作状态并激活门控单元。
[0009]优选地，所述空闲态
‑
工作态转换模块包括寄存器。
[0010]本专利技术还公开一种适用于神经网络加速器的内存回收结构的回收方法，包括以下步骤：
[0011]指令分发控制器配置空闲态
‑
工作态转换模块切换加速器的工作模式；
[0012]空闲态
‑
工作态转换模块切换加速器的工作模式为空闲态时，关闭加速器内计算逻辑使用时钟单元，并将加速器内部缓存区的存储资源释放分发给工作模块。
[0013]优选地，加速器的工作模式为空闲态时，通过时钟门控单元关闭加速器内部除缓存区域及其控制逻辑外的其他模块的计算逻辑使用时钟单元，开放缓存资源使用时钟单元。
[0014]优选地，所述加速器内部缓存区的存储资源包括读逻辑功能和写逻辑功能。
[0015]优选地，读逻辑功能中的地址信号和位写信号的分发，具体如下：
[0016]寄存器被配置为1，外部访问选通，通过N个触发器进行地址的寄存与复制，每个触发器再通过M个缓冲器接到对应的RAM阵列上，完成地址信号和位写信号向RAM阵列的分发。
[0017]优选地，写逻辑功能中的地址信号、数据信号和位写信号的分发，具体如下：
[0018]寄存器被配置为1，外部访问选通，通过N个触发器进行地址的寄存与复制，每个触发器再通过M个缓冲器接到对应的RAM阵列上，完成地址信号、数据信号和位写信号向RAM阵列的分发。
[0019]优选地，读逻辑功能中的使能信号的分发，具体如下：
[0020]寄存器被配置为1，外部访问选通，通过地址译码逻辑使能激活其中对应位，再通过多路选择器选择得到对应RAM读使能。
[0021]优选地，写逻辑功能中的使能信号的分发，具体如下：
[0022]寄存器被配置为1，外部访问选通，通过地址译码逻辑使能激活其中对应位，再通过多路选择器选择得到对应RAM写使能。
[0023]优选地，读逻辑功能中的读数据是通过地址译码器产生的读使能，从若干组读数据中筛选出最终输出的数据。
[0024]与现有技术相比，本专利技术具有以下有益效果：
[0025]本专利技术公开了一种适用于神经网络加速器的内存回收结构及方法，可以通过寄存器对神经网络加速器进行“任务态
‑
空闲态”模式切换，在空闲态时通过关闭加速器中模块时钟降低其整体功耗。可以在加速器处于空闲态时将其内部存储RAM阵列资源释放给智能异构芯片上其他单元，提高处理器整体工作效率。且本专利技术设计结构简单，只集成寄存器和控制单元在加速其内部，在释放存储资源的同时没有产生大多冗余的逻辑加大不必要的功耗，在成本上没有增加多余开销，芯片面积上也不会带来太大的消耗。且该结构可扩展性强，可以用于RAM阵列型缓存设计，同样，也适用于其他智能加速器结构。
附图说明
[0026]图1为空闲态下时钟关系示意图；
[0027]图2为写逻辑地址，数据，位写电路结构图；
[0028]图3为写逻辑工作态写使能电路结构图；
[0029]图4为写逻辑空闲态写使能电路结构图；
[0030]图5为写逻辑写使能电路结构图；
[0031]图6为读逻辑读数据电路结构图；
[0032]图7为任务态模式下Buffer相关数据流；
[0033]图8为空闲态模式Buffer相关数据流；
[0034]图9为本专利技术的结构示意图。
具体实施方式
[0035]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于神经网络加速器的内存回收结构，其特征在于，包括：空闲态
‑
工作态转换模块、接口转换映射模块、特征图数据映射和Clock Gating门控时钟单元；设置在指令分发控制器内部，接口转换映射模块、特征图数据映射设置在加速器的数据输入单元内，Clock Gating门控时钟单元设置在加速器内部用于切换加速器工作状态并激活门控单元。2.根据权利要求1所述的一种适用于神经网络加速器的内存回收方法，其特征在于，所述空闲态
‑
工作态转换模块包括寄存器。3.一种基于权利要求2所述的适用于神经网络加速器的内存回收结构的回收方法，其特征在于，包括以下步骤：指令分发控制器配置空闲态
‑
工作态转换模块切换加速器的工作模式；空闲态
‑
工作态转换模块切换加速器的工作模式为空闲态时，关闭加速器内计算逻辑使用时钟单元，并将加速器内部缓存区的存储资源释放分发给工作模块。4.根据权利要求3所述的一种适用于神经网络加速器的内存回收方法，其特征在于，加速器的工作模式为空闲态时，通过时钟门控单元关闭加速器内部除缓存区域及其控制逻辑外的其他模块的计算逻辑使用时钟单元，开放缓存资源使用时钟单元。5.根据权利要求3所述的一种适用于神经网络加速器的内存回收方法，其特征在于，所述加速器内部缓存区的存储资源包括读逻辑功能和写逻辑功能。6.根据权利要求5所述的一种...

【专利技术属性】
技术研发人员：毕思颖，焦峰，娄冕，黄巾，杨靓，
申请(专利权)人：西安微电子技术研究所，
类型：发明
国别省市：