用于脉冲神经网络的硬件架构和操作方法技术

本发明专利技术提供一种用于脉冲神经网络的硬件架构，其特征在于结合了全并行架构和时分多路复用架构。复用架构。复用架构。

【技术实现步骤摘要】
【国外来华专利技术】用于脉冲神经网络的硬件架构和操作方法


[0001]本专利技术涉及计算架构领域，更具体地，涉及用于脉冲神经网络的硬件架构和操作网络的方法。

技术介绍

[0002]由于在许多诸如图像分类和对象辨识等应用环境中取得的最新成果，机器学习在研究和工业中引发了空前的兴趣。然而，由于这些系统的配置要求巨大的计算能力，使得他们不适合于嵌入式系统。为了解决这样的限制，许多研究者正在研究类脑计算(brain
‑
inspired computing)，类脑计算是满足计算性能要求的传统的基于冯诺依曼架构的计算机(CPU/GPU)的替代品。然而，该方法存在能量效率问题，并且需要设计既适用于并行计算又适用于分布式计算的神经形态硬件电路。
[0003]过去十年，人工智能(AI)越来越多地引起了工业机构和研究机构的关注。人工神经网络(ANN)源自生物大脑并从生物大脑得到启发，已成为最知名和最频繁使用的AI形式。尽管近年来ANN受到了许多关注，但其源于20世纪40年代第一台计算机的出现。随后的工作和进步引起了多种ANN模型的发展。然而，这些模型中的许多都只停留在理论上，当时并没有针对工业用途而实施。
[0004]近来，这些算法之所以变得有竞争力，是因为两个因素：一、现代计算机已达到充分的计算性能来处理ANN训练和推理；二、可用的数据量呈指数增长，满足了用于ANN的大量的训练数据需求。
[0005]然而，由复杂形式的ANN计算所带来的能量和硬件资源集中与另一种当前的新兴技术，即IoT(物联网)和边缘计算不匹配。为了使ANN在嵌入式环境中执行，必须为ANN加速部署专用硬件架构。在这种情况下，神经形态结构的设计在与脉冲神经网络的研究相结合时尤其有趣。
[0006]用于深度学习和知识表示的脉冲神经网络(SNN)是当前的一个问题，尤其与对神经科学和机器学习两者都感兴趣的研究者的团体有关。文献中已提出了若干特定的硬件解决方案，但它们仅仅是与网络拓扑常常受电路架构的特性的约束的整体空间设计隔离开的解决方案。
[0007]专利技术人的文章“脉冲神经网络的信息编码和硬件架构”，2019年第二十二届欧洲数字系统设计(DSD)会议(Euromicro Conference on Digital System Design)，IEEE，2019年8月28日，第291页
‑
第298页，XP033637577中提出了两个不同的用于脉冲神经网络的硬件架构的设计：时分多路复用结构(TMA)和全并行结构(FPA)。
[0008]这些架构方案是硬件实施的经典模型。在SNN的情况下，这些结构没有利用贯穿网络深度的活动减少的优势。实际上，对这些网络的动态进行更多精确的分析表明大多数的脉冲是由输入层生成的。第一神经层(尤其在卷积层的情况下)充当低通滤波器，其大幅度地减少了输出脉冲的数量。因此，端到端以全并行方式工作未充分利用HW处理元件的数量并造成能量消耗。此外，FPA的实施方式不支持基于事件的处理，并且基于帧的方式操作。另
一方面，端到端以时分多路复用方式工作需要顺序地处理所有脉冲。这导致了剩下较大数量的脉冲的第一神经层中的时间开销。
[0009]专利技术人推荐截然不同的方法，其在于生成最佳地支持网络拓扑的结构。
[0010]因此，需要一个解决方案以解决前述问题。并且需要既可以适用于并行计算也可以适用于分布式计算的神经形态硬件电路。本专利技术提供了这种解决方案。

技术实现思路

[0011]根据本专利技术的第一实施例，提供了一种如在随附的独立权利要求1中所进一步描述的系统。
[0012]本专利技术的目的在于一种适于脉冲神经网络的实施方式的神经形态硬件架构。具体地，本专利技术提供了一种结合全并行硬件层和时分多路复用硬件层的混合架构。本专利技术的混合架构满足特定于应用的约束。
[0013]有利地，描述了结合时分多路复用硬件和并行硬件实施方式的优点的新颖的混合架构。
[0014]实际上，在该架构中，称为全并行隐藏层的第一隐藏层在全并行处理模块中实现，称为时分多路复用隐藏层的多个更深的隐藏层在时分多路复用处理模块中实现。该混合架构非常适合脉冲选择编码方法。
[0015]在SNN中，混合架构通过使并行性适应每个层的活动来使得脉冲的高效处理成为可能。混合架构模型打破了FPA和TMA的统一处理。因此，实现了异步处理脉冲的特定控制单元。混合架构保证了最优的基于事件的处理，其中单元仅在脉冲出现时被激活。此外，混合架构通过调整并行性和延迟提供优化的能量消耗。
[0016]混合架构使用神经编码方案将输入数据转换为具有编码范式的脉冲序列，其以在网络中传播较少数量脉冲为特征。
[0017]有利地，在保持相同的分类准确度的同时减少了待处理的脉冲事件数量。通过这样做，硬件所消耗的电力量减少。
[0018]混合架构已在VHDL中开发并在寄存器传输级(RTL)中进行了仿真。
[0019]网络中的大多数脉冲活动位于第一层。因此，第一隐藏层是在处理期间最需要的层。为了利用该方面优势，设计的混合架构混合了时分多路复用架构(TMA)和全并行架构(FPA)，其中，一、初始两个层通过使用具有类似于FPA的结构的神经核模块实施；以及二、如在TMA中那样，其余层是每层使用一个NPU的时分多路复用的层。在大型的脉冲神经网络的情况下，时分多路复用部分由网络控制器驱动，网络控制器管理NPU并将NPU连接到持有NPU的逻辑权重的SDRAM，以及从外部的SDRAM存储器检索权重并将权重转发至对应的NPU。这种新颖的混合架构尤其适于使用脉冲选择编码，在脉冲选择编码中脉冲活动集中在第一层。
[0020]本专利技术的混合架构利用了随着进入到更深层的网络而增加的脉冲活动稀疏性。这种新颖的混合架构针对最需要的层具有全并行计算核且针对更深的层具有时分多路复用计算单元架构，当与所建议的脉冲选择编码结合时，似乎成为针对将来的深度SNN在嵌入系统中实施的最适当的方法之一。
[0021]本专利技术的混合架构适于基于全连接的SNN的实施和脉冲卷积神经网络的实施。
[0022]所请求保护的用于脉冲神经网络的硬件架构包括：
[0023]‑
用于接收输入像素和生成脉冲流的脉冲生成器；
[0024]‑
用于接收脉冲流和对脉冲流进行滤波以生成数量减少的脉冲的神经核模块；
[0025]‑
用于处理数量减少的脉冲的神经处理单元模块；
[0026]‑
用于选择输出赢者类的分类模块；
[0027]硬件架构的特征在于神经核模块包括隐藏的全并行层以并行地处理所接收的输入脉冲，以及神经处理单元模块包括多个隐藏的时分多路复用层以顺序地处理数量减少的脉冲。
[0028]根据各个实施例的：
[0029]‑
脉冲生成器被实施为神经编码功能，如速率编码或者脉冲选择编码。
[0030]‑
神经核模块包括接收脉冲流的输入层和实施为全并行电路以处理脉冲的第一隐藏层本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于脉冲神经网络的硬件架构包括：
‑
脉冲生成器模块(102)，用于接收输入像素以及生成脉冲流；
‑
神经核模块(104)，用于接收所述脉冲流以及对所述脉冲流进行滤波以生成数量减少的脉冲；
‑
神经处理单元模块(106)，用于处理所述数量减少的脉冲；
‑
分类模块(108)，用于选择输出赢者类；所述硬件架构的特征在于：所述神经核模块(104)包括隐藏的全并行层以并行地处理所接收的输入脉冲，以及所述神经处理单元模块(106)包括多个隐藏的时分多路复用层以顺序地处理所述数量减少的脉冲。2.根据权利要求1所述的硬件架构，其中，所述脉冲生成器被实施为神经编码功能，如速率编码或者脉冲选择。3.根据权利要求1或2所述的硬件架构，其中，所述神经核模块(104)还包括输入层(202)、全并行层和控制模块(206)，所述输入层(202)接收脉冲流，所述全并行层由并行地处理输入脉冲的神经元组成，以及所述控制模块(206)从所述全并行层(204)顺序地读取输出脉冲以及将所述输出脉冲存储到输出FiFo缓冲器。4.根据权利要求1至3中的任何一项所述的硬件架构，其中，所述多个隐藏的时分多路复用层中的...

【专利技术属性】
技术研发人员：贝努瓦，
申请(专利权)人：法国国家科学研究中心，
类型：发明
国别省市：