深度神经网络硬件加速器与其操作方法技术

一种深度神经网络硬件加速器及其操作方法，深度神经网络硬件加速器包括：一网络分配器，接收一输入数据，根据一目标数据量的多个频宽比率来分配该目标数据量的多个数据类型的个别频宽；以及一处理单元阵列，耦接至该网络分配器，根据所分配的这些数据类型的个别频宽，该处理单元阵列与该网络分配器之间互相传输该目标数据量的这些数据类型的各自数据。

Deep neural network hardware accelerator and its operation method

【技术实现步骤摘要】
深度神经网络硬件加速器与其操作方法
本专利技术有关于一种深度神经网络硬件加速器与其操作方法。
技术介绍
深度神经网络(DeepNeuralNetworks，DNN)属于人工神经网络(ArtificialNeuralNetwork，ANN)的一环，可用于深度机器学习。人工神经网络可具备学习功能。深度神经网络已经被用于解决各种各样的问题，例如机器视觉和语音识别等。如何使得深度神经网络的内部数据传输速度最佳化进而加快其处理速度，一直是业界努力方向之一。
技术实现思路
根据本专利技术一实施例，提出一种深度神经网络硬件加速器，包括：一网络分配器，接收一输入数据，根据一目标数据量的多个频宽比率来分配该目标数据量的多个数据类型的个别频宽；以及一处理单元阵列，耦接至该网络分配器，根据所分配的这些数据类型的个别频宽，该处理单元阵列与该网络分配器之间互相传输该目标数据量的这些数据类型的各自数据。根据本专利技术又一实施例，提出一种深度神经网络硬件加速器的操作方法，该深度神经网络硬件加速器包括一网络分配器与一处理单元阵列，该处理单元本文档来自技高网...

【技术保护点】
1.一种深度神经网络硬件加速器，包括：/n网络分配器，接收输入数据，根据目标数据量的多个频宽比率来分配该目标数据量的多个数据类型的个别频宽；以及/n处理单元阵列，耦接至该网络分配器，根据所分配的这些数据类型的个别频宽，该处理单元阵列与该网络分配器之间互相传输该目标数据量的这些数据类型的各自数据。/n

【技术特征摘要】
20181212 TW 1071446651.一种深度神经网络硬件加速器，包括：
网络分配器，接收输入数据，根据目标数据量的多个频宽比率来分配该目标数据量的多个数据类型的个别频宽；以及
处理单元阵列，耦接至该网络分配器，根据所分配的这些数据类型的个别频宽，该处理单元阵列与该网络分配器之间互相传输该目标数据量的这些数据类型的各自数据。


2.如权利要求1所述的深度神经网络硬件加速器，还包括：
频宽参数储存单元，储存该目标数据量的这些频宽比率，并将该目标数据量的这些频宽比率传至该网络分配器，其中，该目标数据量包括多个数据层、至少一数据层或一设定数据量。


3.如权利要求1所述的深度神经网络硬件加速器，其中，该目标数据量的这些频宽比率由微处理器动态分析该目标数据量而得，并传送至该网络分配器。


4.如权利要求1所述的深度神经网络硬件加速器，其中，该目标数据量的这些频宽比率相关于该目标数据量的这些数据类型的个别比重。


5.如权利要求1所述的深度神经网络硬件加速器，其中，该网络分配器包括：
标签产生单元，根据这些频宽比率以产生多个第一标签与多个第二标签；以及
数据分配器，用以接收该输入数据并根据这些频宽比率以分配该目标数据量的这些数据类型的个别频宽。


6.如权利要求5所述的深度神经网络硬件加速器，其中，该处理单元阵列包括排列成阵列的多个处理单元，各处理单元包括：
标签匹配单元，匹配这些第二标签与多个第一辨别号，以产生多个命中参数；
频宽架构储存单元，储存这些数据类型所对应的多个频宽架构参数；
数据选择与调度单元，耦接至该标签匹配单元与该频宽架构储存单元，用以根据这些命中参数与这些频宽架构参数，以重组该网络分配器所传来的这些数据；以及
运算单元，耦接至该数据选择与调度单元，对该数据选择与调度单元所重组的这些数据进行运算。


7.如权利要求1所述的深度神经网络硬件加速器，其中，该网络分配器所接收的该输入数据来自缓冲器或者是来自通过系统总线而连接的存储器。


8.如权利要求1所述的深度神经网络硬件加速器，其中，当该目标数据量包括多个数据层时，这些数据层具有不同的这些频宽比率，且该网络分配器对这些数据层分配不同的个别频宽。


9.如权利要求1所述的深度神经网络硬件加速器，其中，当该目标数据量包括多个数据层时，这些数据层具有相同的这些频宽比率，且该网络分配器对这些数据层分配相同的个别频宽。


10.一种深度神经网络硬件加速器的操作方法，该深度神经网络硬件加速器包括网络分配器与处理单元阵列，该处理单元阵列包括多个处理单元，该操作方法包括：
分析目标数据量；
根据对该目标数据量的分析结果，设定该目标数据量的多个数据类型的多个频宽比率；
根据相关于该目标数据量的这些数据类型的这些频宽比率所造成的延迟，判断是否要重新设定该目标数据量的这些数据类型的这些频宽比率；
根据该目标数据量的这些数据类型的这些频宽比率，初始化该网络分配器与该处理单元阵列的这些处理单元；以及
由该处理单元阵列的至少一被选处理单元来处理输入数据。


11.如权利要求10所述的操作方法，其中，该分析步骤、该设定这些频宽比率步骤与该判断步骤由微处理器动态执行。


12.如权利要求10所述的操作方法，其中，该分析步骤、该设定这些频宽比率步骤与该判断步骤以离线获得。


13.如权利要求10所述的操作方法，其中初始化该网络分配器与该处理单元阵列的这些处理单元的该步骤包括：
根据该目标数据量的这些数据类型的这些频宽比率，由该网络分配器来调整/分配这些数据类型的个别传输频宽；以及
将相关于这些频宽比率的多个频宽架构参数写入至各这些处理单元。


14.如权利要求10所述的深度神...

【专利技术属性】
技术研发人员：陈耀华，陈俊辰，黄稚存，刘靖家，赖俊宏，卢俊铭，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：中国台湾;71