【技术实现步骤摘要】
在硬件中实现全连接神经网络层
技术介绍
[0001]在神经网络中，在许多上下文中出现了全连接(FC)层。例如，它们是多层感知器(MLP)的关键部件。MLP是使用一个或多个全连接层定义的前馈神经网络。MLP已广泛用于解决一系列信号处理问题，包括手写字符识别、数据压缩、车辆意图预测、财务预测，以及心电图(ECG)信号的噪声降低和分析。
[0002]使用FC层的其它实例可包括递归神经网络(RNN)以及图像分类网络的最后层。
[0003]“全连接”意指层的每个输出数据元都可以受到层的所有输入数据元的影响。也就是说，每个输出数据元按权重“连接”到每个输入数据元。这意味着存在相对大量的权重。对于具有N个输入数据元和M个输出数据元的层，在全连接层中存在NxM个权重。这意味着，处理全连接层需要大量计算——尽管与其他操作，例如卷积相比，算术强度(每权重的运算数量)相对较低，但每个滤波器的权重数量意味着总体计算负荷仍然很大。
[0004]全连接层与卷积层显著不同。在卷积层中，滤波器在输入数据的一个或多个遍历维度上移位。(例如，当卷积层用于图像处理...
【技术保护点】
【技术特征摘要】
1.一种在硬件中实现神经网络的全连接层的方法，所述硬件包括：多个处理元件(130)，每个处理元件被配置成在多个硬件周期的每个周期中将一个或多个输入数据值的集合和一个或多个系数的集合相乘；系数缓冲器(120)，所述系数缓冲器被配置成在每个周期中向所有处理元件供应一个或多个系数的单个集合；输入缓冲器(110)，所述输入缓冲器被配置成在每个周期中向每个处理元件供应相应的一个或多个输入数据元的集合，所述方法包括：将所述全连接层的输入数据加载(820)到所述系数缓冲器中；将所述全连接层的系数数据加载(810)到所述输入缓冲器中；以及使用所述多个处理元件(130)评估(830)所述全连接层，其中，在每个周期中，第一处理元件(130
‑
0)部分地评估所述全连接层的第一输出数据元，同时第二处理元件(130
‑
1)部分地评估所述全连接层的第二输出数据元。2.根据权利要求1所述的方法，还包括，在将所述系数数据加载(810)到所述输入缓冲器中之前，对所述系数数据应用转置(808)操作以产生经转置的系数数据。3.根据权利要求2所述的方法，其中，所述系数数据存储在存储器中，并且所述方法包括：从所述存储器检索(806)所述系数数据；将所述转置操作(808)应用于检索到的系数数据；以及将经转置的系数数据加载(810)到所述输入缓冲器中。4.根据权利要求2所述的方法，包括：获得所述系数数据；将所述转置操作(808a)应用于所述系数数据；将经转置的系数数据存储(804)在存储器中；从所述存储器检索(806a)经转置的系数数据；以及将经转置的系数数据加载(810)到所述输入缓冲器中。5.根据权利要求1至4中任一项所述的方法，其中，所述全连接层是第一全连接层，并且所述神经网络还包括第二全连接层，所述方法还包括：将所述第一全连接层的输出数据加载(821)到所述系数缓冲器中，作为所述第二全连接层的输入数据；将所述第二全连接层的系数数据加载(810)到所述输入缓冲器中；以及使用所述多个处理元件评估(831)所述第二全连接层。6.根据前述权利要求中任一项所述的方法，其中，所述全连接层的输入数据由单批量的输入数据组成。7.一种用于实现神经网络的一个或多个全连接层的数据处理系统(15)，所述数据处理系统包括：硬件加速器(100)；和控制器(17)，其中，所述硬件加速器(100)包括：
多个处理元件(130)，每个处理元件被配置成在多个硬件周期的每个周期中将一个或多个输入数据值的集合和一个或多个系数的集合相乘；系数缓冲器(120)，所述系数缓冲器被配置成在每个周期中向所有处理元件(130)供应一个或多个系数的单个集合；以及输入缓冲器(110)，所述输入缓冲器被配置成在每个周期中向每个处理元件(130)供应相应的一个或多个输入数据元的集合，其中，所述控制器(17)被配置成：将所述全连接层的输入数据加载(820)到所述系数缓冲器中；以及将所述全连接层的系数数据加载(810)到所述输入缓冲器中，并且其中，所述硬件加速器(100)被配置成使用所述多个处理元件(130)评估(830)所述全连接层，其中，在每个周期中，第一处理元件(130
‑
0)部分地评估所述全连接层的第一输出数据...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。