一种全连接层的实现方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请公开了一种全连接层的实现方法、装置、电子设备及计算机可读存储介质，包括：获取针对全连接层的多个输入特征，所述多个输入特征中的每个输入特征包括多个第一特征分量，当获取到的所述多个输入特征的总数量达到第一预设阈值时，同时向所述全连接层对应的多个数据处理单元输入所述多个输入特征；接着获取所述多个第一特征分量中的每个第一特征分量在所述全连接层的输出特征中的权重系数；然后在所述多个数据处理单元中，根据所述多个第一特征分量和所述多个第一特征分量对应的权重系数，并行确定所述每个输入特征对应的输出特征。采用本申请实施例，可以实现全连接层权重系数的复用、提高神经网络中乘法累加器的利用率。

A realization method, device, electronic equipment and computer readable storage medium of full connection layer

【技术实现步骤摘要】
一种全连接层的实现方法、装置、电子设备及计算机可读存储介质
本申请涉及神经网络领域，尤其涉及一种全连接层的实现方法、装置、电子设备及计算机可读存储介质。
技术介绍
目前，卷积神经网络(ConvolutionNeuralNetwork,CNN)被广泛地应用于人工智能的各个领域。CNN是一种深度前馈人工神经网络，包括卷积层、池化层和全连接(Fullyconnect,FC)层。相比于其他神经网络算法，CNN可以处理更大的图像，具有计算量大、带宽需求大以及操作相对固定的特点。其中，在FC层中需将处理对象的局部特征整合为全局特征。尽管FC层的计算量比较小，但需要的权重系数(weight)的量却很大。多数情况下，FC层所需的weight占整个神经网络weight的70％以上。在现有的FC层的实现方案中，一旦系统生成局部特征立即读取weight对该局部特征进行转化，这种做法不仅无法实现FC层weight的复用、而且导致整个神经网络中乘法累加器(MultiplyAccumulate，MAC)的利用率低。
技术实现思路
本申请实施例提供一种全连接层的实现方法、装置、设备及计算机可读存储介质，可以实现FC层权重系数的复用、提高神经网络中MAC的利用率。本申请实施例第一方面提供了一种全连接层的实现方法，包括：获取针对全连接层的多个输入特征，所述多个输入特征中的每个输入特征包括多个第一特征分量；当获取到的所述多个输入特征的总数量达到第一预设阈值时，同时向所述全连接层对应的多个数据处理单元输入所述多个输入特征；获取所述多个第一特征分量中的每个第一特征分量在所述全连接层的输出特征中的权重系数；在所述多个数据处理单元中，根据所述多个第一特征分量和所述多个第一特征分量对应的所述权重系数，并行确定所述每个输入特征对应的输出特征。相应地，本申请实施例第二方面提供了一种全连接层的实现装置，包括：获取模块，用于获取针对全连接层的多个输入特征，所述多个输入特征中的每个输入特征包括多个第一特征分量；传输模块，用于当获取到的所述多个输入特征的总数量达到第一预设阈值时，同时向所述全连接层对应的多个数据处理单元输入所述多个输入特征；所述获取模块，还用于获取所述多个第一特征分量中的每个第一特征分量在所述全连接层的输出特征中的权重系数；处理模块，所述处理模块包括所述全连接层对应的多个数据处理单元，用于所述多个第一特征分量和所述多个第一特征分量对应的权重系数，并行确定所述每个输入特征对应的输出特征。其中，所述传输模块还用于:同时向所述多个数据处理单元中的每个数据处理单元输入所述多个输入特征中的一个输入特征；所述处理模块还用于：在所述每个数据处理单元中，根据所述一个输入特征中的所述多个第一特征分量和所述多个第一特征分量对应的权重系数，确定所述一个输入特征对应的输出特征。其中，所述传输模块还用于：同时向所述全连接层对应的多数据处理单元中的每个数据处理单元输入所述多个输入特征；所述处理模块还用于：在所述每个数据处理单元中，根据所述每个输入特征中的所述多个第一特征分量和所述多个第一特征分量对应的所述权重系数，确定所述每个输入特征对应的输出特征所包含的多个第二特征分量中的至少一个第二特征分量；将所述每个数据处理单元所确定的所述至少一个第二特征分量进行组合得到所述每个输入特征对应的输出特征。其中，所述一个输入特征对应的输出特征包括多个第二特征分量；所述处理模块还用于：根据所述多个第一特征分量对应的权重系数，确定所述一个输入特征中的所述每个第一特征分量对所述多个第二特征分量中的每个第二特征分量的贡献值；根据所述贡献值，确定所述一个输入特征对应的输出特征。其中，所述处理模块还用于：从所述每个数据处理单元中删除已确定所述贡献值的第一特征分量。其中，所述处理模块还用于：根据所述多个第一特征分量对应的权重系数，确定所述每个输入特征中的所述每个第一特征分量对所述至少一个第二特征分量中的每个第二特征分量的贡献值；根据所述贡献值，确定所述至少一个第二特征分量。其中，所述获取模块还用于：确定存储所述权重系数所需的存储空间；当所述存储空间小于第二预设阈值时，执行所述获取所述多个第一特征分量中的每个第一特征分量在所述全连接层的输出特征中的权重系数的操作。本申请实施例第三方面提供了一种电子设备，包括：处理器、存储器、通信接口和总线；所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；所述存储器存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行本申请实施例第一方面公开的一种全连接层的实现方法。相应地，本申请实施例提供了一种存储介质，其中，所述存储介质用于存储应用程序，所述应用程序用于在运行时执行本申请实施例第一方面公开的一种全连接层的实现方法。相应地，本申请实施例提供了一种应用程序，其中，所述应用程序用于在运行时执行本申请实施例第一方面公开的一种全连接层的实现方法。实施本申请实施例，获取针对全连接层的多个输入特征，所述多个输入特征中的每个输入特征包括多个第一特征分量，当获取到的所述多个输入特征的总数量达到第一预设阈值时，首先同时向所述全连接层对应的多个数据处理单元输入所述多个输入特征；接着获取所述多个第一特征分量中的每个第一特征分量在所述全连接层的输出特征中的权重系数；然后在所述多个数据处理单元中，根据所述多个第一特征分量和所述多个第一特征分量对应的权重系数，并行确定所述每个输入特征对应的输出特征。可以在多个数据处理单元中对多个输入特征对应的输出特征进行并行确定，实现了在仅读取一次权重系数的前提下完成对多个输入特征的FC层的计算，相比于现有技术中每对一个输入特征进行FC层的计算都要读取一次权重系数的方法，本申请实施例提供的方法实现了权重系数的复用。此外，输入特征的总数量对应的第一预设阈值的选取可以以FC层对应的数据处理单元的数量为依据，以使每个数据处理单元至少承担一个输入特征的FC层的计算，避免数据处理单元闲置的情况，提高了MAC的利用率。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的神经网络处理器的结构示意图；图2是本申请实施例提供的一种全连接层的实现方法的流程示意图；图3是本申请实施例提供的一种输入特征的示意图；图4是本申请实施例提供的一种向PE写入输入特征的示意图；图5是本申请实施例提供的一种输出特征的示意图；图6是本申请实施例提供的另一种本文档来自技高网...

【技术保护点】
1.一种全连接层的实现方法，其特征在于，所述方法包括：/n获取针对全连接层的多个输入特征，所述多个输入特征中的每个输入特征包括多个第一特征分量；/n当获取到的所述多个输入特征的总数量达到第一预设阈值时，同时向所述全连接层对应的多个数据处理单元输入所述多个输入特征；/n获取所述多个第一特征分量中的每个第一特征分量在所述全连接层的输出特征中的权重系数；/n在所述多个数据处理单元中，根据所述多个第一特征分量和所述多个第一特征分量对应的权重系数，并行确定所述每个输入特征对应的输出特征。/n

【技术特征摘要】
1.一种全连接层的实现方法，其特征在于，所述方法包括：
获取针对全连接层的多个输入特征，所述多个输入特征中的每个输入特征包括多个第一特征分量；
当获取到的所述多个输入特征的总数量达到第一预设阈值时，同时向所述全连接层对应的多个数据处理单元输入所述多个输入特征；
获取所述多个第一特征分量中的每个第一特征分量在所述全连接层的输出特征中的权重系数；
在所述多个数据处理单元中，根据所述多个第一特征分量和所述多个第一特征分量对应的权重系数，并行确定所述每个输入特征对应的输出特征。


2.如权利要求1所述的方法，其特征在于，所述同时向所述全连接层对应的多个数据处理单元输入所述多个输入特征包括：
同时向所述多个数据处理单元中的每个数据处理单元输入所述多个输入特征中的一个输入特征；
所述在所述多个数据处理单元中，根据所述多个第一特征分量和所述多个第一特征分量对应的权重系数，并行确定所述每个输入特征对应的输出特征包括：
在所述每个数据处理单元中，根据所述一个输入特征中的所述多个第一特征分量和所述多个第一特征分量对应的权重系数确定所述一个输入特征对应的输出特征。


3.如权利要求1所述的方法，其特征在于，所述同时向所述全连接层对应的多个数据处理单元输入所述多个输入特征包括：
同时向所述多个数据处理单元中的每个数据处理单元输入所述多个输入特征；
所述在所述多个数据处理单元中，根据所述多个第一特征分量和所述多个第一特征分量对应的所述权重系数，并行确定所述每个输入特征对应的输出特征包括：
在所述每个数据处理单元中，根据所述每个输入特征中的所述多个第一特征分量和所述多个第一特征分量对应的权重系数，确定所述每个输入特征对应的输出特征所包含的多个第二特征分量中的至少一个第二特征分量；
将所述每个数据处理单元所确定的所述至少一个第二特征分量进行组合得到所述每个输入特征对应的输出特征。


4.如权利要求2所述的方法，其特征在于，所述一个输入特征对应的输出特征包括多个第二特征分量；
所述根据所述一个输入特征中的所述多个第一特征分量和所述多个第一特征分量对应的权重系数，确定所述一个输入特征对应的输出特征包括：
根据所述多个第一特征分量对应的权重系数，确定所述一个输入特征中的所述每个第一特征分量对所述多个第二特征分量中的每个第二特征分量的贡献值；
根据所述贡献值，确定所述一个输入特征对应的输出特征。


5.如权利要求4所述的方法，其特征在于...

【专利技术属性】
技术研发人员：李炜，曹庆新，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东;44