神经网络的处理方法及装置、存储介质、电子设备制造方法及图纸

本公开提供一种神经网络的处理方法及装置、存储介质、电子设备。该方法包括：获取网络层的输入向量和权重向量集合，所述权重向量集合包括N个原始权重向量，N为所述网络层的输出向量的个数；从所述权重向量集合中选取至少两个第一权重向量，并将所述至少两个第一权重向量替换为预设权重向量，所述至少两个第一权重向量为相似权重向量，且每个第一权重向量与所述输入向量的相关度小于预设相关度；利用所述输入向量以及处理后的权重向量集合，计算得到所述网络层的N个输出向量，所述处理后的权重向量集合包括：所述权重向量集合中未被选取的原始权重向量、以及所述预设权重向量。如此方案，有助于降低神经网络的计算量，提高计算效率。

【技术实现步骤摘要】
神经网络的处理方法及装置、存储介质、电子设备
本公开涉及神经网络
，具体地，涉及一种神经网络的处理方法及装置、存储介质、电子设备。
技术介绍
随着人工神经网络技术的不断发展，深度学习被广泛应用于各种分类任务、回归任务，例如，用于进行语音识别、图像识别等。通常，深度学习的效果与神经网络的结构复杂度密切相关，对于复杂任务来说，复杂的网络结构往往能带来较好的识别效果，但计算压力也会随之增大。进行前向计算时，可以利用各层网络的输入向量X、基于网络训练得到的该层网络输入到该层网络输出的权重向量W，计算得到该层网络的输出向量Y＝X·W。面对大规模任务的神经网络，例如，做一个20000类的分类任务时，就存在20000个输出向量Yi以及对应的20000个权重向量Wi，每个输出向量Yi都需要计算输入向量X与权重向量Wi的乘积，计算量非常大，很容易影响基于神经网络实现的产品的使用效率，降低用户体验。
技术实现思路
本公开的主要目的是提供一种神经网络的处理方法及装置、存储介质、电子设备，有助于降低神经网络的计算量，提高计算效率。为了实现上述目的，本公开提供一种神经网络的处理方法，所述方法包括：获取网络层的输入向量和权重向量集合，所述权重向量集合包括N个原始权重向量，N为所述网络层的输出向量的个数；从所述权重向量集合中选取至少两个第一权重向量，并将所述至少两个第一权重向量替换为预设权重向量，所述至少两个第一权重向量为相似权重向量，且每个第一权重向量与所述输入向量的相关度小于预设相关度；利用所述输入向量以及处理后的权重向量集合，计算得到所述网络层的N个输出向量，所述处理后的权重向量集合包括：所述权重向量集合中未被选取的原始权重向量、以及所述预设权重向量。可选地，所述从所述权重向量集合中选取至少两个第一权重向量，包括：从所述N个原始权重向量中选取相似权重向量，并对所述相似权重向量进行聚类处理，得到至少一个权重聚合类；计算各权重聚合类的中心向量与所述输入向量的相关度，将相关度小于所述预设相关度的权重聚合类包括的相似权重向量，确定为所述第一权重向量。可选地，所述从所述N个原始权重向量中选取相似权重向量，包括：计算每个原始权重向量的模、以及所述N个原始权重向量的模的均值；根据所述模的均值确定匹配区间，若有至少两个原始权重向量的模位于所述匹配区间内，则将所述至少两个原始权重向量确定为相似权重向量。可选地，如果所述相似权重向量的个数小于预设数量，所述方法还包括：按照预设步长扩展所述匹配区间，以使根据扩展后匹配区间确定出的相似权重向量的个数不小于所述预设数量为止；所述对所述相似权重向量进行聚类处理，得到至少一个权重聚合类，包括：将所述扩展后匹配区间分割为至少两个小区间，分别对每个小区间对应的相似权重向量进行聚类处理，得到至少一个权重聚合类。可选地，在所述从所述权重向量集合中选取至少两个第一权重向量之前，所述方法还包括：判断所述权重向量集合中的原始权重向量之间的差异度是否大于预设差异值；如果所述权重向量集合中的原始权重向量之间的差异度不大于预设差异值，再执行所述从所述权重向量集合中选取至少两个第一权重向量的步骤。本公开提供一种神经网络的处理装置，所述装置包括：向量获取模块，用于获取网络层的输入向量和权重向量集合，所述权重向量集合包括N个原始权重向量，N为所述网络层的输出向量的个数；第一权重向量选取模块，用于从所述权重向量集合中选取至少两个第一权重向量，并将所述至少两个第一权重向量替换为预设权重向量，所述至少两个第一权重向量为相似权重向量，且每个第一权重向量与所述输入向量的相关度小于预设相关度；输出向量计算模块，用于利用所述输入向量以及处理后的权重向量集合，计算得到所述网络层的N个输出向量，所述处理后的权重向量集合包括：所述权重向量集合中未被选取的原始权重向量、以及所述预设权重向量。可选地，所述第一权重向量选取模块包括：相似权重向量获取模块，用于从所述N个原始权重向量中选取相似权重向量；聚类处理模块，用于对所述相似权重向量进行聚类处理，得到至少一个权重聚合类；第一权重向量确定模块，用于计算各权重聚合类的中心向量与所述输入向量的相关度，将相关度小于所述预设相关度的权重聚合类包括的相似权重向量，确定为所述第一权重向量。可选地，所述相似权重向量获取模块，用于计算每个原始权重向量的模、以及所述N个原始权重向量的模的均值；根据所述模的均值确定匹配区间，若有至少两个原始权重向量的模位于所述匹配区间内，则将所述至少两个原始权重向量确定为相似权重向量。可选地，如果所述相似权重向量的个数小于预设数量，所述装置还包括：匹配区间扩展模块，用于按照预设步长扩展所述匹配区间，以使根据扩展后匹配区间确定出的相似权重向量的个数不小于所述预设数量为止；所述聚类处理模块，用于将所述扩展后匹配区间分割为至少两个小区间，分别对每个小区间对应的相似权重向量进行聚类处理，得到至少一个权重聚合类。可选地，所述装置还包括：差异判断模块，用于判断所述权重向量集合中的原始权重向量之间的差异度是否大于预设差异值；如果所述权重向量集合中的原始权重向量之间的差异度不大于预设差异值，则通知所述第一权重向量选取模块从所述权重向量集合中选取至少两个第一权重向量。本公开提供一种存储介质，其中存储有多条指令，所述指令由处理器加载，执行上述神经网络的处理方法的步骤。本公开提供一种电子设备，所述电子设备包括；上述的存储介质；以及处理器，用于执行所述存储介质中的指令。本公开方案中，可以将互为相似权重向量，且与输入向量的相关度较低的原始权重向量，即第一权重向量替换为预设权重向量，用以减少第一权重向量对应的输出向量的计算量。如此，既有助于降低神经网络的整体计算量，又可尽量避免对分类/回归的效果产生影响。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1为本公开方案神经网络的处理方法的流程示意图；图2为本公开方案神经网络的处理装置的构成示意图；图3为本公开方案用于神经网络处理的电子设备的结构示意图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。参见图1，示出了本公开神经网络的处理方法的流程示意图。可以包括以下步骤：S101，获取网络层的输入向量和权重向量集合，所述权重向量集合包括N个原始权重向量，N为所述网络层的输出向量的个数。本公开方案可应用于神经网络的测试阶段，即，已经在网络训练阶段得到各网络层的权重向量集合。可以理解地，基于输入向量X、权重向量集合中的一个原始权重向量Wi，可以计算得到一个输出向量Yi＝X·Wi，也就是说，原始权重向量与输出向量是一一对应的。针对大规模分类任务/回归任务，若逐个计算各个输出向量，神经网络的计算量非常大，对应于此，本公开方案可以将部分原始权重向量，替换为预设权重向量，减少这部分权重向量对应的输出向量的计算量。需要说明的是，本公开方案中的网络层可以是神经网络中的分类层或者回归层，例如，现有神经网络中较为常见的做softm本文档来自技高网...

【技术保护点】
一种神经网络的处理方法，其特征在于，所述方法包括：获取网络层的输入向量和权重向量集合，所述权重向量集合包括N个原始权重向量，N为所述网络层的输出向量的个数；从所述权重向量集合中选取至少两个第一权重向量，并将所述至少两个第一权重向量替换为预设权重向量，所述至少两个第一权重向量为相似权重向量，且每个第一权重向量与所述输入向量的相关度小于预设相关度；利用所述输入向量以及处理后的权重向量集合，计算得到所述网络层的N个输出向量，所述处理后的权重向量集合包括：所述权重向量集合中未被选取的原始权重向量、以及所述预设权重向量。

【技术特征摘要】
1.一种神经网络的处理方法，其特征在于，所述方法包括：获取网络层的输入向量和权重向量集合，所述权重向量集合包括N个原始权重向量，N为所述网络层的输出向量的个数；从所述权重向量集合中选取至少两个第一权重向量，并将所述至少两个第一权重向量替换为预设权重向量，所述至少两个第一权重向量为相似权重向量，且每个第一权重向量与所述输入向量的相关度小于预设相关度；利用所述输入向量以及处理后的权重向量集合，计算得到所述网络层的N个输出向量，所述处理后的权重向量集合包括：所述权重向量集合中未被选取的原始权重向量、以及所述预设权重向量。2.根据权利要求1所述的方法，其特征在于，所述从所述权重向量集合中选取至少两个第一权重向量，包括：从所述N个原始权重向量中选取相似权重向量，并对所述相似权重向量进行聚类处理，得到至少一个权重聚合类；计算各权重聚合类的中心向量与所述输入向量的相关度，将相关度小于所述预设相关度的权重聚合类包括的相似权重向量，确定为所述第一权重向量。3.根据权利要求2所述的方法，其特征在于，所述从所述N个原始权重向量中选取相似权重向量，包括：计算每个原始权重向量的模、以及所述N个原始权重向量的模的均值；根据所述模的均值确定匹配区间，若有至少两个原始权重向量的模位于所述匹配区间内，则将所述至少两个原始权重向量确定为相似权重向量。4.根据权利要求3所述的方法，其特征在于，如果所述相似权重向量的个数小于预设数量，所述方法还包括：按照预设步长扩展所述匹配区间，以使根据扩展后匹配区间确定出的相似权重向量的个数不小于所述预设数量为止；所述对所述相似权重向量进行聚类处理，得到至少一个权重聚合类，包括：将所述扩展后匹配区间分割为至少两个小区间，分别对每个小区间对应的相似权重向量进行聚类处理，得到至少一个权重聚合类。5.根据权利要求1至4任一项所述的方法，其特征在于，在所述从所述权重向量集合中选取至少两个第一权重向量之前，所述方法还包括：判断所述权重向量集合中的原始权重向量之间的差异度是否大于预设差异值；如果所述权重向量集合中的原始权重向量之间的差异度不大于预设差异值，再执行所述从所述权重向量集合中选取至少两个第一权重向量的步骤。6.一种神经网络的处理装置，其特征在于，所述装置包括：向量获取模块，用于获取网络层的输入向量和权重向量集合，所述权重向量集合包括N个原始权...

【专利技术属性】
技术研发人员：何孟华，胡雨隆，何春江，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽,34