利用微神经元网络计算中的输入激活数据稀疏制造技术

本申请涉及利用微神经元网络计算中的输入激活数据稀疏。一种计算机实现的方法包括由计算设备接收输入激活并且由所述计算设备的控制器确定每个输入激活具有零值还是非零值。所述方法进一步包括在所述计算设备的存储器组中存储至少一个输入激活。存储至少一个输入激活包括生成索引，所述索引包括一个或多个存储器地址位置，该存储器地址位置具有非零值的输入激活值。所述方法仍进一步包括由控制器从存储器组提供至少一个输入激活到数据总线上，所述数据总线可由计算阵列的一个或多个单元来访问。激活至少部分从与索引相关联的存储器地址位置提供。

【技术实现步骤摘要】
利用微神经元网络计算中的输入激活数据稀疏
本申请涉及利用微神经元网络计算中的输入激活数据稀疏。
技术介绍
本说明书涉及使用专用计算单元执行机器学习计算。微神经元网络是利用模型的一个或多个层来生成对于接收到的输入的例如分类的输出的机器学习模型。一些微神经元网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作对网络中下一层的输入，即网络的下一隐藏层或输出层。网络的每一层根据相应的参数集的当前值从接收到输入生成输出。一些微神经元网络包括一个或多个卷积微神经元网络层。每个卷积微神经元网络层具有相关联的内核集。每个内核包括由用户创建的微神经元网络模型所建立的值。在一些实现中，内核识别特定图像轮廓、形状或颜色。内核可以被表示为权重输入的矩阵结构。每个卷积层还可以处理激活输入集。所述激活输入集也可以被表示为矩阵结构。
技术实现思路
计算卷积计算的一种方式需要在大维度空间中的许多矩阵乘法。计算单元的处理器或控制器设备可以通过强力法计算矩阵乘法。例如，尽管计算密集且时间密集，处理器可以为卷积计算重复地计算各自的和与本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n由计算设备接收多个输入激活，所述多个输入激活至少部分从所述计算设备外部的源提供；/n由所述计算设备的控制器确定所述多个输入激活中的每个输入激活是否具有零值或非零值之一；/n在所述计算设备的存储器组中存储所述多个输入激活中的至少一个；/n由所述控制器生成索引，所述索引包括具有非零值的输入激活值的一个或多个存储器地址位置；以及/n由所述控制器从所述存储器组提供至少一个输入激活到数据总线上，所述数据总线能够由计算阵列的一个或多个单元访问，其中，所述至少一个激活至少部分从与所述索引相关联的存储器地址位置提供。/n

【技术特征摘要】
1.一种计算机实现的方法，包括：
由计算设备接收多个输入激活，所述多个输入激活至少部分从所述计算设备外部的源提供；
由所述计算设备的控制器确定所述多个输入激活中的每个输入激活是否具有零值或非零值之一；
在所述计算设备的存储器组中存储所述多个输入激活中的至少一个；
由所述控制器生成索引，所述索引包括具有非零值的输入激活值的一个或多个存储器地址位置；以及
由所述控制器从所述存储器组提供至少一个输入激活到数据总线上，所述数据总线能够由计算阵列的一个或多个单元访问，其中，所述至少一个激活至少部分从与所述索引相关联的存储器地址位置提供。


2.如权利要求1所述的方法，其中，所述索引基于包括多个位的位图来创建，并且其中，所述位图的每个位指示非零输入激活值和零输入激活值中的一个。


3.如权利要求1所述的方法，进一步包括：提供具有非零值的第一输入激活以由所述计算阵列的至少一个单元使用所述非零值执行计算，并且随后提供具有零值的第二输入激活，以及阻止在所述计算阵列的至少一个单元中否则将使用所述零值来执行的计算。


4.如权利要求3所述的方法，其中，所述阻止是响应于所述控制器确定所述第二输入激活是从不与所述索引相关联的存储器地址位置提供而发生的。


5.如权利要求4所述的方法，进一步包括：由所述控制器检测所述第二输入激活是从不与所述索引相关联的存储器地址位置提供的，以及响应于所述检测，提供控制信号给所述计算阵列的至少一个单元以阻止与所述第二输入激活的所述零值相关联的乘法...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：江苏冬云云计算股份有限公司，
类型：发明
国别省市：江苏;32