【技术实现步骤摘要】
本公开的实施例涉及神经形态计算领域。更具体地，本公开的实施例涉及用于鼓励神经形态集成电路的神经网络中的稀疏性并且最小化神经形态集成电路的功耗的系统和方法。
技术介绍
1、传统的中央处理单元(“cpu”)基于“计时时间”处理指令。具体地，cpu操作使得以规律的时间间隔传输信息。基于互补金属氧化物半导体(“cmos”)技术，可以利用每管芯多于50亿个晶体管来制造硅基芯片，所述管芯具有与10nm一样小的特征。已经将cmos技术中的进展成功地利用到并行计算的进展中，并行计算无所不在地用于包含多个处理器的个人计算机和蜂窝电话中。
2、然而，随着机器学习对于包括生物信息学、计算机视觉、视频游戏、市场营销、医学诊断、在线搜索引擎等的众多应用而言正变得普遍，传统的cpu经常不能在保持低功耗的同时供应足够量的处理能力。特别地，机器学习是计算机科学的子部分，其针对具有从数据中学习并且关于数据做出预测的能力的软件。此外，机器学习的一个分支包括深度学习，其针对利用深度(多层)神经网络。
3、目前，正在进行研究以开发深度神经网络的直接硬件实现方式，其可以包括尝试对“硅”神经元进行仿真(例如，“神经形态计算”)的系统。神经形态芯片(例如，被设计用于神经形态计算的硅计算芯片)通过使用以非均匀间隔传输的电流脉冲串而并行处理指令(例如，与传统的顺序计算机相反)来操作。作为结果，神经形态芯片对于处理信息、特别是人工智能(“ai”)算法而言需要少得多的功率。为了实现此，神经形态芯片可能包含与传统处理器一样多的晶体管的五倍之多的晶体管，而消耗少
4、存在对于开发具有巨大处理能力、消耗比常规处理器少得多的功率的神经形态芯片的持续需要。本文中提供的是用于鼓励神经形态芯片的神经网络中的稀疏性并且最小化神经形态芯片的功耗的系统和方法。
技术实现思路
1、本文中公开的是一种神经形态集成电路，所述神经形态集成电路在一些实施例中包括被设置在多个二象限乘法器的模拟乘法器阵列中的多层神经网络，所述多个二象限乘法器布置在所述神经形态集成电路的存储扇区中。当去往乘法器的晶体管的输入信号的输入信号值近似为零、乘法器的晶体管的权重值近似为零或其组合时，乘法器中的每个乘法器线接到地并且汲取可忽略的电流量。与线接到地的多个乘法器相组合的神经网络中的稀疏性最小化所述神经形态集成电路的功耗。
2、在一些实施例中，当去往乘法器的晶体管的输入信号的输入信号值为零、乘法器的晶体管的权重值为零或其组合时，乘法器中的每个乘法器不汲取电流。
3、在一些实施例中，权重值对应于设置在所述神经形态集成电路中的神经网络中的神经节点之间的突触权重值。
4、在一些实施例中，输入信号值乘以权重值提供输出信号值，所述输出信号值被组合以得出神经网络的决策。
5、在一些实施例中，二象限乘法器的晶体管包括金属氧化物半导体场效应晶体管(“mosfet”)。
6、在一些实施例中，二象限乘法器中的每个二象限乘法器具有差分结构，所述差分结构被配置成如果两个单元中的任何一个被设置为具有比目标高的权重值，则允许对于过冲进行编程化补偿(programmatic compensation)。
7、在一些实施例中，所述神经形态集成电路被配置用于一个或多个专用标准产品(“assp”)，所述一个或多个专用标准产品(“assp”)选自关键词定位(keyword spotting)、说话者标识、一个或多个音频过滤器、姿势识别、图像识别、视频对象分类和分割以及包括无人机的自主交通工具。
8、在一些实施例中，所述神经形态集成电路被配置成靠电池功率操作。
9、本文中还公开的是一种神经形态集成电路的方法，所述方法在一些实施例中包括：训练被设置在神经形态集成电路的存储扇区中的多个二象限乘法器的模拟乘法器阵列中的多层神经网络，以及在训练期间鼓励神经网络中的稀疏性。当去往乘法器的晶体管的输入信号的输入信号值近似为零、乘法器的晶体管的权重值近似为零或其组合时，乘法器中的每个乘法器线接到地并且汲取可忽略的电流量。鼓励神经网络中的稀疏性包括利用被配置成针对乘法器将大量的输入信号值、权重值或其组合朝向零驱动的训练算法进行训练，从而使能实现所述神经形态集成电路的最小功耗。
10、在一些实施例中，当去往乘法器的晶体管的输入信号的输入信号值为零、乘法器的晶体管的权重值为零或其组合时，乘法器中的每个乘法器不汲取电流。
11、在一些实施例中，所述方法进一步包括在训练期间跟踪乘法器中的每个乘法器的权重值的改变率，以及确定某些权重值是否正在趋向于零、以及那些特定权重值正在多么快地趋向于零。
12、在一些实施例中，所述方法进一步包括：作为鼓励神经网络中的稀疏性的部分，对于在训练期间正在趋向于零的那些权重值，将权重值朝向零驱动。
13、在一些实施例中，权重值对应于所述神经形态集成电路的神经网络中的神经节点之间的突触权重值。
14、在一些实施例中，所述方法进一步包括将所述神经形态集成电路并入一个或多个assp中，所述一个或多个assp选自关键词定位、说话者标识、一个或多个音频过滤器、姿势识别、图像识别、视频对象分类和分割以及包括无人机的自主交通工具。
15、在一些实施例中，所述神经形态集成电路被配置成靠电池功率操作。
16、本文中还公开的是一种神经形态集成电路的方法，所述方法在一些实施例中包括：训练被设置在神经形态集成电路的存储扇区中的多个二象限乘法器的模拟乘法器阵列中的多层神经网络；在训练期间跟踪乘法器中的每个乘法器的权重值的改变率；确定某些权重值是否正在趋向于零、以及那些权重值正在多么快地趋向于零；以及对于正在趋向于零的那些权重值，将权重值朝向零驱动，从而鼓励神经网络中的稀疏性。当去往乘法器的晶体管的输入信号的输入信号值近似为零、乘法器的晶体管的权重值近似为零或其组合时，乘法器中的每个乘法器线接到地并且汲取可忽略的电流量。
17、在一些实施例中，当去往乘法器的晶体管的输入信号的输入信号值为零、乘法器的晶体管的权重值为零或其组合时，乘法器中的每个乘法器不汲取电流。
18、在一些实施例中，所述方法进一步包括在训练神经网络之前将权重值的子集设置为零，从而进一步鼓励神经网络中的稀疏性。
19、在一些实施例中，训练利用被配置成针对乘法器将大量的输入信号值、权重值或其组合朝向零驱动的训练算法，从而使能实现所述神经形态集成电路的最小功耗。
20、在一些实施例中，训练通过最小化成本函数来鼓励神经网络中的稀疏性，所述成本函数包括权重值的非零权重值的量。
21、在一些实施例中，所述方法进一步包括利用优化函数来最小化成本函数，所述优化函数本文档来自技高网...
【技术保护点】
1.一种集成电路，包括：
2.根据权利要求1所述的集成电路，其中当去往乘法器的晶体管的输入信号的输入信号值为零、乘法器的晶体管的权重值为零或其组合时，乘法器中的每个乘法器不汲取电流。
3.根据权利要求1所述的集成电路，其中权重值对应于设置在所述集成电路中的神经网络中的神经节点之间的突触权重值。
4.根据权利要求3所述的集成电路，其中输入信号值乘以权重值提供输出信号值，所述输出信号值被组合以得出神经网络的决策。
5.根据权利要求1所述的集成电路，其中二象限乘法器的晶体管包括金属氧化物半导体场效应晶体管(“MOSFET”)。
6.根据权利要求1所述的集成电路，其中二象限乘法器中的每个无偏置的二象限乘法器具有差分结构，所述差分结构被配置成如果两个单元中的任何一个被设置为具有比目标高的权重值，则允许对于过冲进行编程化补偿。
7.根据权利要求1所述的集成电路，其中所述集成电路被配置用于一个或多个专用标准产品(“ASSP”)，所述一个或多个专用标准产品(“ASSP”)选自关键词定位、说话者标识、一个或多个音频过滤器、姿势
8.根据权利要求1所述的集成电路，其中所述集成电路被配置成靠电池功率操作。
9.一种方法，包括：
10.根据权利要求9所述的方法，其中：
11.根据权利要求9所述的方法，进一步包括：
12.根据权利要求11所述的方法，进一步包括：
13.根据权利要求11所述的方法，其中权重值对应于所述集成电路的神经网络中的神经节点之间的突触权重值。
14.一种方法，包括：
15.根据权利要求14所述的方法，其中：
16.根据权利要求14所述的方法，进一步包括：
17.根据权利要求14所述的方法，其中训练利用被配置成针对乘法器将多个输入信号值、权重值或其组合向零或接近零驱动的训练算法，从而减小所述集成电路的功耗。
18.根据权利要求14所述的方法，其中训练通过最小化成本函数来鼓励神经网络中的稀疏性，所述成本函数包括权重值的非零权重值的量。
19.根据权利要求14所述的方法，进一步包括：
20.根据权利要求14所述的方法，进一步包括：
...【技术特征摘要】
1.一种集成电路，包括：
2.根据权利要求1所述的集成电路，其中当去往乘法器的晶体管的输入信号的输入信号值为零、乘法器的晶体管的权重值为零或其组合时，乘法器中的每个乘法器不汲取电流。
3.根据权利要求1所述的集成电路，其中权重值对应于设置在所述集成电路中的神经网络中的神经节点之间的突触权重值。
4.根据权利要求3所述的集成电路，其中输入信号值乘以权重值提供输出信号值，所述输出信号值被组合以得出神经网络的决策。
5.根据权利要求1所述的集成电路，其中二象限乘法器的晶体管包括金属氧化物半导体场效应晶体管(“mosfet”)。
6.根据权利要求1所述的集成电路，其中二象限乘法器中的每个无偏置的二象限乘法器具有差分结构，所述差分结构被配置成如果两个单元中的任何一个被设置为具有比目标高的权重值，则允许对于过冲进行编程化补偿。
7.根据权利要求1所述的集成电路，其中所述集成电路被配置用于一个或多个专用标准产品(“assp”)，所述一个或多个专用标准产品(“assp”)选自关键词定位、说话者标识、一个或多个音频过滤器、姿势识别、图像识别、视频对象分类...
【专利技术属性】
技术研发人员：KF布什，JH霍利曼三世，P沃伦坎普，SW贝利，
申请(专利权)人：森田公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。