作为具有记忆的神经元的混合增量调制器制造技术

公开了作为具有记忆的神经元的混合增量调制器。描述了可以用作神经网络中的可变阈值神经元的混合增量调制器。类似于增量调制器，混合增量调制器表现出对调制器的先前状态的记忆，并且从加权电路接收乘积和信号并生成表示乘积和信号的经量化的输出流，该乘积和信号潜在地包括激活函数和偏移。利用适当选择的部件，混合增量调制器将反馈的积分函数与增益函数分离。此外，可以选择增益，并且输出模式的特性可以被调整成包括输入和输入变化率的任意组合。与许多现有技术的神经元相比，本方法的混合增量调制器的使用提供了更简单的解决方案和更好的性能。

【技术实现步骤摘要】
作为具有记忆的神经元的混合增量调制器相关申请的交叉引用本申请要求于2019年3月18日提交的临时申请第62/819,868号的优先权，其全部内容通过引用并入本文。
本专利技术一般涉及人工智能(AI)网络，并且更特别地涉及这样的AI网络中的具有先前状态的记忆的神经元。
技术介绍
神经网络(NN)是对诸如手写识别、图像识别和语音分析的问题的人工智能(AI)解决方案的基础。某些形式的AI例如，语音或话音分析要求AI系统对跨时间分布的信号具有一定的了解。因此，话音分析要求AI系统能够将音频信号在时间上的演变与某些学习的模板进行比较。本领域中已知的一类神经网络——通常被称为循环神经网络(RNN)——通过在神经网络的一层或更多层中提供反馈来产生分析随时间的演变的能力。图1示出了一种类型的AI网络的实现，如现有技术中已知的规范ElmanRNN。如本领域技术人员所知，在诸如Elman或Jordan网络的RNN的某些实现中，隐含层h的状态取决于该隐含层的先前状态，即，其具有其上次值的记忆。例如，在图1的网络100中，可以看到，除了本文档来自技高网...

【技术保护点】
1.一种用在神经网络中的神经元，包括：/n加权电路，其被配置成接收多个输入信号，并且通过对所述输入信号中的每个输入信号进行加权并将经加权的输入信号加在一起来产生乘积和信号；以及/n调制器电路，其被配置成接收所述乘积和信号并且产生表示所述乘积和信号的经量化的输出信号。/n

【技术特征摘要】
20190318 US 62/819,868;20200316 US 16/820,7041.一种用在神经网络中的神经元，包括：
加权电路，其被配置成接收多个输入信号，并且通过对所述输入信号中的每个输入信号进行加权并将经加权的输入信号加在一起来产生乘积和信号；以及
调制器电路，其被配置成接收所述乘积和信号并且产生表示所述乘积和信号的经量化的输出信号。


2.根据权利要求1所述的神经元，其中，所述调制器电路还包括：
差分元件，其被配置成确定所述乘积和信号与经滤波的经量化输出信号之间的差；
量化器，其被配置成基于所述乘积和信号与所述经滤波的经量化输出信号之间的差来产生所述经量化的输出信号；以及
滤波器网络，其被配置成接收所述经量化的输出信号并产生所述经滤波的经量化输出信号。


3.根据权利要求2所述的神经元，其中，所述滤波器网络包括：
电阻器，其在第一端处耦接至所述经量化的输出信号，并且在第二端处耦接至所述差分元件的输入端；以及
电容器，其在第一端处耦接至所述电阻器的第二端，并且在第二端处耦接至地。


4.根据权利要求2所述的神经元，其中，所述量化器还被配置成产生作为所述经量化的输出信号的逆的输出，并且其中，所述滤波器网络还包括：
第一电阻器，其具有第二端和连接至所述经量化的输出信号的逆的第一端；
电容器，其具有连接至所述第一电阻器的第二端的第一端以及连接至所述差分元件的输入端的第二端；
第二电阻器，其具有连接至所述第一电阻器的第二端的第一端以及连接至所述电容器的第二端的第二端；以及
运算放大器，其具有连接至所述第一电阻器的第二端的第一输入端、连接至地的第二输入端以及连接至所述电容器的第二端的...

【专利技术属性】
技术研发人员：A·马丁·马林森，
申请(专利权)人：硅谷介入有限公司，
类型：发明
国别省市：加拿大;CA