用于音频信号处理的微控制器接口制造技术

公开的是一种神经形态处理系统，所述神经形态处理系统在一些实施例中包括：可作为独立主处理器操作的专用主处理器；包括人工神经网络的神经形态协处理器；以及在主处理器与协处理器之间的、被配置为在其之间传输信息的通信接口。协处理器被配置为利用人工神经网络增强主处理器的专用处理。还公开的是一种具有专用主处理器和神经形态协处理器的神经形态处理系统的方法，所述方法在一些实施例中包括利用协处理器的人工神经网络增强主处理器的专用处理。在一些实施例中，主处理器是助听器处理器。

【技术实现步骤摘要】
【国外来华专利技术】用于音频信号处理的微控制器接口优先权本申请要求于2018年7月28日提交的美国专利申请No.16/048，235以及2017年7月31日提交的题为“MicrocontrollerInterfaceforAudioSignalProcessing”的美国临时专利申请No.62/539，194的优先权权益，特此通过引用将所述申请在其整体上并入本申请中。
本公开的实施例涉及神经形态计算领域。更具体地，本公开的实施例涉及但不限于用于音频信号处理的微控制器接口及其方法。
技术介绍
传统的中央处理单元（“CPU”）基于“计时时间”处理指令。具体地，CPU操作使得以规律的时间间隔传输信息。基于互补金属氧化物半导体（“CMOS”）技术，可以利用每管芯多于50亿个晶体管来制造硅基芯片，所述硅基芯片具有与10nm一样小的特征。CMOS技术中的进步已经发展为并行计算的进步，并行计算无所不在地用于包含多个处理器的个人计算机和蜂窝电话中。然而，随着机器学习对于包括生物信息学、计算机视觉、视频游戏、市场营销、医学诊断、在线搜索引擎等的众多应用而言正变得普遍，传统的CPU经常不能在保持低功耗的同时供应足够量的处理能力。特别地，机器学习是计算机科学的子部分，其针对具有从数据中学习并且关于数据做出预测的能力的软件。此外，机器学习的一个分支包括深度学习，其针对利用深度（多层）神经网络。当前，正在进行研究以开发深度神经网络的直接硬件实现方式，其可以包括尝试对“硅”神经元进行仿真（例如，“神经形态计算”）的系统。神经形态芯片（例如，被设计用于神经形态计算的硅计算芯片）通过使用以非均匀间隔传输的电流脉冲串而并行处理指令（例如，与传统的顺序计算机相反）来操作。作为结果，神经形态芯片对于处理信息、特别是人工智能（“AI”）算法而言需要少得多的功率。为了实现这点，神经形态芯片可能包含与传统处理器的五倍一样之多的晶体管，而消耗少至1/2000的功率。因此，神经形态芯片的开发针对提供一种具有巨大处理能力的芯片，所述芯片比常规处理器消耗少得多的功率。此外，神经形态芯片被设计成支持在复杂和非结构化数据的上下文中的动态学习。存在对于开发和增强专用处理能力的（诸如，在例如助听器中发现的）持续需要。本文中提供的是用于通过利用微控制器接口增强专用处理器的专用处理能力的系统和方法，所述专用处理器可作为独立处理器操作。
技术实现思路
本文中公开的是一种神经形态处理系统，所述系统在一些实施例中包括：可作为独立主处理器操作的专用主处理器；包括人工神经网络的神经形态协处理器；以及在主处理器与协处理器之间的、被配置为在其之间传输信息的通信接口。协处理器被配置为利用人工神经网络增强主处理器的专用处理。在一些实施例中，主处理器是助听器处理器，其被配置为通过作为通信接口的串行通信接口以傅立叶变换的形式向协处理器传输频率元素或信号频谱信息。协处理器进一步包括解复用器，所述解复用器被配置为将来自串行通信接口的串行信号解复用成用于人工神经网络的多个输入的并行信号。在一些实施例中，主处理器与协处理器之间的通信接口是串行外围接口（“SPI”）总线或内部集成电路（“I2C”）总线。在一些实施例中，协处理器被配置为通过如下方式来增强助听器处理器的专用处理：通过通信接口向助听器处理器提供信息，从而使得助听器处理器能够选择性地抑制噪声并增强期望的信号。在一些实施例中，协处理器被配置为通过如下方式来增强助听器处理器的专用处理：通过通信接口向助听器处理器提供频率掩模，从而指示要抑制的噪声频率和要提升的信号频率。在一些实施例中，频率掩模是一组衰减或放大因子，其对应于针对音频样本中的多个时间步长中的每个要被抑制或提升的一组频率。在一些实施例中，人工神经网络被设置在多芯片神经形态处理系统的存储器扇区中的多个二象限乘法器的模拟乘法器阵列中。在一些实施例中，人工神经网络的突触权重被存储在神经形态协处理器的固件中。所述固件被配置用于基于云的更新，以更新人工神经网络的突触权重。在一些实施例中，主处理器和协处理器体现在单个单片集成电路、堆叠的管芯组装件、多芯片模块或单独模块的单独集成电路中。所述神经形态处理系统被配置为靠电池功率操作。本文中还公开的是一种神经形态处理器，所述神经形态处理器在一些实施例中包括：多个接口电路，其包括被配置为将串行信号解复用成并行信号的解复用器；以及多层人工神经网络，其被配置为从接口电路接收并行信号。接口电路从在所述神经形态处理器与专用主处理器之间的串行通信接口接收串行信号。所述神经形态处理器被配置为利用人工神经网络增强主处理器的专用处理。在一些实施例中，主处理器是助听器处理器。所述神经形态处理器被配置为通过串行通信接口以傅立叶变换的形式从助听器处理器接收频率元素或信号频谱信息。在一些实施例中，所述神经形态处理器被配置为通过如下方式来增强助听器处理器的专用处理：通过串行通信接口向助听器处理器提供信息，从而使得助听器处理器能够选择性地抑制噪声并增强期望的信号。在一些实施例中，所述神经形态处理器被配置为通过如下方式来增强助听器处理器的专用处理：通过串行通信接口向助听器处理器提供频率掩模，从而指示要抑制的噪声频率和要提升的信号频率。在一些实施例中，频率掩模是一组衰减或放大因子，其对应于针对音频样本的多个时间步长中的每个要被抑制或提升的一组频率。在一些实施例中，人工神经网络被设置在所述神经形态处理器的存储器扇区中的多个二象限乘法器的模拟乘法器阵列中。还公开的是一种具有专用主处理器和神经形态协处理器的神经形态处理系统的方法，所述方法在一些实施例中包括利用协处理器的人工神经网络增强主处理器的专用处理。主处理器可作为独立的主处理器操作。在一些实施例中，所述方法进一步包括通过串行通信接口以傅立叶变换的形式将频率元素或信号频谱信息从被配置成助听器处理器的主处理器传输到协处理器；以及利用协处理器的解复用器将来自串行通信接口的串行信号解复用成用于人工神经网络的多个输入的并行信号。在一些实施例中，增强助听器处理器的专用处理包括通过串行通信接口向助听器处理器提供信息，从而使得助听器处理器能够选择性地抑制噪声并增强期望的信号。在一些实施例中，增强助听器处理器的专用处理包括通过串行通信接口向助听器处理器提供频率掩模，从而指示要抑制的噪声频率和要提升的信号频率。在一些实施例中，所述方法进一步包括更新人工神经网络的突触权重。将人工神经网络的突触权重存储在被配置用于基于云的更新的神经形态协处理器的固件中。附图说明在附图的各图中，通过示例的方式而非通过限制的方式图示了本公开的实施例，其中同样的引用指示类似的元件，并且其中：图1提供了图示根据一些实施例的用于设计和更新神经形态集成电路（“IC”）的系统100的示意图。图2提供了图示根据一些实施例的模拟乘法器阵列的示意图。图3提供了图示根据一些实施例的模拟乘法器阵列的示意图。<本文档来自技高网...

【技术保护点】
1.一种神经形态处理系统，包括：/n专用主处理器，其可作为独立主处理器操作；/n神经形态协处理器，其包括人工神经网络；和/n在主处理器与协处理器之间的、被配置为在其之间传输信息的通信接口，/n其中协处理器被配置为利用人工神经网络增强主处理器的专用处理。/n

【技术特征摘要】
【国外来华专利技术】20170731 US 62/539194;20180728 US 16/0482351.一种神经形态处理系统，包括：
专用主处理器，其可作为独立主处理器操作；
神经形态协处理器，其包括人工神经网络；和
在主处理器与协处理器之间的、被配置为在其之间传输信息的通信接口，
其中协处理器被配置为利用人工神经网络增强主处理器的专用处理。


2.根据权利要求1所述的神经形态处理系统，
其中主处理器是助听器处理器，其被配置为通过作为通信接口的串行通信接口以傅立叶变换的形式向协处理器传输频率元素或信号频谱信息，并且
其中协处理器进一步包括解复用器，所述解复用器被配置为将来自串行通信接口的串行信号解复用成用于人工神经网络的多个输入的并行信号。


3.根据权利要求2所述的神经形态处理系统，
其中在主处理器与协处理器之间的通信接口是串行外围接口（“SPI”）总线或内部集成电路（“I2C”）总线。


4.根据权利要求2所述的神经形态处理系统，
其中协处理器被配置为通过如下方式来增强助听器处理器的专用处理：通过通信接口向助听器处理器提供信息，从而使得助听器处理器能够选择性地抑制噪声并增强期望的信号。


5.根据权利要求2所述的神经形态处理系统，
其中协处理器被配置为通过如下方式来增强助听器处理器的专用处理：通过通信接口向助听器处理器提供频率掩模，从而指示要抑制的噪声频率和要提升的信号频率。


6.根据权利要求5所述的神经形态处理系统，
其中频率掩模是一组衰减或放大因子，其对应于针对音频样本中的多个时间步长中的每个要被抑制或提升的一组频率。


7.根据权利要求1所述的神经形态处理系统，
其中人工神经网络被设置在所述神经形态处理系统的存储器扇区中的多个二象限乘法器的模拟乘法器阵列中。


8.根据权利要求1所述的神经形态处理系统，
其中将人工神经网络的突触权重存储在神经形态协处理器的固件中，并且
其中所述固件被配置用于基于云的更新，以更新人工神经网络的突触权重。


9.根据权利要求1所述的神经形态处理系统，
其中主处理器和协处理器体现在单个单片集成电路、堆叠的管芯组装件、多芯片模块或单独模块的单独集成电路中，并且
其中所述神经形态处理系统被配置为靠电池功率操作。


10.一种神经形态处理器，包括：
多个接口电路，其包括被配置为将串行信号解复用成并行信号的解复用器，
其...

【专利技术属性】
技术研发人员：KF布什，JH霍利曼三世，P沃伦坎普，SW贝利，
申请(专利权)人：森田公司，
类型：发明
国别省市：美国;US