包括神经形态处理模块的传感器处理系统及其方法技术方案

公开了一种传感器处理系统，在一些实施例中，其包括传感器、一个或多个样本预处理模块、一个或多个样本处理模块、一个或多个神经形态集成电路（“IC”）以及微控制器。所述一个或多个样本预处理模块被配置成处理原始传感器数据以供在传感器处理系统中使用。所述一个或多个样本处理模块被配置成处理经预处理的传感器数据，包括从经预处理的传感器数据中提取特征。神经形态IC中的每个包括至少一个神经网络，所述神经网络被配置成根据从经预处理的传感器数据中提取的特征得出神经网络的可执行的决策。微控制器包括CPU连同存储器，所述存储器包括用于操作传感器处理系统的指令。在一些实施例中，传感器是脉冲密度调制（“PDM”）麦克风，并且传感器处理系统被配置用于关键词观测。还公开了这样的关键词观测传感器处理系统的方法。

【技术实现步骤摘要】
【国外来华专利技术】包括神经形态处理模块的传感器处理系统及其方法优先权本申请要求2019年8月1日提交的美国专利申请号16/529,456的优先权的权益，所述美国专利申请要求2018年8月1日提交的美国临时专利申请号62/713,423的优先权的权益，这两个专利申请标题都为“包括神经形态集成电路的传感器处理系统及其方法（SensorProcessingSystemsIncludingNeuromorphicIntegratedCircuitsAndMethodsThereof）”，它们特此被通过引用整体地结合到本申请中。
技术介绍
常规的中央处理单元（“CPU”）基于“记录的时间”来处理指令。具体地，CPU进行操作以使得信息被以有规律的时间间隔进行传输。基于互补金属氧化物半导体（“CMOS”）技术，可以利用每个管芯超过50亿个包括和10nm一样小的特征的晶体管来制造基于硅的CPU。CMOS技术的进步被成功利用到并行计算的进步中，所述并行计算无所不在地用于包含多个CPU或CPU核的移动计算机和个人计算机中。机器学习是计算机科学的小部分，其涉及为机器提供从数据中学习和例如对数据做出预测的能力。机器学习的一个分支包括深度学习，它涉及利用深度或多层的神经网络。对于包括生物信息学、计算机视觉、视频游戏、市场营销、医疗诊断、在线搜索引擎等的众多应用，机器学习正变得寻常，但是传统的CPU常常不能在保持低功耗的同时提供足够量的处理能力。
技术实现思路
本文中公开了包括神经形态集成电路的传感器处理系统及其方法。本文中公开了一种传感器处理系统，在一些实施例中，所述传感器处理系统包括传感器、一个或多个样本预处理模块、一个或多个样本处理模块、一个或多个神经形态IC以及微控制器。所述一个或多个样本预处理模块被配置成处理原始传感器数据以供在传感器处理系统中使用。所述一个或多个样本处理模块被配置成处理经预处理的传感器数据，包括从经预处理的传感器数据中提取特征。所述一个或多个神经形态IC中的每个神经形态IC包括至少一个神经网络，所述至少一个神经网络被配置成根据从经预处理的传感器数据中提取的特征来得出神经网络的可执行的决策。微控制器包括至少一个CPU连同包括用于操作传感器处理系统的指令的存储器。在一些实施例中，传感器处理系统进一步包括样本保存器（holdingtank），所述样本保存器被配置成至少临时存储经预处理的传感器数据，用于在传感器处理系统中随后或重复使用。在一些实施例中，传感器处理系统进一步包括特征仓库（store），所述特征仓库被配置成至少临时存储从经预处理的传感器数据中提取的特征以用于所述一个或多个神经形态IC。在一些实施例中，传感器处理系统包括单个神经形态IC，其包括被配置成分类器的单个神经网络。在一些实施例中，传感器处理系统至少包含包括相对较大的初级神经网络的第一神经形态IC和包括相对较小的、次级神经网络的第二神经形态IC。初级神经网络配置成在次级神经网络得出关于从经预处理的传感器数据中提取的特征的可执行的决策之后，给从经预处理的传感器数据中提取的特征通电并对其进行操作，从而降低传感器处理多芯片的功耗。在一些实施例中，传感器是模拟或数字麦克风、加速计、陀螺仪、磁力计、倾斜传感器、温度传感器、湿度传感器、气压计、接近传感器、光传感器、红外传感器、颜色传感器、压力传感器、触摸传感器、流量传感器、液位传感器、超声波传感器、烟雾传感器、气体传感器、酒精传感器或它们的组合。在一些实施例中，传感器是脉冲密度调制（“PDM”）麦克风，所述一个或多个样本预处理模块包括PDM抽取模块，并且所述一个或多个样本处理模块包括时域处理模块和频域处理模块。PDM抽取模块被配置成将来自PDM麦克风的音频样本抽取到基带音频采样率，以供在传感器处理系统中使用。时域处理模块和频域处理模块被配置成从抽取的音频样本中提取特征。在一些实施例中，传感器处理系统被配置为关键词观测器（spotter）。从抽取的音频样本中提取的特征是所述一个或多个神经网络被训练识别的关键词在时域、频域或时域和频域两者特性中的一个或多个信号。本文中还公开了一种在检测到可信信号时传感器处理系统中的条件神经网络操作的方法，所述方法在一些实施例中包括：操作PDM麦克风、PDM抽取模块、时域处理模块和频域处理模块；如果音频样本中存在一个或多个信号，则给神经网络通电；以及操作神经网络以确定所述一个或多个信号是否包括关键词。操作时域处理模块和频域处理模块包括如果存在时域或频域中的音频样本的一个或多个信号，则标识所述一个或多个信号。在一些实施例中，该方法进一步包括从样本保存器中拉取音频样本，以确认所述一个或多个信号包括关键词。替代地，该方法进一步包括从样本保存器中拉取音频样本以不同地处理音频样本。本文中还公开了一种在检测到可信关键词时传感器处理系统中的条件神经网络操作的方法，所述方法在一些实施例中包括操作PDM麦克风、PDM抽取模块、时域处理模块和频域处理模块；如果音频样本中存在一个或多个信号，则给较小和/或较低功率的次级神经网络通电并操作所述次级神经网络以确定所述一个或多个信号是否包括关键词；以及如果所述一个或多个信号包括关键词，则给较大、较高功率的初级神经网络通电并操作所述初级神经网络以确认所述一个或多个信号包括关键词。操作时域处理模块和频域处理模块包括如果存在时域或频域中的音频样本的一个或多个信号，则标识所述一个或多个信号。在一些实施例中，该方法进一步包括从样本保存器中拉取音频样本，以确认所述一个或多个信号包括关键词。替代地，该方法进一步包括从样本保存器中拉取音频样本以不同地处理音频样本。本文中还公开了一种间隔地操作传感器处理系统的神经网络的方法，在一些实施例中，所述方法包括操作PDM麦克风、PDM抽取模块、时域处理模块和频域处理模块；音频样本的每n帧给神经网络通电并操作该神经网络，以确定是否存在音频样本的一个或多个信号以及所述一个或多个信号是否包括关键词。操作时域处理模块和频域处理模块包括如果存在时域或频域中的音频样本的一个或多个信号，则标识所述一个或多个信号。在一些实施例中，该方法进一步包括如果所述一个或多个信号包括关键词，则和每一帧一样频繁地操作神经网络。和每一帧一样频繁地操作神经网络以较好的分辨率捕捉任何随后的关键词。在一些实施例中，该方法进一步包括从样本保存器中拉取音频样本，以确认所述一个或多个信号包括关键词。替代地，该方法进一步包括从样本保存器中拉取音频样本以不同地处理该音频样本。本文中还公开了一种用于传感器处理系统的麦克风模式切换的方法，在一些实施例中，所述方法包括以较低的频率模式操作PDM麦克风以节省电力；操作时域处理模块和频域处理模块，其包括i）从音频样本中提取特征以及ii）确定在时域或频域中是否存在一个或多个信号；如果存在所述一个或多个信号，则以较高的频率模式操作PDM麦克风以得到较好的信噪比；以及依照较低频模式或较高频模式来操作PDM抽取模块，以格式化音频样本以供在传感器处理系统中使用。在一本文档来自技高网...

【技术保护点】
1.一种传感器处理系统，包括：/n传感器；/n一个或多个样本预处理模块，其被配置成处理原始传感器数据以供在所述传感器处理系统中使用；/n一个或多个样本处理模块，其被配置成处理经预处理的传感器数据，包括从经预处理的传感器数据中提取特征；/n一个或多个神经形态IC，每个神经形态IC包括至少一个神经网络，所述神经网络被配置成根据从经预处理的传感器数据中提取的特征得出所述神经网络的可执行的决策；以及/n微控制器，所述微控制器包括至少一个中央处理单元（“CPU”）连同存储器，所述存储器包括用于操作所述传感器处理系统的指令。/n

【技术特征摘要】
【国外来华专利技术】20180801 US 62/7134231.一种传感器处理系统，包括：
传感器；
一个或多个样本预处理模块，其被配置成处理原始传感器数据以供在所述传感器处理系统中使用；
一个或多个样本处理模块，其被配置成处理经预处理的传感器数据，包括从经预处理的传感器数据中提取特征；
一个或多个神经形态IC，每个神经形态IC包括至少一个神经网络，所述神经网络被配置成根据从经预处理的传感器数据中提取的特征得出所述神经网络的可执行的决策；以及
微控制器，所述微控制器包括至少一个中央处理单元（“CPU”）连同存储器，所述存储器包括用于操作所述传感器处理系统的指令。


2.根据权利要求1所述的传感器处理系统，进一步包括样本保存器，所述样本保存器被配置成至少临时存储所述经预处理的传感器数据，用于在所述传感器处理系统中随后或重复使用。


3.根据权利要求1所述的传感器处理系统，进一步包括特征仓库，所述特征仓库被配置成至少临时存储从所述经预处理的传感器数据中提取的特征，用于所述一个或多个神经形态IC。


4.根据权利要求1所述的传感器处理系统，其中所述传感器处理系统包括单个神经形态IC，所述单个神经形态IC包括被配置成分类器的单个神经网络。


5.根据权利要求1所述的传感器处理系统，其中所述传感器处理系统至少包含包括相对较大的、初级神经网络的第一神经形态IC，以及包括相对较小的、次级神经网络的第二神经形态IC；并且
其中所述初级神经网络被配置成在所述次级神经网络得出关于从所述经预处理的传感器数据中提取的特征的可执行的决策之后给从所述经预处理的传感器数据中提取的特征通电并对其进行操作，从而降低传感器处理多芯片的功耗。


6.根据权利要求1所述的传感器处理系统，其中所述传感器是模拟或数字麦克风、加速计、陀螺仪、磁力计、倾斜传感器、温度传感器、湿度传感器、气压计、接近传感器、光传感器、红外传感器、颜色传感器、压力传感器、触摸传感器、流量传感器、液位传感器、超声波传感器、烟雾传感器、气体传感器、酒精传感器或它们的组合。


7.根据权利要求1所述的传感器处理系统，
其中所述传感器是脉冲密度调制（“PDM”）麦克风，并且所述一个或多个样本预处理模块包括PDM抽取模块，所述PDM抽取模块被配置成将来自所述PDM麦克风的音频样本抽取到基带音频采样率以供在所述传感器处理系统中使用；以及
其中所述一个或多个样本处理模块包括时域处理模块和频域处理模块，其被配置成从抽取的音频样本中提取特征。


8.根据权利要求7所述的传感器处理系统，其中所述传感器处理系统被配置为关键词观测器；以及
其中所述特征是所述一个或多个神经网络被训练识别的关键词在时域、频域或时域和频域两者特性中的一个或多个信号。


9.一种在检测到可信信号时传感器处理系统中的条件神经网络操作的方法，包括：
操作脉冲密度调制（“PDM”）麦克风、PDM抽取模块、时域处理模块和频域处理模块，其中操作所述时域处理模块和所述频域处理模块包括如果存在时域或频域中的音频样本的一个或多个信号，则标识所述一个或多个信号；以及
如果存在所述一个或多个信号，则给所述神经网络通电并操作所述神经网络以确定所述一个或多个信号是否包括关键词。


10.根据权利要求9所述的方法，进一步包括：
从样本保存器中拉取所述音频样本以：
确认所述一个或多个信号包括关键词；或
经由替代的方法处理所述音频样本。


11.一种在检测到可信关键词时传感器处理系统中的条件神经网络操作的方法，包括：
操作脉冲密度调制（“PDM”）麦克风、PDM抽取模块、时域处理模块和频域处理模块，
其中操作所述时域处理模...

【专利技术属性】
技术研发人员：K·F·布什，J·H·霍利曼三世，P·沃伦坎普，S·W·贝莉，D·C·加雷特，
申请(专利权)人：森田公司，
类型：发明
国别省市：美国;US