卷积神经网络制造技术

本文公开了实现更有效和更少资源密集的CNN的系统和方法。具体而言，公开了使用采样模拟技术(SAT)方法在CNN在模拟领域中的应用。与具有数字逻辑和存储器的CNN设计相比，在SAT中使用CNN设计可降低功耗和运行速度。带有SAT的CNN设计的低功耗使传感器设备能够以非常低的功率检测功能，以实现隔离操作。

【技术实现步骤摘要】
【国外来华专利技术】卷积神经网络相关申请的交叉引用本申请根据35U.S.C.§120要求名称为“卷积神经网络”、专利技术人为EricNestleretal.的2015年12月15日提交的美国申请序列No.62/267,847和2016年12月14日提交的美国申请序列No.15/379,114的优先权的权益。先前申请的公开内容被认为是本申请的公开内容的一部分并且通过引用并入本文。
本专利技术涉及神经网络领域，尤其涉及卷积神经网络。
技术介绍
神经网络是用于估计可能依赖于大量输入的近似函数的数学模型。卷积神经网络是一种用于特征检测的前馈神经网络，其中人造神经元(数学函数)平铺，以便它们响应输入场中的重叠区域。神经网络是计算和资源密集型的。
技术实现思路
公开使用采样模拟技术的神经网络。卷积神经网络(CNN)是用于特征检测的算法和电路。在一些实施方式中，特征的检测或分析可以用于图像数据、音频数据或需要复杂分析以检测其特征的任何其他复杂数据。根据一些实施方式，当输入数据采用具有高度相关局部变量的数组形式并具有移位不变性时，CNN会很有帮助。CNN算法通常用数字逻辑和存储器来实现。然而，用数字逻辑和存储器实现CNN算法是资源密集型的。本文公开了实现更有效和更少资源密集的CNN的系统和方法。具体而言，公开了使用采样模拟技术(SAT)方法在CNN在模拟领域中的应用。与具有数字逻辑和存储器的CNN设计相比，在SAT中使用CNN设计的功耗更低，运行速度更快。在一个例子中，与SAT一起使用CNN设计使用的功率少于通常的数字CNN设计使用的功率的十倍。在一个例子中，使用带有SAT的CNN设计可以使操作速度提高10倍以上。使用SAT的CNN操作速度更快的一个原因是，由于电荷共享的同时性，模拟版本可以在单个时钟周期内完成一个数字版本需要很多时钟周期的操作。带有SAT的CNN设计的较低功率使用可以允许传感器设备也能够以非常低的功率检测功能，以用于诸如IOT(物联网)设备的隔离操作。根据一个实施方式，使用采样模拟技术的卷积神经网络包括：包括第一和第二模拟输入数据点的输入源；第一组电容器，用于分析所述第一模拟输入数据点并输出第一模拟卷积输出，和第二组电容器，用于分析所述第二模拟输入数据点并输出第二模拟卷积输出。所述第一和第二模拟卷积输出均包括多个特征。在一些实施方式中，卷积神经网络还包括可变电容结构阵列，其中所述第一和第二卷积输出通过所述可变电容结构阵列进行多路复用，以产生多路复用的卷积输出。在一些实施方式中，所述第一和第二组电容器包括固定电容器，并且固定电容器是模拟存储器单元。在一些实施方式中，所述第一和第二组电容器是具有固定权重的可变电容单元。在一些例子中，固定权重使用存储电容器尺寸实现，并且存储电容器尺寸等于所述固定权重的权重。在一些实施方式中，第一组电容器和第二组电容器由输入源驱动。在各种实施方式中，卷积神经网络还包括具有电荷的第一固定电压源和第一电容器数模转换器(capDAC)。由所述第一capDAC对来自所述第一固定电压源的电荷进行采样以产生第一偏压值，和所述第一偏压值添加到所述第一输出。在一些实施方式中，卷积神经网络还包括与所述第一和第二模拟卷积输出耦合的子采样器，其中所述子采样器平均所述第一和第二模拟卷积输出以产生平均卷积输出，并且其中，所述子采样器使用非线性传递函数处理所述平均卷积输出。在一些例子中，非线性传递函数是模拟整流函数。在一些实施方式中，卷积神经网络还包括耦合所述第一模拟卷积输出的子采样器，其中第一模拟卷积输出包括值的子窗口，并且其中子采样器包括多个模拟电压比较器，用于确定所述第一模拟卷积输出的值的子窗口的最大值。根据一些例子，输入源包括多个模拟输入数据点，并且使用多组电容器，每组电容器分析模拟输入数据点的子窗口。根据一个实施方式，一种使用采样模拟技术来实现神经网络的方法，包括：接收包括第一和第二模拟输入数据点的模拟输入数据，使用第一组电容器分析所述第一模拟输入数据点以产生第一模拟卷积输出，和使用第二组电容器分析所述第二模拟输入数据点以产生第二模拟卷积输出，其中产生所述第一和第二模拟卷积输出包括对多个特征执行模拟卷积操作。根据一个例子，分析包括执行卷积操作。在一些实施方式中，该方法还包括通过可变电容结构阵列对所述第一和第二模拟卷积输出进行多路复用，以产生模拟多路复用的卷积输出。在一些实施方式中，所述第一和第二组电容器是可变电容单元，所述第一组电容器具有第一固定权重，并且所述第二组电容器具有第二固定权重，并且产生第一模拟卷积输出包括将所述第一输入数据点与所述第一固定权重相乘，和产生第二模拟卷积输出包括将所述第二输入数据点与所述第二固定权重相乘。在一些实施方式中，该方法包括使用第一电容器数模转换器通过采样来自第一固定电压源的比例电荷来产生第一偏压值，和将所述第一偏压值添加到所述第一输出。在一些实施方式中，该方法包括将所述第一模拟卷积输出和所述第二模拟卷积输出在子采样器处平均。在一些实施方式中，第一模拟卷积输出包括值的子窗口，并且该方法包括确定值的子窗口的最大值。根据一个实施方式，使用采样模拟技术的卷积神经网络包括：包括模拟输入数据的输入，多组电容器，每组电容器被配置为分析所述模拟输入数据的相应子窗口并输出用于相应子窗口的模拟卷积输出，其中所述模拟卷积输出包括多个特征，和耦合所述模拟卷积输出的模拟子采样器，其中所述模拟子采样器被配置为减小所述模拟卷积输出的多个特征中的至少一个的尺寸。在一些实施方式中，所述多组电容器输出相应的多个模拟卷积输出，并且多个模拟子采样器耦合到所述多个模拟卷积输出。多个模拟卷积输出均包括多个特征，并且多个模拟卷积输出中的每一个都基于来自各组电容器的输出的卷积。多个模拟子采样器中的每一个被配置为减小相应模拟卷积输出的多个特征中的至少一个的尺寸。在一些实施方式中，所述组电容器包括固定电容器，并且固定电容器是模拟存储器单元。在一些实施方式中，所述组电容器包括具有固定权重的可变电容单元。在一个实施方式中，卷积神经网络包括具有电荷的固定电压源和电容器数模转换器(capDAC)。来自所述固定电压源的电荷通过所述capDAC采样以产生偏压值，和偏压值添加到所述多组电容器的一组的输出中。附图说明为了提供对本公开及其特征和优点的更完整理解，参考以下结合附图的描述，其中相同的附图标记表示相同的部件，其中：图1是说明卷积神经网络的图；图2是示出根据本公开的一些实施例的卷积复用电路实现的图；图3是示出根据本公开的一些实施例的另一个卷积复用电路实现的图；图4是示出根据本公开的一些实施例的卷积电路的图；图5是示出根据本公开的一些实施例的非重叠子采样的图；图6是示出根据本公开的一些实施例的用于子采样的电路的图；图7是示出根据本公开的一些实施例的非对称变换的图；图8是示出根据本公开的一些实施例的另一非对称变换的图；图9是示出根据本公开的一些实施例的对称非线性变换的图；图10是示出根据本公开的一些实施例的非对称变换的图；图11是示出根据本公开的一些实施例的使用采样模拟技术来实现神经网络的方法的流程图。具体实施方式提供系统和方法以减少使用采样模拟技术(SAT)计算卷积神经网络(CNN)的功率和等待时间。CNN被用于各种应用。例如，CNN用于本文档来自技高网...

【技术保护点】
1.一种使用采样模拟技术的卷积神经网络，包括：包括第一和第二模拟输入数据点的输入源，第一组电容器，用于分析所述第一模拟输入数据点并输出第一模拟卷积输出，和第二组电容器，用于分析所述第二模拟输入数据点并输出第二模拟卷积输出，其中所述第一和第二模拟卷积输出均包括多个特征。

【技术特征摘要】
【国外来华专利技术】2015.12.15 US 62/267,847;2016.12.14 US 15/379,1141.一种使用采样模拟技术的卷积神经网络，包括：包括第一和第二模拟输入数据点的输入源，第一组电容器，用于分析所述第一模拟输入数据点并输出第一模拟卷积输出，和第二组电容器，用于分析所述第二模拟输入数据点并输出第二模拟卷积输出，其中所述第一和第二模拟卷积输出均包括多个特征。2.权利要求1所述的卷积神经网络，还包括可变电容结构阵列，其中所述第一和第二输出通过所述可变电容结构阵列进行多路复用，以产生多路复用的卷积输出。3.权利要求1所述的卷积神经网络，其中所述第一和第二组电容器包括固定电容器，并且其中所述固定电容器是模拟存储器单元。4.权利要求1所述的卷积神经网络，其中所述第一和第二组电容器是具有固定权重的可变电容单元。5.权利要求4所述的卷积神经网络，其中所述固定权重使用存储电容器尺寸实现，并且其中所述存储电容器尺寸等于所述固定权重的权重。6.权利要求1所述的卷积神经网络，其中所述第一组电容器和所述第二组电容器由输入源驱动。7.权利要求1所述的卷积神经网络，还包括：具有电荷的第一固定电压源，和第一电容器数模转换器(capDAC)，其中由所述第一capDAC对来自所述第一固定电压源的电荷进行采样以产生第一偏压值，和其中所述第一偏压值添加到所述第一输出。8.权利要求1所述的卷积神经网络，还包括与所述第一和第二模拟卷积输出耦合的子采样器，其中，所述子采样器平均所述第一和第二模拟卷积输出以产生平均卷积输出，并且其中，所述子采样器使用非线性传递函数处理所述平均卷积输出。9.权利要求8所述的卷积神经网络，其中非线性传递函数是模拟整流函数。10.权利要求1所述的卷积神经网络，还包括耦合所述第一模拟卷积输出的子采样器，其中所述第一模拟卷积输出包括值的子窗口，和其中所述子采样器包括多个模拟电压比较器，用于确定所述第一模拟卷积输出的值的子窗口的最大值。11.一种使用采样模拟技术来实现神...

【专利技术属性】
技术研发人员：E·G·内斯特勒尔，M·M·欧斯奎，J·G·伯恩斯坦，
申请(专利权)人：美国亚德诺半导体公司，
类型：发明
国别省市：美国,US