用于边缘设备的分布式神经网络制造技术

本发明专利技术涉及用于边缘设备的分布式神经网络。为了在边缘设备（例如可穿戴设备，比如Apple Watch或FitBit）上高效执行深度卷积神经网络（CNN），可能有必要跨不同实体分割输出任务。对于具有连接到多个中枢的多个传感器的边缘设备，然后可以在中枢驻留于类似睡眠状态时在传感器上执行简单的活动发现。然后，当传感器检测到活动时，可以激活中枢，并且然后可以执行进一步的活动分类。还想到，边缘设备可以包括多个中枢以用于同时处理多个分类任务。

【技术实现步骤摘要】
用于边缘设备的分布式神经网络相关申请的交叉引用本申请要求2018年12月30日提交的美国临时申请序列号62/786,536的权益，其公开内容由此通过引用以其整体并入本文。
下文大体上涉及卷积神经网络（CNN），并且更具体地涉及分布式CNN，其中跨不同传感器或中枢（hub）处理例如活动发现（spotting）和分类的任务。
技术介绍
卷积神经网络（CNN）是一类深层的前馈人工神经网络，最常应用于包括计算机视觉和语音识别的许多不同应用。现有的CNN模型通常在单个实体上执行，例如不一起处理多个不同任务的专用图形处理单元（GPU）或神经网络加速器。
技术实现思路
在一个实施例中，公开了一种用于从第一传感器接收第一数据的系统（例如，传感器系统）和方法。使用第一组卷积层从接收自第一传感器的第一数据中提取第一活动发现特征。从第二传感器接收第二数据。使用第二组卷积层从接收自第二传感器的第二数据中提取第二活动发现特征。使用第三组卷积层和softmax层从第一活动发现特征和第二活动发现特征中提取活动分类。还可以使用第一和第二组池化（pooling）层来提取第一活动发现特征和第二活动发现特征。还可以使用第二和第三softmax层来提取第一活动发现特征和第二活动发现特征。活动分类也可以使用第三组池化层来提取。当第一活动发现特征和第二活动发现特征指示已经发生第一和第二感测活动时，也可以生成第一中断信号和第二中断信号。当接收到第一中断信号和第二中断信号时，第三组卷积层和softmax层也可以从睡眠模式状态被激活。附图说明图1是具有一个或多个卷积层、一个或多个池化层、全连接层、以及softmax层的卷积神经网络（CNN）的示图；图2是具有多个输出任务层的CNN模型的示图；图3是用于实现分布式CNN的边缘设备的示图；图4是分布式CNN的另一示图；图5是分布式CNN的另一示图；和图6是分布式CNN的另一示图。具体实施方式根据需要，本文公开了详细的实施例；然而，应当理解，所公开的实施例仅是示例性的，并且可以以各种和替代形式体现。附图不一定按比例绘制；一些特征可能被放大或最小化以示出特定组件的细节。因此，本文公开的特定结构和功能细节不应被解释为限制性的，而仅仅是作为教导本领域技术人员以各种方式采用本实施例的代表性基础。在神经网络领域中，已经针对包括计算机视觉（例如，对象识别或面部识别）和语音识别的各种各样的应用增加了对深度卷积神经网络（CNN）或递归神经网络的使用。参考图1，可以向CNN100提供输入数据110。CNN100可以包括一个或多个卷积层120-140；一个或多个池化层150-170；全连接层160；和softmax层170。输入数据110可以是原始图像数据、语音数据或文本数据。输入数据110还可以包括从传感器读数接收的测量值。替代地，输入数据110在被提供给CNN100之前可以被轻度地处理。卷积层120-140可以可操作以从输入数据110提取特征。卷积层120-140通常在传递结果到CNN100的下一层之前应用滤波操作（例如，内核）。例如，卷积层120-140可以在图像上应用滤波器，从而扫描几个像素以得到作为原始图像的输入数据110，创建可以用于预测每个特征可能所属的类的特征映射图（map）。CNN还可以包括一个或多个池化层150-170，其从一个或多个卷积层120-140接收特征映射图。池化层150-170可以包括一个或多个池化层单元，其使用池化函数将池化函数应用于在不同带处计算的一个或多个特征（或特征映射图）。例如，池化层150可以将池化函数应用于从卷积层120接收的特征映射图。由池化层150-170实现的池化函数可以是平均或最大函数或将多个值聚合为单个值的任何其他函数。可以想到，池化层150-170可以操作为减少从卷积层120-140获得的每个特征（或特征映射图）中的信息量，同时尝试维持可能相关的信息。接下来，全连接层180可以尝试学习作为从卷积层120-140和池化层150-170接收的输出的高级特征的非线性组合。例如，全连接层180可以在卷积层120-140和池化层150-170的输出（其可以表示高级特征的激活映射图）上操作，然后全连接层180可以确定哪些特征与特定类相关。最后，CNN100可以包括softmax层190，该softmax层190使用softmax函数来组合全连接层180的输出。比如CNN100的模型通常需要高能耗、存储器存储、以及计算/运算能力。CNN100通常可以在包括专用微控制器、专用硬件（例如，神经网络加速器）或图形处理单元（GPU）的云计算系统上执行。在具有较少处理能力和存储器的边缘设备（例如，智能手表或iPhone）上执行包括多个层和大量卷积滤波器的CNN100通常是不可行的。在单个CNN模型具有针对不同任务的多个输出的情况下执行多任务CNN模型更加困难，可能进一步过度使用设备的有限处理能力和存储器。例如，图2图示了具有输入层210和一个或多个隐藏层220-240的CNN200。应当理解，CNN200仅是代表性的，并且所示的输入层210和隐藏层220-240可以包括一个或多个卷积层、池化层、全连接层、以及softmax函数，如关于CNN100所描述的那些。还应理解，输入层210和隐藏层220-240可以构成共享特征表示。还如所示，CNN200可以生成四个输出层250-280。四个输出层250-280可以是唯一的，并且表示给定的任务或分类。图3图示了可以执行CNN200的边缘设备300。边缘设备可以起到使用一个或多个惯性传感器检测用户活动（例如FitBit）的作用。可能包括在边缘设备300内的这种示例性惯性传感器包括加速度计传感器310、心率传感器320和压力传感器330。然而，传感器310-330仅是说明性的，并且取决于边缘设备300的功能可以使用附加的或不同的传感器。传感器310-330也可以包括换能器元件、模拟前端和模拟到数字（A/D）转换器（未示出）。传感器310-330还可以使用比如I2C、SPI或UART的总线通信协议将数据传输到一个或多个中央处理单元340（CPU340）或中枢。边缘设备300还可以被设计为在传感器310-330或CPU340内执行一个或多个CNN模型，比如CNN200。可以想到，当评估单模态传感器数据（其中不需要传感器融合）并且输出任务或分类具有相似或更简单的复杂度时，CNN200可以在传感器310-330或CPU340内执行。但是还想到，当执行更复杂的任务或分类时，在传感器310-330、CPU340内或在边缘设备300本身内执行CNN200可能不可行。对于更复杂的任务或分类，可能有必要在传感器310-330和CPU340之间分割CNN200。对于更复杂的任务或分类，也有必要将CNN200的一部分分布到比如云计算系统的外部系统350。边缘设备300可以使用包括以太网、WiFi或蜂窝的已知的有线或无线连接来与外部系本文档来自技高网...

【技术保护点】
1.一种用于生成活动分类的方法，包括：/n从第一传感器接收第一数据；/n使用第一组卷积层从第一数据中提取第一活动发现特征；/n从第二传感器接收第二数据；/n使用第二组卷积层从第二数据中提取第二活动发现特征；和/n使用第三组卷积层和softmax层从第一活动发现特征和第二活动发现特征中提取活动分类。/n

【技术特征摘要】
20181230 US 62/786536;20191216 US 16/7151761.一种用于生成活动分类的方法，包括：
从第一传感器接收第一数据；
使用第一组卷积层从第一数据中提取第一活动发现特征；
从第二传感器接收第二数据；
使用第二组卷积层从第二数据中提取第二活动发现特征；和
使用第三组卷积层和softmax层从第一活动发现特征和第二活动发现特征中提取活动分类。


2.根据权利要求1所述的方法，还包括：使用第一组池化层提取所述第一活动发现特征；以及使用第二组池化层提取所述第二活动发现特征。


3.根据权利要求1所述的方法，其中，还包括：使用第二softmax层提取所述第一活动发现特征；以及使用第三softmax层提取所述第二活动发现特征。


4.根据权利要求1所述的方法，还包括：使用第三组池化层提取所述活动分类。


5.根据权利要求1所述的方法，还包括：当所述第一传感器确定已经发生第一感测活动时，提取所述第一活动发现特征；以及当所述第二传感器确定已经发生第二感测活动时，提取所述第二活动发现特征。


6.根据权利要求5所述的方法，其中，所述第一活动发现特征是指示是否已经发生所述第一感测活动的第一二进制分类；并且所述第二活动发现特征是指示是否已经发生所述第二感测活动的第二二进制分类。


7.根据权利要求6所述的方法，还包括：当所述第一活动发现特征指示已经发生所述第一感测活动时，生成第一中断信号；以及当所述第二活动发现特征指示已经发生所述第二感测活动时，生成第二中断信号。


8.根据权利要求7所述的方法，其中，在接收到所述第一中断信号和所述第二中断信号时，第三组卷积层和softmax层从睡眠模式状态被激活。


9.根据权利要求1所述的方法，其中，所述活动分类确定正在执行用户活动。


10.一种用于提取活动分类的方法，包括：
从第一传感器接收第一数据；
从第二传感器接收第二数据；
使用第一组卷积层从所...

【专利技术属性】
技术研发人员：C彼得斯，T罗茨尼克，R迪里亨，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE