用于个性化神经网络模型的分布外检测制造技术

一种用于生成个性化人工神经网络(ANN)模型的方法在第一人工神经网络处接收输入。处理该输入以提取中间特征集合。该方法确定该输入相对于用于训练该第一人工神经网络的数据集是否在分布外。基于分布外确定而将对应于该输入的中间特征提供给第二人工神经网络。附加地，用于执行第一人工神经网络和第二个性化人工神经网络的训练和推断任务的系统资源是根据这些训练和推断任务的计算复杂性以及资源的功耗来分配的。的功耗来分配的。的功耗来分配的。

【技术实现步骤摘要】
【国外来华专利技术】用于个性化神经网络模型的分布外检测
[0001]背景
[0002]领域
[0003]本公开的各方面一般涉及神经网络，尤其涉及对用于个性化神经网络模型的分布外(out
‑
of
‑
distribution)数据的设备上检测。
[0004]背景
[0005]人工神经网络可包括诸群互连的人工神经元(例如，神经元模型)。人工神经网络可以是计算设备，或者被表示为要由计算设备执行的方法。
[0006]神经网络由消耗张量和产生张量的操作数组成。神经网络可以被用来解决复杂问题；然而，由于网络大小和可被执行以产生解决方案的运算量可能是巨大的，因此网络完成任务的时间可能很长。此外，由于这些任务可在移动设备(其可能具有有限的计算能力)上执行，因此深度神经网络的计算成本可能会有问题。
[0007]卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)(诸如深度卷积神经网络(DCN))具有众多应用。具体而言，这些神经网络架构被用于各种技术，诸如图像识别、模式识别、语音识别、自动驾驶和其他分类任务。
[0008]机器学习性能可能比被报告为研究结果的性能要低。这可能是例如由于训练中的变化以及设备硬件及其操作环境特性。在统计学上检测与训练分布相距足够远的测试样本是部署许多现实世界机器学习应用的基本要求。
[0009]可惜的是，设备上学习也很困难。增量学习的一个目标是使学习模型适配新数据而不遗忘其现有知识(训练)。然而，设备上的特定用户数据(例如，用户相关)相对于训练分布或数据集可能较小并且可能导致较差性能。
[0010]概述
[0011]在本公开的一方面，提供了一种用于生成个性化人工神经网络(ANN)模型的方法。该方法包括：在第一人工神经网络处接收输入。该方法包括：处理该输入以提取中间特征集合。该方法还包括：确定该输入相对于用于训练该第一人工神经网络的数据集是否在分布外。附加地，该方法包括：至少部分地基于分布外确定而将对应于该输入的中间特征提供给第二人工神经网络。
[0012]在本公开的另一方面，提供了一种用于生成个性化人工神经网络(ANN)模型的装置。该装置包括存储器以及耦合到该存储器的一个或多个处理器。(诸)处理器被配置成：在第一人工神经网络处接收输入。(诸)处理器被配置成：处理该输入以提取中间特征集合。(诸)处理器还被配置成：确定该输入相对于用于训练该第一人工神经网络的数据集是否在分布外。附加地，(诸)处理器被配置成：至少部分地基于分布外确定而将对应于该输入的中间特征提供给第二人工神经网络。
[0013]在本公开的一方面，提供了一种用于生成个性化人工神经网络(ANN)模型的装备。该装备包括：用于在第一人工神经网络处接收输入的装置。该装备包括：用于处理该输入以提取中间特征集合的装置。该装备还包括：用于确定该输入相对于用于训练该第一人工神
经网络的数据集是否在分布外的装置。附加地，该装备包括：用于至少部分地基于分布外确定而将对应于该输入的中间特征提供给第二人工神经网络的装置。
[0014]在本公开的进一步方面，提供了一种非瞬态计算机可读介质。该计算机可读介质上编码有用于生成个性化人工神经网络(ANN)模型的程序代码。该程序代码由处理器执行并且包括用于在第一人工神经网络处接收输入的代码。该程序代码包括：用于处理该输入以提取中间特征集的代码。该程序代码还包括：用于确定该输入相对于用于训练该第一人工神经网络的数据集是否在分布外的代码。附加地，该程序代码包括：用于至少部分地基于分布外确定而将对应于该输入的中间特征提供给第二人工神经网络的代码。
[0015]本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
[0016]附图简述
[0017]在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
[0018]图1解说了根据本公开的某些方面的使用片上系统(SoC)(包括通用处理器)的神经网络的示例实现。
[0019]图2A、2B和2C是解说根据本公开的各方面的神经网络的示图。
[0020]图2D是解说根据本公开的各方面的示例性深度卷积网络(DCN)的示图。
[0021]图3是解说根据本公开的各方面的示例性深度卷积网络(DCN)的框图。
[0022]图4是解说可使人工智能(AI)功能模块化的示例性软件架构的框图。
[0023]图5是解说根据本公开的各方面的用于对人工神经网络模型进行能量高效的个性化的示例架构的框图。
[0024]图6是解说根据本公开的各方面的对知识进行离线蒸馏以产生用于在移动设备上操作的经蒸馏用户无关分类器的框图。
[0025]图7是解说根据本公开的各方面的对用户相关分类器(UDC)和用户无关分布外(UIOOD)检测器的离线搜索和优化的示例的框图。
[0026]图8是解说根据本公开的各方面的选通代理的示例操作的框图。
[0027]图9是解说根据本公开的各方面的设备上的协作式增量学习的示例的框图。
[0028]图10解说了根据本公开的各方面的用于操作人工神经网络的方法。
[0029]详细描述
[0030]以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践所描述的概念的仅有配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
[0031]基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可使用所阐述的任
何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
[0032]措辞“示例性”用于意指“用作示例、实例、或解说”。描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
[0033]尽管描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于生成个性化人工神经网络(ANN)模型的方法，包括：在第一人工神经网络处接收输入；处理所述输入以提取中间特征集合；确定所述输入相对于用于训练所述第一人工神经网络的数据集是否在分布外；以及至少部分地基于分布外确定而将对应于所述输入的中间特征提供给第二人工神经网络。2.如权利要求1所述的方法，其中，所述第二人工神经网络是至少部分地基于所述中间特征在移动设备上进行训练的。3.如权利要求1所述的方法，其中，所述第二人工神经网络基于所述中间特征来确定分类。4.如权利要求1所述的方法，其中，所述中间特征至少部分地基于所述分布外确定而被提供给服务器。5.如权利要求1所述的方法，其中，用于执行所述第一人工神经网络和所述第二人工神经网络的训练和推断任务的资源是根据所述训练和推断任务的计算复杂性以及所述资源的功耗来分配的。6.如权利要求5所述的方法，其中，所述第一人工神经网络是用户无关分类器，而所述第二人工神经网络是用户相关分类器。7.如权利要求1所述的方法，进一步包括：确定所述第二人工神经网络是否已基于分布外输入进行了训练；如果所述第二人工神经网络还未基于所述分布外输入进行训练，则接收所述分布外输入的标签；以及如果所述第二人工神经网络已基于所述分布外输入进行了训练，则操作所述第二人工神经网络以生成推断。8.如权利要求1所述的方法，进一步包括：将所述输入的极值签名与类原型进行比较；以及如果所述极值签名在不同的维度集合中具有比所述类原型更大的激活，则检测到所述输入在分布外。9.一种用于生成个性化人工神经网络(ANN)模型的装置，包括：存储器；以及耦合到所述存储器的至少一个处理器，所述至少一个处理器被配置成：在第一人工神经网络处接收输入；处理所述输入以提取中间特征集合；确定所述输入相对于用于训练所述第一人工神经网络的数据集是否在分布外；以及至少部分地基于分布外确定而将对应于所述输入的中间特征提供给第二人工神经网络。10.如权利要求9所述的装置，其中，所述至少一个处理器被进一步配置成：至少部分地基于所述中间特征在移动设备上训练所述第二人工神经网络。11.如权利要求7所述的装置，其中，用于执行所述第一人工神经网络和所述第二人工神经网络的训练和推断任务的资源是根据所述训练和推断任务的计算复杂性以及所述资
源的功耗来分配的。12.如权利要求9所述的装置，其中，所述第一人工神经网络是用户无关分类器，而所述第二人工神经网络是用户相关分类器。13.如权利要求9所述的装置，其中，所述至少一个处理器被进一步配置成：确定所述第二人工神经网络是否已基于分布外输入进行了训练；如果所述第二人工神经网络还未基于所述分布外输入进行训练，则接收所述分布外输入的标签；以及如果所述第二人工神经网络已基于所述分布外输入进行了训练，则操作所述第二人工神经网络以生成推断。14.如权利要求9所述的装置，其中，所述至少一个处理器被进一步配置成：将所述输入的极值签名与类原型进行比较；以及如果所述极值签名在不同的维度集合中具有比所述类原型更大的激活，则检测到所述输入在分布外。15.一种用于生成个性化人工神经网络(ANN)模型的装备，包括...

【专利技术属性】
技术研发人员：赵海军，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：