对细调特征的顺序图像采样和存储制造技术

特征提取包括确定用于特征提取的参考模型以及针对不同任务来细调该参考模型。该方法还包括存储在细调期间计算的权重差别集合。每一集合可对应于一不同的任务。

【技术实现步骤摘要】
【国外来华专利技术】对细调特征的顺序图像采样和存储相关申请的交叉引用本申请根据35U.S.C.§119(e)的规定要求于2015年3月27日提交的题为“SIMULTANEOUSLEARNINGOFTASKANDFINE-TUNEDFEATURES(任务和细调特征的同时学习)”的美国临时专利申请No.62/139,220的权益，该临时专利申请的公开通过援引被明确地整体纳入于此。背景领域本公开的某些方面一般涉及机器学习，且更具体地涉及改进特征提取的系统和方法。
技术介绍
可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体地，CNN已被广泛使用于模式识别和分类领域。深度学习架构(诸如，深度置信网络和深度卷积网络)是分层神经网络架构，其中第一层神经元的输出变成第二层神经元的输入，第二层神经元的输出变成第三层神经元的输入，以此类推。深度神经网络可被训练以识别特征阶层并因此它们被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可分布在处理节点群体上，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用反向传播微调。其他模型也可用于对象识别。例如，支持向量机(SVM)是可被应用于分类的学习工具。支持向量机包括对数据进行归类的分离超平面(例如，决策边界)。该超平面由监督式学习来定义。期望的超平面增加训练数据的裕量。换言之，超平面应该具有到训练示例的最大的最小距离。尽管这些解决方案在数个分类基准上取得了优异的结果，但它们的计算复杂度可能极其高。另外，模型的训练可能是有挑战性的。概述在本公开的一个方面，公开了一种特征提取方法。该方法包括确定用于特征提取的参考模型。该方法还包括针对多个不同任务来细调该参考模型。该方法进一步包括存储在细调期间计算的权重差别集合。每一集合可对应于一不同的任务。本公开的另一方面涉及一种装备，包括用于确定用于特征提取的参考模型的装置。该装备还包括用于针对多个不同任务来细调该参考模型的装置。该装备进一步包括用于存储在细调期间计算的权重差别集合的装置。每一集合可对应于一不同的任务。在本公开的另一方面，公开了一种用于特征提取的计算机程序产品。该计算机程序产品具有其上记录有非瞬态程序代码的非瞬态计算机可读介质。该程序代码由处理器执行并且包括用于确定用于特征提取的参考模型的程序代码。该程序代码还包括用于针对多个不同任务来细调该参考模型的程序代码。该程序代码进一步包括用于存储在细调期间计算的权重差别集合的程序代码。每一集合可对应于一不同的任务。本公开的另一方面涉及一种用于特征提取的装置，该装置具有存储器以及耦合至该存储器的一个或多个处理器。该处理器被配置成确定用于特征提取的参考模型。该处理器还被配置成针对多个不同任务来细调该参考模型。该处理器被进一步配置成存储在细调期间计算的权重差别集合。每一集合可对应于一不同的任务。本公开的附加特征和优点将在下文描述。本领域技术人员应该领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。附图简要说明在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)来设计神经网络的示例实现。图2解说了根据本公开的各方面的系统的示例实现。图3A是解说根据本公开的各方面的神经网络的示图。图3B是解说根据本公开的各方面的示例性深度卷积网络(DCN)的框图。图4是解说根据本公开的各方面的可将人工智能(AI)功能模块化的示例性软件架构的框图。图5是解说根据本公开的各方面的智能手机上的AI应用的运行时操作的框图。图6是解说用于常规特征提取器的通用架构的框图。图7是解说根据本公开的各方面的用于特征提取装置的示例性架构的框图。图8A和8B是解说根据本公开的各方面的用于特征提取装置的示例性架构的框图。图9解说了根据本公开的各方面的用于特征提取的方法。图10解说了根据本公开的各方面的用于特征提取的流程图。详细描述以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。在一些网络中，图像可以被掩蔽并且被处理以确定图像中的特定对象。而且在其它网络中，图像的不同区域可以被采样，直到接收到期望输出。例如，网络可以始于采样第一区域并且确定该网络是否应当采样该图像的其它区域以查明该图像的内容。作为一个示例，第一区域可包括沙滩椅腿和沙子。因而，该网络确定图像的第二区域应当被采样以确定该图像是否包括海洋和/或与沙滩相关联的其它对象。即，第二区域基于第一区域的内容被选择。对图像的顺序采样类似于人类的视觉采样。即，在大部分情形中，人类顺序地采样图像的各区域，直到达到对图像内容的某一置信度。因而，当采样给定区域时，该网络确定该给定区域的内容。此外，该网络还确定应当被采样以收集与任务(诸如识别面部)有关的附加信息的后续区域。更具体地，在具有各个对象和/或高度细节的场景中，期望顺序地采样该场景的各区域而非一次采样整个场景。图1解说了根据本公开的某些方面的使用片上系统(SOC)100进行前述经由顺序采样的特征提取的示例实现，SOC100可包括通用处理器(CPU)或多核通用处理器(CPU)102。各变量(例如，神经信号和突触权重)、与计算设备相关本文档来自技高网...

【技术保护点】
一种特征提取的方法，包括：确定用于特征提取的参考模型；针对多个不同任务来细调所述参考模型；以及存储在所述细调期间计算的权重差别集合，每一集合对应于一不同的任务。

【技术特征摘要】
【国外来华专利技术】2015.03.27 US 62/139,220;2015.09.03 US 14/845,2361.一种特征提取的方法，包括：确定用于特征提取的参考模型；针对多个不同任务来细调所述参考模型；以及存储在所述细调期间计算的权重差别集合，每一集合对应于一不同的任务。2.如权利要求1所述的方法，其特征在于，所述参考模型包括局部化模型。3.如权利要求1所述的方法，其特征在于，所述参考模型包括特征学习模型。4.如权利要求1所述的方法，其特征在于，所述存储包括仅存储非零权重差别。5.如权利要求1所述的方法，其特征在于，所述细调包括应用因任务而异的分类器。6.一种用于特征提取的装置，包括：存储器；以及耦合至所述存储器的至少一个处理器，所述至少一个处理器被配置成：确定用于特征提取的参考模型；针对多个不同任务来细调所述参考模型；以及存储在细调期间计算的权重差别集合，每一集合对应于一不同的任务。7.如权利要求6所述的装置，其特征在于，所述参考模型包括局部化模型。8.如权利要求6所述的装置，其特征在于，所述参考模型包括特征学习模型。9.如权利要求6所述的装置，其特征在于，所述至少一个处理器被进一步配置成仅存储非零权重差别。10.如权利要求6所述的装置，其特征在于，所述至少一个处...

【专利技术属性】
技术研发人员：R·B·托瓦，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US