个性化神经网络修剪制造技术

用于生成个性化模型的方法包括从用户接收一个或多个个人数据样本。个人身份的原型基于个人数据样本来生成。个人身份的原型被训练以反映用户的个人特性。网络图基于该个人身份的原型来生成。全局网络的一个或多个通道基于该网络图来修剪以产生个性化模型。该网络图来修剪以产生个性化模型。该网络图来修剪以产生个性化模型。

【技术实现步骤摘要】
【国外来华专利技术】个性化神经网络修剪
[0001]相关申请的交叉引用
[0002]本申请要求于2021年10月20日提交的题为“PERSONALIZED NEURAL NETWORK PRUNING(个性化神经网络修剪)”的美国专利申请No.17/506,646的优先权，其要求于2020年10月21日提交的题为“PERSONALIZED NEURAL NETWORK PRUNING(个性化神经网络修剪)”的美国临时专利申请No.63/094,767的权益，这些申请的公开内容通过援引整体明确纳入于此。
[0003]公开领域
[0004]本公开的各方面一般涉及生成个性化神经网络。
[0005]背景
[0006]人工神经网络可以包括诸群互连的人工神经元(例如，神经元模型)。人工神经网络可以是计算设备或表示为要由计算设备执行的方法。卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)(诸如深度卷积神经网络(DCN))具有众多应用。具体而言，这些神经网络架构被用于各种技术，诸如图像识别、语音识别、声学场景分类、关键字检测、自动驾驶和其他分类任务。
[0007]边缘设备(诸如智能电话)被广泛使用。给定神经网络的许多有用应用，对在边缘设备上使用以及对这种边缘设备的个性化服务的需求不断增加。然而，边缘设备具有有限的计算资源，并且一般化模型可利用更复杂的网络和更多的计算。如此，常规的个性化方法可能不适用于边缘设备，因为常规的办法使用有限的个人数据进行再训练或微调。不幸地，这些多重训练一般在设备上学习期间具有显著的计算成本，这对于边缘设备而言是过度的负担。

技术实现思路

[0008]本公开在独立权利要求中分别阐述。本公开的一些方面在从属权利要求中描述。
[0009]在本公开的一方面，提供了一种计算机实现的方法。该方法包括接收一个或多个个人数据样本。该方法还包括基于个人数据样本来生成个人身份的原型。个人身份的原型被训练以反映用户的个人特性。附加地，该方法包括基于个人身份的原型来生成网络图。此外，该方法包括基于该网络图来修剪全局网络的一个或多个通道以产生个性化模型。
[0010]在本公开的另一方面，提供了一种装置。该装置包括存储器以及耦合到该存储器的一个或多个处理器。(诸)处理器被配置成接收一个或多个个人数据样本。(诸)处理器还被配置成基于个人数据样本来生成个人身份的原型。个人身份的原型被训练以反映用户的个人特性。此外，(诸)处理器被配置成基于个人身份的原型来生成网络图。此外，(诸)处理器被配置成基于该网络图来修剪全局网络的一个或多个通道以产生个性化模型。
[0011]在本公开的另一方面，提供了一种设备。该设备包括用于接收一个或多个个人数据样本的装置。该设备还包括用于基于个人数据样本来生成个人身份的原型的装置。个人身份的原型被训练以反映用户的个人特性。附加地，该设备包括用于基于个人身份的原型
来生成网络图的装置。此外，该设备包括用于基于该网络图来修剪全局网络的一个或多个通道以产生个性化模型的装置。
[0012]在本公开的进一步方面，提供了一种非瞬态计算机可读介质。该计算机可读介质上编码有程序代码。该程序代码由处理器执行，并且包括用于接收一个或多个个人数据样本的代码。该程序代码还包括用于基于个人数据样本来生成个人身份的原型的代码。个人身份的原型被训练以反映用户的个人特性。附加地，该程序代码包括用于基于个人身份的原型来生成网络图的代码。此外，该程序代码包括用于基于该网络图来修剪全局网络的一个或多个通道以产生个性化模型的代码。
[0013]本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
[0014]附图简述
[0015]在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
[0016]图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)的神经网络的示例实现。
[0017]图2A、2B和2C是解说根据本公开的各方面的神经网络的示图。
[0018]图2D是解说根据本公开的各方面的示例性深度卷积网络(DCN)的示图。
[0019]图3是解说根据本公开的各方面的示例性深度卷积网络(DCN)的框图。
[0020]图4是解说根据本公开的各方面的完整或全局模型的图的示例修剪以生成个性化模型的框图。
[0021]图5是解说根据本公开的各方面的个性化模型的示例实现的框图。
[0022]图6A和6B是解说根据本公开的各方面的基于原型的个性化修剪(PPP)模型的框图。
[0023]图6C是解说根据本公开的各方面的示例残差块的框图。
[0024]图7是解说根据本公开的各方面的用于生成个性化神经网络模型的示例方法的流程图。
[0025]详细描述
[0026]以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
[0027]基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此
类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
[0028]措辞“示例性”在本文中用于表示“用作示例、实例、或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
[0029]尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
[0030]深度神经网络的个性化是关于众多应用(诸如推荐系统、智能辅助、说话人验证和关键字检测)的计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：接收一个或多个个人数据样本；基于所述个人数据样本来生成个人身份的原型，所述个人身份的原型被训练以反映用户的个人特性；基于所述个人身份的原型来生成网络图；以及基于所述网络图来修剪全局网络的一个或多个通道以产生个性化模型。2.如权利要求1所述的计算机实现的方法，其中所述网络图是基于所述个性化模型的任务和目标大小来生成的。3.如权利要求1所述的计算机实现的方法，其中所述个人身份的原型是通过最小化所述个人数据样本的特征与对应于所述用户的所述个人身份的原型之间的距离来学习的。4.如权利要求1所述的计算机实现的方法，进一步包括：经由所述个性化模型来接收输入；以及基于所述输入经由所述个性化网络来生成推断。5.如权利要求1所述的计算机实现的方法，进一步包括：从所述全局网络接收输出；以及基于所述输出来微调所述个性化网络。6.如权利要求1所述的计算机实现的方法，其中所述个人身份的原型是相同批次中个人数据样本的平均向量。7.如权利要求6所述的计算机实现的方法，其中所述一个或多个通道是根据所述个人身份的原型基于二进制确定来修剪的。8.一种装置，包括：存储器；以及耦合到所述存储器的至少一个处理器，所述至少一个处理器被配置成：接收一个或多个个人数据样本；基于所述个人数据样本来生成个人身份的原型，所述个人身份的原型被训练以反映用户的个人特性；基于所述个人身份的原型来生成网络图；以及基于所述网络图来修剪全局网络的一个或多个通道以产生个性化模型。9.如权利要求8所述的装置，其中所述至少一个处理器被进一步配置成基于所述个性化模型的任务和目标大小来生成所述网络图。10.如权利要求8所述的装置，其中所述至少一个处理器被进一步配置成通过最小化所述个人数据样本的特征与对应于所述用户的所述个人身份的原型之间的距离来学习所述个人身份的原型。11.如权利要求8所述的装置，其中所述至少一个处理器被进一步配置成：经由所述个性化模型来接收输入；以及基于所述输入经由所述个性化网络来生成推断。12.如权利要求8所述的装置，其中所述至少一个处理器被进一步配置成：从所述全局网络接收输出；以及基于所述输出来微调所述个性化网络。
13.如权利要求8所述的装置，其中所述个人身份的原型是相同批次中个人数据样本的平均向量。14.如权利要求8所述的装置，其中所述一个或多个通道是根据所述个人身份的原型基于二进制确定来修剪的。15.一种设备，包括：用于接收一个或多个个人数据样本的装置；用于基于所述个人数据样本来生成个人身份的...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：