用于提高联邦学习性能的自适应模型修剪制造技术

本公开提供了“用于提高联邦学习性能的自适应模型修剪”。一种系统从多辆车辆接收与全局机器学习模型的经不同训练的版本相关的多个数据集，所述数据集至少包括在给定车辆上执行的所述全局模型的当前版本所经历的当前局部损失值，针对所述给定车辆，已接收到所述多个数据集中的一个数据集。所述系统确定每个接收到的数据集的损失减少，所述损失减少表示自从与所述给定车辆相对应的先前接收到的数据集中包括的先前本地损失值以来的损失减少。所述系统确定所述多个数据集中的每个接收到的数据集的损失减少是否超过预定义阈值截止值，并且使用联邦学习并基于所述多个数据集中所述损失减少超过所述预定义截止值的数据集来训练所述全局模型。训练所述全局模型。训练所述全局模型。

【技术实现步骤摘要】
用于提高联邦学习性能的自适应模型修剪


[0001]说明性实施例总体上涉及用于提高联邦学习性能的自适应模型修剪。

技术介绍

[0002]车载车辆软件在范围和功能性上不断改进。从历史上看，该软件是通过版本控制来构建和开发的，其中译码器改进软件的未来版本并部署更新版本。然而，机器学习允许软件自行改进，而无需译码器实际改变软件的操作方式。
[0003]机器学习模型通常利用从数千个来源收集的大型数据集。该训练数据可以用于训练中心模型，所述中心模型可以作为改进的模型重新分发给客户端。在一些实例中，可能存在能够独立学习的部署模型，即，它们开始从基本部署模型分支。这为联邦学习提供了机会，从而允许使用经不同训练的模型的权重和偏差来改进集中式模型。这避免了传递由所有实体观察到的所有数据的开销，而是基本上允许各个实体传递其模型已经“学习”的内容作为用于更新全局模型的信息。

技术实现思路

[0004]在第一说明性实施例中，一种系统包括处理器，所述处理器被配置为从多辆车辆接收与全局机器学习模型的经不同训练的版本相关的多个数据集，所述数据集至少包括在给定车辆上执行的所述全局模型的当前版本所经历的当前局部损失值，针对所述给定车辆，已接收到所述多个数据集中的一个数据集。所述处理器还被配置为确定所述多个数据集中的每个接收到的数据集的损失减少，所述损失减少表示自从与所述给定车辆相对应的先前接收到的数据集中包括的先前本地损失值以来的损失减少。所述处理器还被配置为确定所述多个数据集中的每个接收到的数据集的损失减少是否超过预定义阈值截止值，并且使用联邦学习并基于所述多个数据集中的损失减少超过所述预定义截止值的数据集来训练所述全局模型。
[0005]在第二说明性实施例中，一种方法包括从多辆车辆接收与全局机器学习模型的经不同训练的版本相关的多个数据集，所述数据集至少包括在给定车辆上执行的所述全局模型的当前版本所经历的当前局部损失值，针对所述给定车辆，已接收到所述多个数据集中的一个数据集。所述方法还包括确定所述多个数据集中的每个接收到的数据集的损失减少，所述损失减少表示自从与所述给定车辆相对应的先前接收到的数据集中包括的先前本地损失值以来的损失减少。此外，所述方法包括确定所述多个数据集中的每个接收到的数据集的损失减少是否超过预定义阈值截止值，并且使用联邦学习并基于所述多个数据集中的损失减少超过所述预定义截止值的数据集来训练所述全局模型。
[0006]在第三说明性实施例中，一种非暂时性存储介质存储指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行一种方法，所述方法包括从多辆车辆接收与全局机器学习模型的经不同训练的版本相关的多个数据集，所述数据集至少包括在给定车辆上执行的所述全局模型的当前版本所经历的当前局部损失值，针对所述给定车辆，已
接收到所述多个数据集中的一个数据集。所述方法还包括确定所述多个数据集中的每个接收到的数据集的损失减少，所述损失减少表示自从与所述给定车辆相对应的先前接收到的数据集中包括的先前本地损失值以来的损失减少。此外，所述方法包括确定所述多个数据集中的每个接收到的数据集的损失减少是否超过预定义阈值截止值，并且使用联邦学习并基于所述多个数据集中的损失减少超过所述预定义截止值的数据集来训练所述全局模型。
附图说明
[0007]图1示出了能够进行车内学习和联邦学习的多车辆系统的说明性示例；
[0008]图2示出了可以在车辆上发生的所部署模型的学习过程的说明性示例；以及
[0009]图3示出了分析、训练和修剪过程的说明性示例。
具体实施方式
[0010]本文描述了本公开的实施例。然而，应理解，所公开的实施例仅仅是示例并且其他实施例可以呈现各种和替代形式。附图不一定按比例绘制；一些特征可被放大或最小化以示出特定部件的细节。因此，本文公开的具体结构细节和功能细节并不解释为限制性，而仅解释为用于教导本领域技术人员以各种方式采用本专利技术的代表性基础。如本领域普通技术人员将理解，参考附图中的任一者示出和描述的各种特征可与一个或多个其他附图中示出的特征组合以产生未明确地示出或描述的实施例。所示特征的组合提供用于典型应用的代表性实施例。然而，对于特定的应用或实施方式，可能期望与本公开的教导一致的对特征的各种组合和修正。
[0011]除了使示例性过程由位于车辆中的车辆计算系统执行之外，在某些实施例中，所述示例性过程还可由与车辆计算系统进行通信的计算系统来执行。此类系统可包括但不限于无线装置(例如但不限于移动电话)或通过无线装置连接的远程计算系统(例如但不限于服务器)。此类系统可统称为车辆相关联的计算系统(VACS)。在某些实施例中，VACS的特定部件可依据所述系统的特定实施方式来执行过程的特定部分。作为示例而非限制，如果过程具有与配对的无线装置发送或接收信息的步骤，则很可能无线装置未执行所述过程的所述部分，因为无线装置不会与自己“发送并接收”信息。本领域普通技术人员将理解何时将特定计算系统应用于给定解决方案是不合适的。
[0012]可以通过使用单独工作或彼此结合工作并执行存储在各种非暂时性存储介质(诸如但不限于快闪存储器、可编程存储器、硬盘驱动器等)上的指令的一个或多个处理器来促进过程的执行。可以单独地或共同地描述此类处理器，并且应理解，因为处理器可以单独工作或结合工作，所以使用多个处理器来执行归于一个处理器的动作并不超出此类描述或语言的范围。系统与过程之间的通信可以包括使用例如蓝牙、Wi
‑
Fi、蜂窝通信和其他合适的无线和有线通信。
[0013]在本文讨论的说明性实施例中的每一者中，示出了可由计算系统(或结合作用的系统)执行的过程的示例性非限制性示例。关于每个过程，执行所述过程的计算系统可能为了执行所述过程的有限目的而变得被配置为用于执行所述过程的专用处理器。所有过程不需要完整地执行，并且被理解为是可执行以实现本专利技术的要素的过程类型的示例。可根据需要在示例性过程中添加或移除附加步骤。
[0014]关于在示出说明性过程流程的附图中描述的说明性实施例，应注意，出于执行由这些附图示出的一些或所有示例性方法的目的，可暂时启用通用处理器作为专用处理器。当执行提供执行所述方法的一些或所有步骤的指令的代码时，处理器可暂时改换用途作为专用处理器，直到所述方法完成为止。在另一示例中，在适当的程度上，根据经预配置的处理器起作用的固件可致使处理器充当为执行所述方法或其某一合理变型而提供的专用处理器。
[0015]在具有数百万车辆(每辆车辆观察大型数据集并且具有经离散训练的模型)的车辆网络中，大量替代模型和替代观察为联邦学习提供了机会。同时，许多模型自从上次更新以来可能没有显著差异，因此可能不表示用于训练中心模型的良好候选者。添加这些模型的所有权重和偏差可能会延迟中心模型与训练好的模型的收敛。说明性实施例提出了一种修剪过程，其中可以基于给定模型是否满足作为良好候选者的参数来指定所述模型的使用，因此可以预期用于训练全局模型的模型集包括表示用于模型训练的良好候选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统，其包括：处理器，所述处理器被配置为：从多辆车辆接收与全局机器学习模型的经不同训练的版本相关的多个数据集，所述数据集至少包括在给定车辆上执行的所述全局模型的当前版本所经历的当前局部损失值，针对所述给定车辆，已接收到所述多个数据集中的一个数据集；确定所述多个数据集中的每个接收到的数据集的损失减少，所述损失减少表示自从与所述给定车辆相对应的先前接收到的数据集中包括的先前本地损失值以来的损失减少；确定所述多个数据集中的每个接收到的数据集的所述损失减少是否超过预定义阈值截止值；以及使用联邦学习并基于所述多个数据集中所述损失减少超过所述预定义截止值的所述数据集来训练所述全局模型。2.如权利要求1所述的系统，其中所述损失减少是多个报告循环内的平均损失减少，其中报告循环表示针对所述给定车辆接收的所述数据集的迭代，所述迭代包括所述当前局部损失值。3.如权利要求1所述的系统，其中所述处理器还被配置为：针对所述多辆车辆中所述损失减少不超过所述预定义截止值的每辆车辆设置掩模向量；以及其中所述训练是基于由所述掩模向量修改的所述接收到的多个数据集，使得当训练所述全局模型时，来自所述损失减少不超过所述预定义截止值的每辆车辆的数据集被屏蔽输出。4.如权利要求1所述的系统，其中所述处理器被配置为在训练所述全局模型之前等待所有所述多辆车辆完成自从前一报告循环以来的至少一个报告循环，其中报告循环表示针对所述给定车辆接收的所述数据集的迭代，所述迭代包括所述当前局部损失值。5.如权利要求1所述的系统，其中所述处理器被配置为在训练所述全局模型之前等待所述多辆车辆中的预定义总数或百分比的车辆中的至少一者完成自从前一报告循环以来的至少一个报告循环，其中报告循环表示针对所述给定车辆接收的所述数据集的迭代，所述迭代包括所述当前局部损失值。6.如权利要求5所述的系统，其中所述处理器还被配置为：确定所述损失减少超过所述预定义阈值截止值的车辆的总数或百分比中的至少一者是否超过表示足够训练数据的预定义值；以及响应于所述总数或百分比中的至少一者不超过所述预定义值，等待从所述多辆车辆中的附加数量或附加百分比的车辆接收到数据集。7.如权利要求1所述的系统，其中所述处理器还被配置为：确定所述损失减少超过所述预定义阈值截止值的车辆的总数或百分比中的至少一者是否超过表示足够训练数据的预定义值；以及响应于所述总数或百分比中的至少一者不超过所述预定义值，将所述阈值截止值递减以在所述训练中包括在将所述截止值递减之前所述损失减少不超过所述阈值截止值的附加车辆的数据集。8.一种方法，其包括：
从多辆车辆接收与全局机器学习模型的经不同训练的版本相关的多个数据集，所述数据集至少包括在给定车辆上执行的所述全局模型的当前版本所经历的当前局部损失值，针对所述给定车辆，已接收到所述多个数据集中的一个数据集；确定所述多个数据集中的每个接收到的数据集的损失减少，所述损失减少...

【专利技术属性】
技术研发人员：Z，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：