【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、本申请涉及分布式机器学习和联邦(federated)学习。
技术实现思路
1、本专利技术的一个方面涉及一种方法。该方法包括：从与多个用户环境通信连接的中央聚合器接收全局模型，该全局模型包括多个层；使用在用户环境内收集的数据在全局模型之上训练迷你(mini)模型；将迷你模型的至少一部分上传到中央聚合器；接收多个迷你模型；以及基于接收到的多个迷你模型创建融合模型。
2、在一些实施例中，多个用户环境包括云计算网络内的多个租赁(tenancy)。在一些实施例中，全局模型可以是深度学习模型。在一些实施例中，深度学习模型可以是变换器(transformer)。在一些实施例中，深度学习模型可以是基于变换器的双向编码器表示(bidirectional encoder representations from transformers，bert)模型。
3、在一些实施例中，迷你模型可以摄取全局模型的输出。在一些实施例中，全局模型的输出包括全局模型的至少一些层的层输出。在一些实施例中，将迷你模型上传到中央聚合器包括剥离分类器头部的迷你模型。在一些实施例中，将迷你模型上传到中央聚合器包括上传迷你模型的二进制表示(binary)。
4、在一些实施例中，多个迷你模型是从中央聚合器接收的。在一些实施例中，基于接收到的多个迷你模型创建融合模型包括在接收到的迷你模型之上训练融合模型。在一些实施例中，基于接收到的多个迷你模型创建融合模型包括组合表示来自多个迷你模型
5、在一些实施例中，基于接收到的多个迷你模型创建融合模型包括生成分类器头部，以及将分类器头部应用于融合模型的层。在一些实施例中，该方法包括接收用于生成机器学习模型输出的数据，在用户环境处使用全局模型摄取该数据，收集全局模型的中间输出，使用融合模型摄取中间输出，以及使用融合模型输出预测。在一些实施例中，该方法包括接收用于生成机器学习模型输出的数据，在用户环境处使用全局模型摄取该数据，收集全局模型的第一中间输出，使用多个迷你模型中的至少一些迷你模型摄取全局模型的第一中间输出，收集多个迷你模型中的至少一些迷你模型的第二中间输出，使用融合模型摄取中间输出，以及使用融合模型输出预测。
6、本专利技术的一个方面涉及一种包括存储器和至少一个处理器的系统。该至少一个处理器可以从与多个用户环境通信连接的中央聚合器接收全局模型，该全局模型包括多个层；使用在用户环境内收集的数据在全局模型之上训练迷你模型；将迷你模型的至少一部分上传到中央聚合器；接收多个迷你模型；以及基于接收到的多个迷你模型创建融合模型。
7、在一些实施例中，将迷你模型的至少一部分上传到中央聚合器包括剥离分类器头部的迷你模型。在一些实施例中，基于接收到的多个迷你模型创建融合模型包括在接收到的迷你模型之上训练融合模型。
8、本专利技术的一个方面涉及一种存储可由一个或多个处理器执行的多个指令的非暂态计算机可读存储介质。当由一个或多个处理器执行时，该多个指令使得一个或多个处理器从与多个用户环境通信连接的中央聚合器接收全局模型，该全局模型包括多个层；使用在用户环境内收集的数据在全局模型之上训练迷你模型；将迷你模型的至少一部分上传到中央聚合器；接收多个迷你模型；以及基于接收到的多个迷你模型创建融合模型。
9、在一些实施例中，将迷你模型的至少一部分上传到中央聚合器包括剥离分类器头部的迷你模型。在一些实施例中，基于接收到的多个迷你模型创建融合模型包括在接收到的迷你模型之上训练融合模型。
本文档来自技高网...【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中所述多个用户环境包括云计算网络内的多个租赁。
3.根据权利要求1所述的方法，其中全局模型包括深度学习模型。
4.根据权利要求3所述的方法，其中深度学习模型包括变换器。
5.根据权利要求3所述的方法，其中深度学习模型包括基于变换器的双向编码器表示(BERT)模型。
6.根据权利要求1所述的方法，其中迷你模型被配置为摄取全局模型的输出。
7.根据权利要求6所述的方法，其中全局模型的输出包括全局模型的至少一些层的层输出。
8.根据权利要求1所述的方法，其中将迷你模型上传到中央聚合器包括剥离分类器头部的迷你模型。
9.根据权利要求8所述的方法，其中将迷你模型上传到中央聚合器包括上传迷你模型的二进制表示。
10.根据权利要求1所述的方法，其中所述多个迷你模型是从中央聚合器接收的。
11.根据权利要求1所述的方法，其中基于接收到的多个迷你模型创建融合模型包括在接收到的迷你模型之上训练融合模型。
12.根据权
13.根据权利要求1所述的方法，其中基于接收到的多个迷你模型创建融合模型包括：生成分类器头部；以及将分类器头部应用于融合模型的层。
14.根据权利要求1所述的方法，还包括：
15.根据权利要求1所述的方法，还包括：
16.一种系统，包括：
17.根据权利要求16所述的系统，其中将迷你模型的至少一部分上传到中央聚合器包括剥离分类器头部的迷你模型。
18.根据权利要求16所述的系统，其中基于接收到的多个迷你模型创建融合模型包括在接收到的迷你模型之上训练融合模型。
19.一种存储能够由一个或多个处理器执行的多个指令的非暂态计算机可读存储介质，所述多个指令在由所述一个或多个处理器执行时使得所述一个或多个处理器：
20.存储能够由一个或多个处理器执行的多个指令的非暂态计算机可读存储介质，其中将迷你模型的至少一部分上传到中央聚合器包括剥离分类器头部的迷你模型，并且其中基于接收到的多个迷你模型创建融合模型包括在接收到的迷你模型之上训练融合模型。
...【技术特征摘要】
【国外来华专利技术】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中所述多个用户环境包括云计算网络内的多个租赁。
3.根据权利要求1所述的方法，其中全局模型包括深度学习模型。
4.根据权利要求3所述的方法，其中深度学习模型包括变换器。
5.根据权利要求3所述的方法，其中深度学习模型包括基于变换器的双向编码器表示(bert)模型。
6.根据权利要求1所述的方法，其中迷你模型被配置为摄取全局模型的输出。
7.根据权利要求6所述的方法，其中全局模型的输出包括全局模型的至少一些层的层输出。
8.根据权利要求1所述的方法，其中将迷你模型上传到中央聚合器包括剥离分类器头部的迷你模型。
9.根据权利要求8所述的方法，其中将迷你模型上传到中央聚合器包括上传迷你模型的二进制表示。
10.根据权利要求1所述的方法，其中所述多个迷你模型是从中央聚合器接收的。
11.根据权利要求1所述的方法，其中基于接收到的多个迷你模型创建融合模型包括在接收到的迷你模型之上训练融合模型。
12.根据权利要求1所述的方法，其中基于接收到的...
【专利技术属性】
技术研发人员：R·布霍斯，S·雷扎，S·贾殷，
申请(专利权)人：甲骨文国际公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。