【技术实现步骤摘要】
本公开涉及人工智能领域、金融科技领域或其他，更具体地，涉及一种模型预测方法、装置、电子设备和存储介质。
技术介绍
1、联邦学习是一种在多台机器上实现的分布式机器学习技术，目标是在保护数据安全和隐私安全的基础上，实现多机构联合建模，提升机器学习模型的推理效果。联邦学习依赖于分布式设备之间的大量通信训练多个子模型得到集成模型，且每个分布式设备本地所训练得到的子模型依赖于本地样本集的质量。
2、相关技术中，面对联邦学习中遇到的通信瓶颈、推理较慢和数据需要满足强iid条件等问题，目前常用的解决方案是使用知识蒸馏，知识蒸馏通过迁移学习方式，将教师模型的推理结果作为监督信号，指导学生模型的训练，从而完成知识迁移过程。除了知识蒸馏以外，其他缓解方法还有模型集成、个性化学习等。
3、在实现本公开专利技术构思的过程中，专利技术人发现，相关技术针对联邦学习缺点的解决方案依然受到训练子模型的样本集质量的影响，导致集成模型的共识预测结果受到个别子模型的影响。因此，在保护数据安全和隐私安全的基础上，降低个别子模型对共识预测结果的负面影响，提高共识预测结果的准确性是当前亟待解决的问题。
技术实现思路
1、鉴于上述问题，本公开提供了模型预测方法、装置、电子设备和存储介质。
2、本公开实施例的一个方面，提供了一种模型预测方法，包括：将待处理的图像或文本输入n个机器学习模型，其中，n个所述机器学习模型基于服务器节点及k个客户端节点执行联邦学习算法预先训练得到，n、k皆为大于或等于
3、根据本公开的实施例，在得到待处理的图像或文本的最终预测结果之前，确定每个所述机器学习模型的模型权重包括：获得每个所述机器学习模型的共识质量；对于任一个所述机器学习模型，将该机器学习模型的的共识质量输入到归一化的指数函数，以基于计算结果得到该模型的模型权重。
4、根据本公开的实施例，获得每个所述机器学习模型的共识质量包括：确定n个所述机器学习模型对第一样本集的共识逻辑，所述共识逻辑基于每个所述机器学习模型对所述第一样本集的预测结果进行知识投票得到，所述第一样本集包括至少一个图像样本或至少一个文本样本；基于所述共识逻辑和所述模型数量得到所述共识质量。
5、根据本公开的实施例，基于计算结果得到模型权重包括：
6、按照如下归一化的指数函数计算第k个机器学习模型的模型权重
7、
8、其中，qk(s)代表共识质量，k≥k≥1，s表征第一样本集，nk代表第k个客户端节点的数据量，第k个机器学习模型来自第k个客户端节点，lf代表逻辑焦点标识，用于指示为模型权重；
9、其中，描述了第k个客户端模型对集成模型全局共识的边际贡献。
10、根据本公开的实施例，在将待处理的图像或文本输入n个机器学习模型之前，还包括：使用在k个所述客户端节点本地训练得到的k个所述机器学习模型，对所述服务器节点存储的无标签第二样本集进行预测，得到k个预测结果，所述第二样本集包括至少一个图像样本或至少一个文本样本；使k个所述客户端节点将k个所述预测结果传输至所述服务器节点，其中，所述服务器节点被配置为基于k个所述预测结果训练第一机器学习模型，n个所述机器学习模型包括该第一机器学习模型。
11、根据本公开的实施例，所述服务器节点基于k个所述预测结果训练第一机器学习模型包括：基于k个所述预测结果中对所述无标签第二样本集中每个图像样本或每个文本样本的共识结果确定样本标签，得到有标签第二样本集，所述共识结果包括k个所述预测结果中占多数的结果；基于有标签的第二样本集训练所述第一机器学习模型。
12、根据本公开的实施例，在基于有标签的第二样本集训练所述第一机器学习模型之后，所述方法还包括：从k个所述机器学习模型和所述第一机器学习模型中确定m个待定模型，m为大于或等于1的整数，且m小于或等于k+1；对m个所述待定模型各自的模型参数进行拟合处理，得到m个第二机器学习模型，其中，每个所述第二机器学习模型的模型参数符合拟合处理所依据的数学分布，n个所述机器学习模型包括m个所述第二机器学习模型。
13、根据本公开的实施例，在将待处理的图像或文本输入n个机器学习模型之前，还包括：获得n个所述机器学习模型对第三样本集的共识预测结果，以及每个所述机器学习模型对所述第三样本集的预测结果，其中，所述第三样本集包括至少一个图像样本或至少一个文本样本；确定每个所述机器学习模型对所述第三样本集的预测结果与所述共识预测结果之间的偏离度；对于任一个所述机器学习模型，当其偏离度大于或等于预设阈值时，对该模型重新训练，直至其偏离度小于所述预设阈值。
14、本公开实施例的另一方面提供了一种模型预测装置，包括：数据输入模块，用于将待处理的图像或文本输入n个机器学习模型，其中，n个所述机器学习模型基于服务器节点及k个客户端节点执行联邦学习算法预先训练得到，k、n皆为大于或等于2的整数；预测输出模块，用于获得n个所述机器学习模型基于待处理的图像或文本输出的n个初始预测结果；最终预测模块，用于基于n个所述机器学习模型各自的模型权重与初始预测结果，得到待处理的图像或文本的最终预测结果；其中，每个所述机器学习模型的模型权重通过该模型的共识质量得到，所述共识质量通过该模型对图像样本或文本样本的预测结果，及n个所述机器学习模型中输出相同预测结果的模型数量确定。
15、本公开实施例的另一方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行如上所述的方法。
16、本公开实施例的另一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述的方法。
17、本公开实施例的另一方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的方法。
18、上述一个或多个实施例具有如下有益效果：通过任一模型对图像样本或文本样本的预测结果，及n个所述机器学习模型中输出相同预测结果的模型数量确定共识质量，进一步得到模型权重，可以不需要访问本地数据，保护数据安全和隐私安全，能够调整各个模型的预测结果对最终预测结果的贡献，有效降低某个模型因接受不相关数据训练而导致对集成模型整体的负面影响，降低了个别子模型的预测结果对最终预测结果的不利影响，提升n个机器学习模型整体的泛化性。
本文档来自技高网...【技术保护点】
1.一种模型预测方法，包括：
2.根据权利要求1所述的方法，其中，在得到待处理的图像或文本的最终预测结果之前，确定每个所述机器学习模型的模型权重包括：
3.根据权利要求2所述的方法，其中，获得每个所述机器学习模型的共识质量包括：
4.根据权利要求2所述的方法，其中，基于计算结果得到模型权重包括：
5.根据权利要求1或2所述的方法，其中，在将待处理的图像或文本输入N个机器学习模型之前，还包括：
6.根据权利要求5所述的方法，其中，所述服务器节点基于K个所述预测结果训练第一机器学习模型包括：
7.根据权利要求6所述的方法，其中，在基于有标签的第二样本集训练所述第一机器学习模型之后，所述方法还包括：
8.根据权利要求1或7所述的方法，其中，在将待处理的图像或文本输入N个机器学习模型之前，还包括：
9.一种模型预测装置，包括：
10.一种电子设备，包括：
11.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～8中任一项所述的
...【技术特征摘要】
1.一种模型预测方法，包括：
2.根据权利要求1所述的方法，其中，在得到待处理的图像或文本的最终预测结果之前，确定每个所述机器学习模型的模型权重包括：
3.根据权利要求2所述的方法，其中，获得每个所述机器学习模型的共识质量包括：
4.根据权利要求2所述的方法，其中，基于计算结果得到模型权重包括：
5.根据权利要求1或2所述的方法，其中，在将待处理的图像或文本输入n个机器学习模型之前，还包括：
6.根据权利要求5所述的方法，其中，所述服务...
【专利技术属性】
技术研发人员：李为亚，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。