基于联邦学习的数据处理方法及装置、设备、存储介质制造方法及图纸

本申请的实施例揭示了一种基于联邦学习的数据处理方法及装置、电子设备、存储介质、程序产品，该方法包括：多个边缘节点中的每个边缘节点可以获取训练样本，并计算训练样本的重要度，若训练样本的重要度大于预设重要度阈值，则对训练样本进行加密，得到训练样本的密文，将训练样本的密文发送至云服务器；云服务器基于每个边缘节点发送的训练样本的密文对故障检测模型进行训练，并将训练后的故障检测模型分别发送至多个边缘节点；每个边缘节点基于接收到故障检测模型进行故障检测。本申请实施例的技术方案能够提升故障检测精度。施例的技术方案能够提升故障检测精度。施例的技术方案能够提升故障检测精度。

Data processing method, device, equipment and storage medium based on Federated learning

【技术实现步骤摘要】
基于联邦学习的数据处理方法及装置、设备、存储介质


[0001]本申请涉及计算机
，具体而言，涉及一种基于联邦学习的数据处理方法及装置、电子设备、存储介质、程序产品。

技术介绍

[0002]在工业生产中，通常需要对生产出的产品或半成品进行故障检测，例如，半导体产业中，在电子元件上完成焊接后，需要对电子元件进行检测，以确定是否出现焊脚偏移、焊脚缺失、相邻焊脚焊锡连接导致短路、焊盘不规则、焊脚过长等故障。但是，目前通常是通过人工对产品进行故障检测或者根据相应的传感器采集到的数据以及对应的阈值对产品进行故障检测，故障检测效率低且精度低。

技术实现思路

[0003]为解决上述技术问题，本申请的实施例提供了一种基于联邦学习的数据处理方法及装置、电子设备、存储介质、程序产品，至少在一定程度上可以提升故障检测效率和精度。
[0004]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0005]根据本申请实施例的一个方面，提供了一种基于联邦学习的数据处理方法，应用于包括云服务器以及多个边缘节点的联邦学习系统，所述方法由所述多个边缘节点分别执行，所述方法包括：
[0006]获取训练样本，并计算所述训练样本的重要度；
[0007]若所述训练样本的重要度大于预设重要度阈值，则对所述训练样本进行加密，得到所述训练样本的密文；
[0008]将所述训练样本的密文发送至所述云服务器，以使所述云服务器根据所述训练样本的密文对故障检测模型进行训练；/>[0009]接收所述云服务器发送的训练后的故障检测模型，以基于接收到的故障检测模型进行故障检测。
[0010]根据本申请实施例的一个方面，提供了一种基于联邦学习的数据处理方法，应用于包含云服务器以及多个边缘节点的联邦学习系统，所述方法由所述云服务器执行，所述方法包括：
[0011]接收每个边缘节点发送的训练样本的密文，并基于所述每个边缘节点发送的训练样本的密文对故障检测模型进行训练；所述每个边缘节点发送的训练样本的密文由所述每个边缘节点在确定所述训练样本的重要度大于预设重要度阈值的条件下，对所述训练样本进行加密得到；
[0012]将训练后的故障检测模型分别发送至所述多个边缘节点，以使所述多个边缘节点基于接收到的故障检测模型进行故障检测。
[0013]根据本申请实施例的一个方面，提供了一种基于联邦学习的数据处理装置，应用
于包括云服务器以及多个边缘节点的联邦学习系统，所述装置分别配置在所述多个边缘节点，所述装置包括：
[0014]重要度评估模块，配置为获取训练样本，并计算所述训练样本的重要度；
[0015]数据封装模块，配置为若所述训练样本的重要度大于预设重要度阈值，则对所述训练样本进行加密，得到所述训练样本的密文；
[0016]边缘联合训练模块，配置为将所述训练样本的密文发送至所述云服务器，以使所述云服务器根据所述训练样本的密文对故障检测模型进行训练；
[0017]故障检测模块，配置为接收所述云服务器发送的训练后的故障检测模型，以基于接收到的故障检测模型进行故障检测。
[0018]根据本申请实施例的一个方面，提供了一种基于联邦学习的数据处理装置，应用于包括云服务器以及多个边缘节点的联邦学习系统，所述装置配置在所述云服务器中，所述装置包括：
[0019]模型聚合模块，配置为接收每个边缘节点发送的训练样本的密文，并基于所述每个边缘节点发送的训练样本的密文对故障检测模型进行训练；所述每个边缘节点发送的训练样本的密文由所述每个边缘节点在确定所述训练样本的重要度大于预设重要度阈值的条件下，对所述训练样本进行加密得到；
[0020]模型更新模块，配置为将训练后的故障检测模型分别发送至所述多个边缘节点，以使所述多个边缘节点基于接收到的故障检测模型进行故障检测。
[0021]根据本申请实施例的一个方面，提供了一种电子设备，包括：
[0022]一个或多个处理器；
[0023]存储装置，用于存储一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述电子设备实现如前所述的基于联邦学习的数据处理方法。
[0024]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使电子设备执行如前所述的基于联邦学习的数据处理方法。
[0025]根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如前所述的基于联邦学习的数据处理方法。
[0026]在本申请的实施例所提供的技术方案中，多个边缘节点中的每个边缘节点可以获取训练样本，并计算训练样本的重要度，若训练样本的重要度大于预设重要度阈值，则对训练样本进行加密，得到训练样本的密文，将训练样本的密文发送至云服务器；云服务器基于每个边缘节点发送的训练样本的密文对故障检测模型进行训练，并将训练后的故障检测模型分别发送至多个边缘节点；每个边缘节点基于接收到故障检测模型进行故障检测。这样，一方面，云服务器可以根据多个边缘节点发送的训练样本的密文对故障检测模型进行训练，从而增加了训练样本的来源，打破了不同设备之间的数据壁垒，提升了故障检测模型的泛化能力，提升了故障检测的精度，并且，保障了数据安全，同时，在训练样本的重要度大于预设重要度阈值时，才将训练样本的密文发送至云服务器，以使云服务器基于训练样本的密文对故障检测模型进行训练，从而节约计算资源，提升模型的收敛速度；另一方面，利用边缘节点完成训练样本的收集，利用云服务器完成故障检测模型的训练，从而合理利用边
缘节点和云服务器的优势，提升训练样本的获取速度以及故障检测模型的训练效率。
[0027]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0028]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0029]图1是本申请涉及的实施环境的示意图图；
[0030]图2是本申请的一示例性实施例示出的基于联邦学习的数据处理方法的流程图；
[0031]图3是图2所示的步骤S210在一示例性实施例中的流程图；
[0032]图4是图2所示的步骤S220在一示例性实施例中的流程图；
[0033]图5是本申请的一示例性实施例示出的基于联邦学习的数据处理方法的流程图；
[0034]图6是本申请的另一示例性实施例示出的基于联邦学习的数据处理方法的流程图；
[0035]图7是本申请的一示例性实施例示出的基于联邦学习的数据处理装置的框图；
[0036]图8是本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的数据处理方法，其特征在于，应用于包括云服务器以及多个边缘节点的联邦学习系统，所述方法由所述多个边缘节点分别执行，所述方法包括：获取训练样本，并计算所述训练样本的重要度；若所述训练样本的重要度大于预设重要度阈值，则对所述训练样本进行加密，得到所述训练样本的密文；将所述训练样本的密文发送至所述云服务器，以使所述云服务器根据所述训练样本的密文对故障检测模型进行训练；接收所述云服务器发送的训练后的故障检测模型，以基于接收到的故障检测模型进行故障检测。2.如权利要求1所述的方法，其特征在于，所述计算所述训练样本的重要度，包括：获取所述训练样本的关联参数；所述训练样本的关联参数包括所述训练样本的数量、所述训练样本的数据维度、所述训练样本包含的特征数量中至少一种；根据所述训练样本的关联参数确定所述训练样本的重要度。3.如权利要求2所述的方法，其特征在于，所述根据所述训练样本的关联参数确定所述训练样本的重要度，包括：获取自身的性能参数；根据所述性能参数以及所述训练样本的关联参数确定所述训练样本的重要度。4.如权利要求1所述的方法，其特征在于，所述对所述训练样本进行加密，得到所述训练样本的密文，包括：从多种加密方式中选择所述训练样本的加密方式；基于所述训练样本的加密方式对所述训练样本进行加密，得到所述训练样本的密文。5.一种基于联邦学习的数据处理方法，其特征在于，应用于包含云服务器以及多个边缘节点的联邦学习系统，所述方法由所述云服务器执行，所述方法包括：接收每个边缘节点发送的训练样本的密文，并基于所述每个边缘节点发送的训练样本的密文对故障检测模型进行训练；所述每个边缘节点发送的训练样本的密文由所述每个边缘节点在确定所述训练样本的重要度大于预设重要度阈值的条件下，对所述训练样本进行加密得到；将训练后的故障检测模型分别发送至所述多个边缘节点，以使所述多个边缘节点基于接收到的故障检测模型进行故障检测。6.如权利要求5所述的方法，其特征在于，所述将训练后的故障检测模型分别发...

【专利技术属性】
技术研发人员：宋雅奇，丁鹏，沈云，时晓厚，郭璐，刘晨，曹振强，王向明，刘心，张丽伟，郭琦，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：