基于联邦学习的数据处理方法、装置及设备制造方法及图纸

本说明书实施例提供了多种基于联邦学习的数据处理方法、装置及设备，其中一种方法包括：联邦学习客户端基于预先训练的目标模型中的编码器对目标数据的编码结果，确定目标数据对应的编码检测结果，再将目标数据对应的编码检测结果发送给联邦学习服务端，并接收联邦学习服务端发送的目标数据对应的异常检测结果，目标数据对应的异常检测结果为联邦学习服务端基于编码检测结果，以及由预先训练的目标模型中的检测子模型和联邦学习客户端发送的目标数据对应的编码检测结果确定的目标数据与每个预设数据分布的匹配概率，确定的检测结果，联邦学习客户端基于目标数据对应的异常检测结果，确定目标数据是否存在异常。确定目标数据是否存在异常。确定目标数据是否存在异常。

【技术实现步骤摘要】
基于联邦学习的数据处理方法、装置及设备


[0001]本文件涉及数据处理
，尤其涉及一种基于联邦学习的数据处理方法、装置及设备。

技术介绍

[0002]随着计算机技术的快速发展，企业为用户提供的应用服务的种类和数量也越来越多，随之而来的用户数据的数据量日益增加，数据结构也日趋复杂。企业可以基于本地存储的用户数据对异常检测模型进行训练，以通过训练后的异常检测模型对用户数据是否存在异常进行检测。
[0003]但是，由于企业本地存储的用户私有数据的数据量少，数据质量差，训练数据缺少标签的情况，且为保障用户数据的隐私安全，不同企业之间，甚至同一企业内的不同业务单元之间无法实现数据协作，因此，需要一种能够提高对数据进行异常检测的检测准确性的方案。

技术实现思路

[0004]本说明书实施例的目的是提供一种能够提高对数据进行异常检测的检测准确性的方案。
[0005]为了实现上述技术方案，本说明书实施例是这样实现的：
[0006]第一方面，本说明书实施例提供的一种基于联邦学习的数据处理方法，应用于联邦学习客户端，包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的数据处理方法，应用于联邦学习客户端，包括：获取待检测的目标数据，并基于预先训练的目标模型中的编码器对所述目标数据的编码结果，确定所述目标数据对应的编码检测结果，所述编码检测结果用于表征所述目标数据在编码层面的异常情况；将所述目标数据对应的编码检测结果发送给联邦学习服务端，所述目标数据对应的编码检测结果用于触发所述联邦学习服务端基于所述预先训练的目标模型中的检测子模型和所述联邦学习客户端发送的所述目标数据对应的编码检测结果，确定所述目标数据与每个预设数据分布的匹配概率，并基于所述编码检测结果和所述目标数据与每个预设数据分布的匹配概率，确定所述目标数据对应的异常检测结果；接收所述联邦学习服务端发送的所述目标数据对应的异常检测结果，并基于所述目标数据对应的异常检测结果，确定所述目标数据是否存在异常。2.根据权利要求1所述的方法，在所述获取待检测的目标数据之前，还包括：获取样本数据；基于所述目标模型中的编码器对所述样本数据的编码结果，确定所述样本数据的重构误差，并基于所述样本数据的重构误差，确定第一损失值；基于所述目标模型中的编码器对所述样本数据的编码结果，确定所述样本数据对应的编码检测结果；将所述样本数据对应的编码检测结果和所述第一损失值发送给所述联邦学习服务端，所述样本数据对应的编码检测结果和所述第一损失值用于触发所述联邦学习服务端基于所述目标模型中的检测子模型和所述样本数据对应的编码检测结果，确定所述样本数据与每个所述预设数据分布的匹配概率，并基于所述样本数据与每个所述预设数据分布的匹配概率和所述样本数据对应的编码检测结果，确定所述样本数据对应的异常检测结果，基于所述样本数据对应的异常检测结果、所述样本数据对应的编码检测结果，以及针对所述样本数据的第一损失值，确定目标损失值，并基于所述目标损失值确定所述目标模型是否收敛；接收所述联邦学习服务端在基于所述目标损失值确定所述目标模型未收敛的情况下发送的所述目标模型的梯度信息；基于所述目标模型的梯度信息对所述目标模型中的编码器的模型参数进行更新，并基于更新后的目标模型中的编码器和所述样本数据，继续对所述目标模型进行训练，直到所述目标模型收敛，得到训练后的目标模型。3.根据权利要求2所述的方法，所述基于预先训练的目标模型中的编码器对所述目标数据的编码结果，确定所述目标数据对应的编码检测结果，包括：基于所述编码器的中间隐藏层对所述样本数据进行压缩处理，得到所述样本数据对应的压缩信息；基于所述样本数据的重构误差和所述样本数据对应的压缩信息，确定所述样本数据对应的编码检测结果。4.根据权利要求3所述的方法，所述样本数据为所述联邦学习客户端基于预设样本对齐方法进行对齐处理后得到的数据。5.根据权利要求4所述的方法，所述基于预先训练的目标模型中的编码器对所述目标
数据的编码结果，确定所述目标数据对应的编码检测结果，包括：基于所述预先训练的目标模型中的编码器对所述目标数据的编码结果和所述目标数据，确定针对所述目标数据的编码误差，以及所述预先训练的目标模型中的编码器的中间隐藏层对所述目标数据进行压缩处理得到的所述目标数据对应的压缩信息；基于所述目标数据的编码误差和所述目标数据对应的压缩信息，确定所述目标数据对应的编码检测结果。6.一种基于联邦学习的数据处理方法，应用于联邦学习服务端，包括：接收联邦学习客户端发送的待检测的目标数据对应的编码检测结果，所述目标数据对应的编码检测结果为所述联邦学习客户端基于预先训练的目标模型中的编码器对所述目标数据的编码结果，确定的所述目标数据对应的编码检测结果，所述编码检测结果用于表征所述目标数据在编码层面的异常情况；基于所述预先训练的目标模型中的检测子模型和所述目标数据对应的编码检测结果，确定所述目标数据与每个预设数据分布的匹配概率，并基于所述编码检测结果和所述目标数据与每个预设数据分布的匹配概率，确定所述目标数据对应的异常检测结果；将所述目标数据对应的异常检测结果发送给所述联邦学习客户端。7.根据权利要求6所述的方法，在所述接收联邦学习客户端发送的待检测的目标数据对应的编码检测结果之前，还包括：接收所述联邦学习客户端发送的样本数据对应的编码检测结果，以及针对所述样本数据的第一损失值，所述样本数据对应的编码检测结果为所述联邦学习客户端基于所述目标模型中的编码器对所述样本数据的编码结果确定的结果，所述第一损失值为所述联邦学习客户端基于由所述目标模型中的编码器对所述样本数据的编码结果确定的所述样本数据的重构误差确定；基于所述目标模型中的检测子模型和所述样本数据对应的编码检测结果，确定所述样本数据与每个所述预设数据分布的匹配概率，并基于所述样本数据与每个所述预设数据分布的匹配概率和所述样本数据对应的编码检测结果，确定所述样本数据对应的异常检测结果；基于所述样本数据对应的异常检测结果、所述样本数据对应的编码检测结果，以及针对所述样本数据的第一损失值，确定目标损失值，并基于所述目标损失值确定所述目标模型是否收敛；在确定...

【专利技术属性】
技术研发人员：刘腾飞，吴若凡，张明扬，张天翼，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：