基于DPU的数据处理方法及装置制造方法及图纸

本申请实施例提供一种基于DPU的数据处理方法及装置，方法包括：提供一DPU接口与客户端建立通信连接，接收所述客户端发送的目标数据并对所述目标数据进行特征分类，确定所述目标数据的类型数和整体缺失率；根据所述目标数据的类型数和整体缺失率对所述目标数据中各类型的目标数据进行异常分析，确定相应的特征分布、空值状况以及相关关系；根据设定联邦学习算法建立初始联邦算法模型；根据所述目标联邦算法模型、所述特征分布、空值状况以及相关关系对所述客户端发送的目标数据进行异常检测，得到数据异常检测结果；本申请能够有效对数据进行异常分析和处理，提高DPU执行效率。提高DPU执行效率。提高DPU执行效率。

【技术实现步骤摘要】
基于DPU的数据处理方法及装置


[0001]本申请涉及DPU数据处理领域，具体涉及一种基于DPU的数据处理方法及装置。

技术介绍

[0002]分配处理单元(DistributionPointUnit，简称为DPU)设备指放在分支点 (DistributionPoint，简称为DP)节点的设备。网络侧是无源光网络(PassiveOptical Network,简称为xPON)/以太网上联口，用户侧是VDSL2/G.FAST数字用户线(Digital SubscriberLine，简称为DSL)接口。
[0003]专利技术人发现，现有技术中，在客户端与DPU进行数据交互时，由于缺少相关的数据处理措施，从而导致DPU执行效率的下降。

技术实现思路

[0004]针对现有技术中的问题，本申请提供一种基于DPU的数据处理方法及装置，能够有效对数据进行异常分析和处理，提高DPU执行效率。
[0005]为了解决上述问题中的至少一个，本申请提供以下技术方案：第一方面，本申请提供一种基于DPU的数据处理方法，包括：提供一DPU接口与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DPU的数据处理方法，其特征在于，所述方法包括：提供一DPU接口与客户端建立通信连接，接收所述客户端发送的目标数据并对所述目标数据进行特征分类，确定所述目标数据的类型数和整体缺失率；根据所述目标数据的类型数和整体缺失率对所述目标数据中各类型的目标数据进行异常分析，确定相应的特征分布、空值状况以及相关关系；根据设定联邦学习算法建立初始联邦算法模型，并在所述初始联邦算法模型的收敛训练过程中通过设定同态加密规则获取对应的训练梯度特征和训练损失特征，得到经过收敛训练后的目标联邦算法模型；根据所述目标联邦算法模型、所述特征分布、空值状况以及相关关系对所述客户端发送的目标数据进行异常检测，得到数据异常检测结果。2.根据权利要求1所述的基于DPU的数据处理方法，其特征在于，在所述根据设定联邦学习算法建立初始联邦算法模型之后，还包括：根据设定非对称加密规则将所述目标数据的所述特征分布、空值状况以及相关关系进行数据对齐操作，得到用于进行联邦算法模型训练的训练数据。3.根据权利要求1所述的基于DPU的数据处理方法，其特征在于，所述根据所述目标数据的类型数和整体缺失率对所述目标数据中各类型的目标数据进行异常分析，确定相应的特征分布、空值状况以及相关关系，还包括：对所述目标数据中的连续型单变量特征、离散型特征以及日期型特征进行变量遍历输出，确定特征分布和空值情况；根据所述目标数据中的连续型多变量特征的两两相关系数，确定相关关系。4.一种基于DPU的数据处理装置，其特征在于，包括：DPU通信模块，用于提供一DPU接口与客户端建立通信连接，接收所述客户端发送的目标数据并对所述目标数据进行特征分类，...

【专利技术属性】
技术研发人员：莫志城，
申请(专利权)人：深圳云豹智能有限公司，
类型：发明
国别省市：