网络数据预处理方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，公开了一种网络数据预处理方法，包括以下步骤：使用第一样本数据训练第一支持向量机模型，得到第二支持向量机模型；通过所述第二支持向量机模型对第二样本数据进行分类，得到第一初始异常网络数据和第一初始正常网络数据；判断分类正确率是否小于预设阈值；若是，则采用反向传播算法调整所述第二支持向量机模型中各个初始支持向量机模型的当前权重，直至所述分类正确率大于或等于所述预设阈值；通过预置多层第三支持向量机模型对所述初始异常网络数据进行分类，得到干扰数据与非干扰数据。本发明专利技术还公开了一种网络数据预处理装置、设备及计算机可读存储介质。本发明专利技术可从网络数据中有效分类出干扰数据。

【技术实现步骤摘要】
网络数据预处理方法、装置、设备及可读存储介质
本专利技术涉及人工智能
，尤其涉及一种网络数据预处理方法、装置、设备及计算机可读存储介质。
技术介绍
目前，随着网络数据数量的增多，网络故障的数量以及网络故障率也有明显增幅，因此对网络数据网络故障诊断的正确性提出了更高的要求。由于网络数据中一般都不可避免地夹带干扰数据，干扰数据的存在会导致网络故障诊断结果的正确率偏低，尤其是对于一些对网络故障诊断的准确率要求较高的高精尖企业来说，干扰数据对其的不利影响更为显著，现有技术中一般在发生网络故障警报时，获取网络数据日志，并对网络数据日志诊断，得到初步诊断结果，再由人工网络故障诊断专家结合实际场景中的各种干扰因素给出最终诊断结果，这样的诊断方式往往会因为人的主观因素而造成对网络故障诊断的误判。从网络数据中有效分类出干扰数据，是提高网络故障诊断结果正确率的重要因素。因此，对待诊断网络数据进行预处理，从待诊断网络数据中有效分类出干扰数据与非干扰数据，以避免干扰数据对网络诊断结果造成干扰，是目前亟待解决的技术问题。
技术实现思路
本专利技术的主要目的在于提供一种网络数据预处理方法、装置、设备及计算机可读存储介质，旨在解决现有技术中干扰数据对网络诊断结果造成干扰的技术问题。为实现上述目的，本专利技术提供一种网络数据预处理方法，所述网络数据预处理方法包括以下步骤：将至少三个初始支持向量机模型以串联或/和并联的方式部署在分布式计算框架内，得到第一支持向量机模型；使用第一样本数据训练所述第一支持向量机模型，得到第二支持向量机模型；通过所述第二支持向量机模型对第二样本数据进行分类，得到第一初始异常网络数据和第一初始正常网络数据；根据预置异常网络数据,计算所述第二支持向量机模型分类出的所述初始异常网络数据的第一分类正确率；判断所述第一分类正确率是否小于第一预设阈值；若所述第一分类正确率小于第一预设阈值，则采用反向传播算法调整所述第二支持向量机模型中各个初始支持向量机模型的当前权重，直至所述第一分类正确率大于或等于所述第一预设阈值,若否，则不处理；通过预置多层第三支持向量机模型对所述初始异常网络数据进行分类，得到第一非干扰类异常网络数据和第一干扰类异常网络数据，其中，所述多层第三支持向量机模型中各层的模型数为2K-1，K为所述预置多层第三支持向量机模型的第K层；判断所述第一干扰类异常网络数据的所属干扰类型是否为数据耦合类型；若所述第一干扰类异常网络数据的所属类型为数据耦合类型，则对所述第一干扰类异常网络数据进行解耦处理，得到解耦数据，并通过所述预置多层第三支持向量机模型对所述解耦数据进行分类，得到第二非干扰类异常网络数据和第二干扰类异常网络数据,若否，则不处理。可选地，所述通过所述第二支持向量机模型对第二样本数据进行分类，得到第一初始异常网络数据和第一初始正常网络数据具体包括以下步骤：根据预设规则调整所述第二支持向量机模型的系数，得到系数调整后的第二支持向量机模型；通过所述系数调整后的第二支持向量机模型对第二样本数据进行分类，得到第一初始异常网络数据和第一初始正常网络数据。可选地，所述通过所述第二支持向量机模型对第二样本数据进行分类，得到第二初始异常网络数据和第二初始正常网络数据具体包括以下步骤：根据预置异常网络数据，计算所述第二支持向量机模型分类出的所述第二初始异常网络数据的第二分类正确率，并判断所述第二正确率是否大于第二预置阈值；若所述第二支持向量机模型分类出的所述初始异常网络数据的第二分类正确率大于第二预设阈值，则调整所述第二支持向量机模型的松弛因子；若所述第二支持向量机模型分类出的所述初始异常网络数据的第二分类正确率小于或等于第二预设阈值，则根据预置正常网络数据，计算所述第二支持向量机模型分类出的所述第二初始正常网络数据的第三分类正确率；判断所述第二支持向量机模型分类出的所述第二初始正常网络数据的第三分类正确率是否小于第三预设阈值；若所述第二支持向量机模型分类出的所述第二初始正常网络数据的第三分类正确率小于第三预设阈值，则调整所述第二支持向量机模型惩罚项系数的大小，直至所述第二支持向量机模型分类出的所述正常网络数据的分类正确率大于或等于第三预设阈值，得到系数调整后的第二支持向量机模型，若否，则得到系数调整后的第二支持向量机模型。可选地，在所述通过预置多层第三支持向量机模型对所述初始异常网络数据进行分类，得到第一非干扰类异常网络数据和第一干扰类异常网络数据的步骤之前，还包括以下步骤：利用第三训练样本对多层第三支持向量机模型中各层初始第三支持向量机模型依次进行初始训练，得到初始第一非干扰类异常网络数据和初始第一干扰类异常网络数据，其中，在所述多层第三支持向量机模型中，上一层初始多层第三支持向量机模型输出的上一初始分类结果为下一层初始多层第三支持向量机模型的输入；根据预置初始第一干扰类异常网络数据，计算所述初始第一干扰类异常网络数据的第四分类正确率；判断所述第四分类正确率是否大于第四预设阈值；若所述第四分类正确率大于所述第四预设阈值，则得到训练完成的多层第三支持向量机模型，若否，则利用所述第三训练样本继续训练所述多层第三支持向量机模型中的下一层初始多层第三支持向量机模型，直至所述第四分类正确率大于第四预设阈值。进一步地，为实现上述目的，本专利技术还提供一种网络数据预处理装置，所述网络数据预处理装置包括：部署模块，用于将至少三个初始支持向量机模型以串联或/和并联的方式部署在分布式计算框架内，得到第一支持向量机模型；第一训练模块，用于使用第一样本数据训练所述第一支持向量机模型，得到第二支持向量机模型；第一分类模块，用于通过所述第二支持向量机模型对第二样本数据进行分类，得到第一初始异常网络数据和第一初始正常网络数据；第一计算模块，用于根据预置异常网络数据,计算所述第二支持向量机模型分类出的所述初始异常网络数据的第一分类正确率；第一判断模块，用于判断所述第一分类正确率是否小于第一预设阈值；第一调整模块，用于若所述第一分类正确率小于第一预设阈值，则采用反向传播算法调整第二支持向量机模型中各个初始支持向量机模型的当前权重，直至所述第一分类正确率大于或等于所述第一预设阈值；第二分类模块，用于通过预置多层第三支持向量机模型对所述初始异常网络数据进行分类，得到第一非干扰类异常网络数据和第一干扰类异常网络数据，其中，所述多层第三支持向量机模型中各层的模型数为2K-1，K为所述预置多层第三支持向量机模型的第K层；第二判断模块，判断所述第一干扰类异常网络数据的所属干扰类型是否为数据耦合类型；第三分类模块，用于若所述第一干扰类异常网络数据的所属干扰类型为数据耦合类型，则对所述第一干扰类异常网络数据进行解耦处理，得到解耦数据，并通过所述预置多层第三支持向量机模型对所述解耦数据进行分类，得到第二非干扰类异常网络数据和第二干扰类异常网络数据。可选地，所述网络数据预处理装置，还包括：第一确定模块，用于基于初始支持向量机模型的初始参数，确定所述初始支持向量机模型的训练次序，所述初始参数包括惩罚项系数；第二确定模块，用于计算所述第一训练样本中的异常网络数据数量和非异常网络数据数量的比值，基于所述比值确定所述初始支持向量机模型的初始权重。可选地，所述第一分类模块包括：第一本文档来自技高网...

【技术保护点】
1.一种网络数据预处理方法，其特征在于，所述网络数据预处理方法包括以下步骤：将至少三个初始支持向量机模型以串联或/和并联的方式部署在分布式计算框架内，得到第一支持向量机模型；使用第一样本数据训练所述第一支持向量机模型，得到第二支持向量机模型；通过所述第二支持向量机模型对第二样本数据进行分类，得到第一初始异常网络数据和第一初始正常网络数据；根据预置异常网络数据,计算所述第二支持向量机模型分类出的所述初始异常网络数据的第一分类正确率；判断所述第一分类正确率是否小于第一预设阈值；若是，则采用反向传播算法调整所述第二支持向量机模型中各个初始支持向量机模型的当前权重，直至所述第一分类正确率大于或等于所述第一预设阈值；通过预置多层第三支持向量机模型对所述初始异常网络数据进行分类，得到第一非干扰类异常网络数据和第一干扰类异常网络数据，其中，所述多层第三支持向量机模型中各层的模型数为2

【技术特征摘要】
1.一种网络数据预处理方法，其特征在于，所述网络数据预处理方法包括以下步骤：将至少三个初始支持向量机模型以串联或/和并联的方式部署在分布式计算框架内，得到第一支持向量机模型；使用第一样本数据训练所述第一支持向量机模型，得到第二支持向量机模型；通过所述第二支持向量机模型对第二样本数据进行分类，得到第一初始异常网络数据和第一初始正常网络数据；根据预置异常网络数据,计算所述第二支持向量机模型分类出的所述初始异常网络数据的第一分类正确率；判断所述第一分类正确率是否小于第一预设阈值；若是，则采用反向传播算法调整所述第二支持向量机模型中各个初始支持向量机模型的当前权重，直至所述第一分类正确率大于或等于所述第一预设阈值；通过预置多层第三支持向量机模型对所述初始异常网络数据进行分类，得到第一非干扰类异常网络数据和第一干扰类异常网络数据，其中，所述多层第三支持向量机模型中各层的模型数为2K-1，K为所述预置多层第三支持向量机模型的第K层；判断所述第一干扰类异常网络数据的所属类型是否为数据耦合类型；若所述第一干扰类异常网络数据的所属类型为数据耦合类型，则对所述第一干扰类异常网络数据进行解耦处理，得到解耦数据，并通过所述预置多层第三支持向量机模型对所述解耦数据进行分类，得到第二非干扰类异常网络数据和第二干扰类异常网络数据。2.如权利要求1所述的网络数据预处理方法，其特征在于，在所述将至少三个初始支持向量机模型以串联或/和并联的方式部署在分布式计算框架内，得到第一支持向量机模型的步骤之后，还包括：基于初始支持向量机模型的初始参数，确定所述初始支持向量机模型的训练次序，所述初始参数包括惩罚项系数；计算所述第一训练样本中的异常网络数据数量和非异常网络数据数量的比值，基于所述比值确定所述初始支持向量机模型的初始权重。3.如权利要求1所述的网络数据预处理方法，其特征在于，所述通过所述第二支持向量机模型对第二样本数据进行分类，得到第一初始异常网络数据和第一初始正常网络数据的步骤包括：根据预设规则调整所述第二支持向量机模型的系数，得到系数调整后的第二支持向量机模型；通过所述系数调整后的第二支持向量机模型对第二样本数据进行分类，得到第一初始异常网络数据和第一初始正常网络数据。4.如权利要求3所述的网络数据预处理方法，其特征在于，所述根据预设规则调整所述第二支持向量机模型的系数，得到系数调整后的第二支持向量机模型的步骤包括：通过所述第二支持向量机模型对第二样本数据进行分类，得到第二初始异常网络数据和第二初始正常网络数据；根据预置异常网络数据，计算所述第二支持向量机模型分类出的所述第二初始异常网络数据的第二分类正确率，并判断所述第二正确率是否大于第二预置阈值；若所述第二支持向量机模型分类出的所述初始异常网络数据的第二分类正确率大于第二预设阈值，则调整所述第二支持向量机模型的松弛因子；若所述第二支持向量机模型分类出的所述初始异常网络数据的第二分类正确率小于或等于第二预设阈值，则根据预置正常网络数据，计算所述第二支持向量机模型分类出的所述第二初始正常网络数据的第三分类正确率；判断所述第二支持向量机模型分类出的所述第二初始正常网络数据的第三分类正确率是否小于第三预设阈值；若是，则调整所述第二支持向量机模型惩罚项系数的大小，直至所述第二支持向量机模型分类出的所述正常网络数据的分类正确率大于或等于第三预设阈值，得到系数调整后的第二支持向量机模型。5.如权利要求1所述的网络数据预处理方法，其特征在于，在所述通过预置多层第三支持向量机模型对所述初始异常网络数据进行分类，得到第一非干扰类异常网络数据和第一干扰类异常网络数据的步骤之前，还包括以下步骤：利用第三训练样本对多层第三支持向量机模型中各层初始第三支持向量机模型依次进行初始训练，得到初始第一非干扰类异常网络数据和初始第一干扰类异常网络数据，其中，在所述...

【专利技术属性】
技术研发人员：林明锋，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44