一种网络健康状态数据采集标注的方法和装置制造方法及图纸

本发明专利技术涉及通信技术领域，提供了一种网络健康状态数据采集标注的方法和装置。其中所述方法包括：采集网络性能数据和告警信息，根据所述告警信息对所述网络性能数据进行一次清洗，去除网络故障状态时的网络性能数据，形成第一数据集；选取第一数据集中的一个或多个数据项作为一个或多个特征信息，根据所述特征信息为第一数据集中的每一条网络性能数据标注网络健康状态；根据网络健康状态对所述第一数据集进行二次清洗，去除存在网络偶发事件时的网络性能数据，形成用于机器学习的第二数据集。本发明专利技术通过一次清洗和二次清洗去除网络故障或网络偶发事件时的网络性能数据，提高机器学习的效果。学习的效果。学习的效果。

【技术实现步骤摘要】
一种网络健康状态数据采集标注的方法和装置


[0001]本专利技术涉及通信
，特别是涉及一种网络健康状态数据采集标注的方法和装置。

技术介绍

[0002]随着人工智能技术的发展，各行各业都开始利用机器学习解决自身领域的问题，提升效率降低成本。而在网络领域中，随着网络规模的日益扩大，5G网络的飞速发展，传统的人工运维方式已不能满足快速定位问题解决故障隐患的需要了，引入人工智能技术的辅助来提升运维效率已经是行业内的共识。在以数据为基础的机器学习技术中，数据的质量直接决定的机器学习的效果，因此对于数据的处理经常成为机器学习过程中最重要的一环。同时基于监督学习的机器学习需要将大量的真实样本进行标注，以便将其数据应用于机器学习和训练，目前大部分的数据标注都是采用“手工”的方式进行。
[0003]在与网络性能及网络健康度相关AI机器学习方面，例如网络性能预测、网络劣化趋势分析、网络性能劣化故障点溯源等在进行监督学习时均需要对所采集的数据进行标注，但是通过人工标注存在多种问题，包括：在进行标注时，对网络健康状态没有统一的标准，大部分标注过程均根据运维经验、各种性能、告警等对网络健康状态进行定义和划分，选取的标注依据多种多样，根据标注人员的经验不同，会对机器学习的效果产生不同的影响。且样本通常是从网管系统中采集的得的，根据网络状态的不同，可能存在影响机器学习的效果的“脏数据”，如网络故障或网络偶发事件时的数据，若直接将这些数据带入到机器学习中，可能影响机器学习的效果。
[0004]鉴于此，克服该现有技术所存在的缺陷是本
亟待解决的问题。

技术实现思路

[0005]本专利技术要解决的问题是采集的样本中存在的网络故障或网络偶发事件时的脏数据影响机器学习的效果。
[0006]本专利技术采用如下技术方案：
[0007]第一方面，本专利技术提供了一种网络健康状态数据采集标注的方法，包括：
[0008]采集网络性能数据和告警信息，根据所述告警信息对所述网络性能数据进行一次清洗，去除网络故障状态时的网络性能数据，形成第一数据集；
[0009]选取第一数据集中的一个或多个数据项作为一个或多个特征信息，根据所述特征信息为第一数据集中的每一条网络性能数据标注网络健康状态；
[0010]根据网络健康状态对所述第一数据集进行二次清洗，去除存在网络偶发事件时的网络性能数据，形成用于机器学习的第二数据集。
[0011]优选的，所述采集网络性能数据和告警信息，具体包括：
[0012]根据机器学习所需评估的网络性能指标，每间隔预设周期，在所述网络性能指标所在的第一网络层中，采集与所述网络性能指标相关的一个或多个第一数据项，在与所述
第一网络层相关的一个或多个第二网络层中，采集与所述网络性能指标相关的一个或多个第二数据项，并在第一网络层和第二网络层中采集与所述网络性能指标相关的告警信息；
[0013]将每个预设周期内采集到的所有第一数据项和所有第二数据项合并，作为该预设周期内对应的网络性能数据。
[0014]优选的，所述根据所述告警信息对所述网络性能数据进行一次清洗，具体包括：
[0015]根据所述告警信息判断所对应的预设周期内是否存在告警，若存在告警，则去除该预设周期所对应的网络性能数据。
[0016]优选的，所述根据所述特征信息为第一数据集中的每一条网络性能数据标注网络健康状态，具体包括：
[0017]为每一个特征信息预设一个范围区间，以及特征信息的值处于范围区间不同位置时所对应的特征健康状态，根据网络性能数据所对应的一个或多个特征健康状态得出网络性能数据的网络健康状态。
[0018]优选的，当所选取的多个特征信息之间不存在层级关系时，所述根据网络性能数据所对应的一个或多个特征健康状态得出网络性能数据的网络健康状态，具体包括：
[0019]对每一个特征信息设定不同的占比，计算网络性能数据所对应的多个特征健康状态中每一个特征健康状态的总占比，以总占比最高的特征健康状态作为网络性能数据所对应的网络健康状态。
[0020]优选的，当所选取的多个特征信息之间存在层级关系时，所述根据网络性能数据所对应的一个或多个特征健康状态得出网络性能数据的网络健康状态，具体包括：
[0021]根据每一个特征信息所对应的特征健康状态确定对应的网络健康状态的范围，从多个特征信息所对应的多个网络健康状态的范围中，选取所共有的一个网络健康状态作为网络性能数据所对应的网络健康状态。
[0022]优选的，所述根据网络健康状态对所述第一数据集进行二次清洗，具体包括：
[0023]找到第一数据集中与上一条网络性能数据的网络健康状态不同的第一网络性能数据；
[0024]以第一数据集中的每一条第一网络性能数据作为目标数据，若在目标数据后第一预设数量的网络性能数据中存在第一网络数据，则将所述目标数据从第一数据集中去除。
[0025]优选的，在所述以第一数据集中的每一条第一网络性能数据作为目标数据前，所述方法还包括：
[0026]以预设数据条数为区间大小，将第一数据集划分为一个或多个区间，若在区间内第一网络性能数据的数量超出第二预设数量，则将所在区间内的所有网络性能数据从第一数据集中去除。
[0027]优选的，所述网络健康状态包括：健康、亚健康和劣化。
[0028]第二方面，本专利技术还提供了一种用于实现第一方面所述的网络健康状态数据采集标注的装置，所述装置包括：
[0029]至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，用于执行第一方面所述的网络健康状态数据采集标注的方法。
[0030]第三方面，本专利技术还提供了一种非易失性计算机存储介质，所述计算机存储介质
存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的网络健康状态数据采集标注的方法。
[0031]本专利技术通过一次清洗和二次清洗去除网络故障或网络偶发事件时的网络性能数据，提高机器学习的效果。并且，在本专利技术的优选实施例中，还通过制定标注和清洗的标准流程，保障了机器学习所需数据的质量，从而保障机器学习的效果。
附图说明
[0032]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1是本专利技术实施例提供的一种网络健康状态数据采集标注的方法的流程图；
[0034]图2是本专利技术实施例提供的一种网络健康状态数据采集标注的方法的流程图；
[0035]图3是本专利技术实施例提供的一种网络健康状态数据采集标注的方法的流程图；
[0036]图4是本专利技术实施例提供的一种网络健康状态数据采集标注的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络健康状态数据采集标注的方法，其特征在于，包括：采集网络性能数据和告警信息，根据所述告警信息对所述网络性能数据进行一次清洗，去除网络故障状态时的网络性能数据，形成第一数据集；选取第一数据集中的一个或多个数据项作为一个或多个特征信息，根据所述特征信息为第一数据集中的每一条网络性能数据标注网络健康状态；根据网络健康状态对所述第一数据集进行二次清洗，去除存在网络偶发事件时的网络性能数据，形成用于机器学习的第二数据集。2.根据权利要求1所述的网络健康状态数据采集标注的方法，其特征在于，所述采集网络性能数据和告警信息，具体包括：根据机器学习所需评估的网络性能指标，每间隔预设周期，在所述网络性能指标所在的第一网络层中，采集与所述网络性能指标相关的一个或多个第一数据项，在与所述第一网络层相关的一个或多个第二网络层中，采集与所述网络性能指标相关的一个或多个第二数据项，并在第一网络层和第二网络层中采集与所述网络性能指标相关的告警信息；将每个预设周期内采集到的所有第一数据项和所有第二数据项合并，作为该预设周期内对应的网络性能数据。3.根据权利要求2所述的网络健康状态数据采集标注的方法，其特征在于，所述根据所述告警信息对所述网络性能数据进行一次清洗，具体包括：根据所述告警信息判断所对应的预设周期内是否存在告警，若存在告警，则去除该预设周期所对应的网络性能数据。4.根据权利要求1所述的网络健康状态数据采集标注的方法，其特征在于，所述根据所述特征信息为第一数据集中的每一条网络性能数据标注网络健康状态，具体包括：为每一个特征信息预设一个范围区间，以及特征信息的值处于范围区间不同位置时所对应的特征健康状态，根据网络性能数据所对应的一个或多个特征健康状态得出网络性能数据的网络健康状态。5.根据权利要求4所述的网络健康状态数据采集标注的方法，其特征在于，当所选取的多个特征信息之间不存在层级关系时，所述根据网络性能数据所对应的一个或多个特征健康状态得出网络性能数据的网络健康状态，具体...

【专利技术属性】
技术研发人员：张鹏，
申请(专利权)人：烽火通信科技股份有限公司，
类型：发明
国别省市：