一种通信设备数据清洗方法、系统及存储介质技术方案

本发明专利技术公开了一种通信设备数据清洗方法、系统及存储介质，本发明专利技术基于时间分段和设备类型的双层数据特征模型，对数据进行双层匹配过滤，相较于传统的一次性清洗，准确性和可靠性较高。较高。较高。

【技术实现步骤摘要】
一种通信设备数据清洗方法、系统及存储介质


[0001]本专利技术涉及一种通信设备数据清洗方法、系统及存储介质，属于机器学习


技术介绍

[0002]随着互联网技术的发展和网络应用的普及，通信网IP(Internet Protocol)化已经成为发展方向。在5G通信时代，5G核心网的关键技术SDN(Software Defined Network，软件定义网络)、NFV(Network Functions Virtualization，网络功能虚拟化)及MEC(Mobile Edge Computing，多接入边缘计算)均基于IP化技术而实现。基于5G技术，可支持各类新型业务蓬勃发展，运营商针对公共网络和专线业务网络，需要管理监控多厂家设备和不同型号设备，以保证网络服务的稳定性和用户对应用体验日趋增强的要求。同时，对于基于5G或其它IP化通信网络技术组建的企业网，用户也需要实时监控网络设备的运行，以保证企业网络的稳定和高效运行。
[0003]在通信网络中，要保证实时监控网络设备，对通信设备各种数据信息采集是基础，其中必须保证采集的数据准确和可靠性，如果基于错误的采集数据，网络的稳定和高效运行就无法保证，因此数据在运用之前需要对数据进行清洗，但是目前数据清洗算法主要基于数据特征模型进行一次性清洗，清洗准确性和可靠性较差。

技术实现思路

[0004]本专利技术提供了一种通信设备数据清洗方法、系统、存储介质及计算设备，解决了
技术介绍
中披露的问题。
[0005]为了解决上述技术问题，本专利技术所采用的技术方案是：
[0006]一种通信设备数据清洗方法，包括：
[0007]获取预先训练且与通信设备类型匹配的标准数据特征模型；其中，标准数据特征模型包括通信设备的标准总数据的特征和标准总数据中分时段数据的特征；
[0008]根据采集的通信设备数据，计算采集总数据的特征和采集总数据中分时段数据的特征；其中，采集总数据为所有采集的通信设备数据；
[0009]若采集总数据的特征与标准总数据的特征不匹配，则丢弃采集的通信设备数据；
[0010]若采集总数据的特征与标准总数据的特征匹配、且采集总数据中分时段数据的特征与对应的标准总数据中分时段数据的特征不匹配，则丢弃不匹配分时段的采集的通信设备数据。
[0011]标准数据特征模型为：
[0012]P
dt
＝(P
dt0
,P
dt1
,...,P
dtn
)
[0013]其中，P
dt
与dt类型通信设备匹配的标准数据特征模型，P
dt0
为dt类型通信设备的标准总数据特征，P
dti
为dt类型通信设备第i个时段数据的特征，1≤i≤n，n为一天内设定的时段总数。
[0014]训练标准数据特征模型包括：
[0015]获取各种类型通信设备的标准数据；
[0016]采用标准数据，计算各种类型通信设备的标准总数据的特征和标准总数据中分时段数据的特征，构建各种类型通信设备的标准数据特征模型。
[0017]还包括，若采集总数据的特征与标准总数据的特征匹配、且采集总数据中所有分时段数据的特征与对应的标准总数据中分时段数据的特征匹配，采用采集总数据的特征和采集总数据中分时段数据的特征，对相应的标准数据特征模型进行更新。
[0018]标准总数据的特征、标准总数据中分时段数据的特征、采集总数据的特征和采集总数据中分时段数据的特征均包括数据均值、数据极差、数据标准差。
[0019]一种通信设备数据清洗系统，包括：
[0020]标准模型获取模块，获取预先训练且与通信设备类型匹配的标准数据特征模型；其中，标准数据特征模型包括通信设备的标准总数据的特征和标准总数据中分时段数据的特征；
[0021]实时计算模块，根据采集的通信设备数据，计算采集总数据的特征和采集总数据中分时段数据的特征；其中，采集总数据为所有采集的通信设备数据；
[0022]第一匹配模块，若采集总数据的特征与标准总数据的特征不匹配，则丢弃采集的通信设备数据；
[0023]第二匹配模块，若采集总数据的特征与标准总数据的特征匹配、且采集总数据中分时段数据的特征与对应的标准总数据中分时段数据的特征不匹配，则丢弃不匹配分时段的采集的通信设备数据。
[0024]标准模型获取模块中，标准数据特征模型为：
[0025]P
dt
＝(P
dt0
,P
dt1
,...,P
dtn
)
[0026]其中，P
dt
与dt类型通信设备匹配的标准数据特征模型，P
dt0
为dt类型通信设备的标准总数据特征，P
dti
为dt类型通信设备第i个时段数据的特征，1≤i≤n，n为一天内设定的时段总数。
[0027]还包括训练模块，训练模块训练标准数据特征模型的过程包括：
[0028]获取各种类型通信设备的标准数据；
[0029]采用标准数据，计算各种类型通信设备的标准总数据的特征和标准总数据中分时段数据的特征，构建各种类型通信设备的标准数据特征模型。
[0030]还包括更新模块；更新模块，若采集总数据的特征与标准总数据的特征匹配、且采集总数据中所有分时段数据的特征与对应的标准总数据中分时段数据的特征匹配，采用采集总数据的特征和采集总数据中分时段数据的特征，对相应的标准数据特征模型进行更新。
[0031]一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行通信设备数据清洗方法。
[0032]本专利技术所达到的有益效果：本专利技术基于时间分段和设备类型的双层数据特征模型，对数据进行双层匹配过滤，相较于传统的一次性清洗，准确性和可靠性较高。
附图说明
[0033]图1为本专利技术清洗方法的流程图；
[0034]图2为本专利技术匹配方法的流程图。
具体实施方式
[0035]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0036]如图1所示，一种通信设备数据清洗方法，包括以下步骤：
[0037]步骤1，获取预先训练且与通信设备类型匹配的标准数据特征模型；其中，标准数据特征模型包括通信设备的标准总数据的特征和标准总数据中分时段数据的特征。
[0038]步骤2，根据采集的通信设备数据，计算采集总数据的特征和采集总数据中分时段数据的特征；其中，采集总数据为所有采集的通信设备数据。
[0039]步骤3，若采集总数据的特征与标准总数据的特征不匹配，则丢弃采集的通信设备数据；
[0040]若采集总数据的特征与标准总数据的特征匹配、且采集总数据中分时段数据的特征与对应的标准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通信设备数据清洗方法，其特征在于，包括：获取预先训练且与通信设备类型匹配的标准数据特征模型；其中，标准数据特征模型包括通信设备的标准总数据的特征和标准总数据中分时段数据的特征；根据采集的通信设备数据，计算采集总数据的特征和采集总数据中分时段数据的特征；其中，采集总数据为所有采集的通信设备数据；若采集总数据的特征与标准总数据的特征不匹配，则丢弃采集的通信设备数据；若采集总数据的特征与标准总数据的特征匹配、且采集总数据中分时段数据的特征与对应的标准总数据中分时段数据的特征不匹配，则丢弃不匹配分时段的采集的通信设备数据。2.根据权利要求1所述的通信设备数据清洗方法，其特征在于，标准数据特征模型为：P
dt
＝(P
dt0
,P
dt1
,...,P
dtn
)其中，P
dt
与dt类型通信设备匹配的标准数据特征模型，P
dt0
为dt类型通信设备的标准总数据特征，P
dti
为dt类型通信设备第i个时段数据的特征，1≤i≤n，n为一天内设定的时段总数。3.根据权利要求1所述的通信设备数据清洗方法，其特征在于，训练标准数据特征模型包括：获取各种类型通信设备的标准数据；采用标准数据，计算各种类型通信设备的标准总数据的特征和标准总数据中分时段数据的特征，构建各种类型通信设备的标准数据特征模型。4.根据权利要求1所述的通信设备数据清洗方法，其特征在于，还包括，若采集总数据的特征与标准总数据的特征匹配、且采集总数据中所有分时段数据的特征与对应的标准总数据中分时段数据的特征匹配，采用采集总数据的特征和采集总数据中分时段数据的特征，对相应的标准数据特征模型进行更新。5.根据权利要求1所述的通信设备数据清洗方法，其特征在于，标准总数据的特征、标准总数据中分时段数据的特征、采集总数据的特征和采集总数据中分时段数据的特征均包括数据均值、数据极差、数据标准差。6.一种通信设备数据清洗系统，其特征在于，包括：标准模型获取模块，获取预...

【专利技术属性】
技术研发人员：龚亮亮，巢玉坚，郝悍勇，李洋，陆涛，赵高峰，朱雪阳，胡阳，张影，毕善钰，卞宝银，杨爽，张俊尧，刘峰，张明，罗先南，朱骥，蒯本链，宋凯，陈犇前，申圳，丁雍，童三宝，戚伟强，王以良，杨帆，陈婧楠，赵振民，陈亚文，
申请(专利权)人：南京南瑞信息通信科技有限公司国网浙江省电力有限公司信息通信分公司北京邮电大学，
类型：发明
国别省市：