一种计算机网络工程数据筛选方法技术

本发明专利技术提供一种计算机网络工程数据筛选方法，涉及数据筛选领域。该筛选方法，包括设定筛选的阈值(M，N)，设置获取每条数据(J)的时间间隔，对数据(J)进行节点标记，将每条数据(J)中的数值进行对比，判断是否(J

【技术实现步骤摘要】
一种计算机网络工程数据筛选方法


[0001]本专利技术涉及数据筛选
，具体为一种计算机网络工程数据筛选方法。

技术介绍

[0002]数据筛选，是为了分析出海量数据所蕴含的价值，在整个数据处理流程中处于至关重要的地位。在通信网络的评价中，需要从网络中继设备，如路由器、中继器、网关等，获取大量的数据，并采用神经网络进行处理，如专利主题“种用于电力通信网络的测试装置”，申请号“CN202011396064.X”，该专利从网络节点获取数据进行分析。
[0003]但是初始的数据量巨大，若是直接使用，不仅效率低，还会消耗大量的计算资源。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种计算机网络工程数据筛选方法，解决了可以通过预设数值，根据需要减少数据量，同时数值型数据和字符型数据分开存储，加载数值型数据文件计算时，可以不用加载字符型数据文件，可以降低运行内存的使用量的问题。
[0006](二)技术方案
[0007]为实现以上目的，本专利技术通过以下技术方案予以实现：一种计算机网络工程数据筛选方法，包括以下步骤：
[0008]步骤一、设定筛选条件：设定筛选的阈值(M，N)，其中：M代表数据变化的振幅，N代表数据变化的速率；设置获取每条数据(J)的时间间隔，即对获取的数据(J)设置筛选的调节，同时时间间隔越大，相对的整个样本的准确性越低，但是数据(J)的处理量相对越少；
[0009]步骤二、数据加载：从数据源设备中逐条加载，并且逐条为每条数据(J)增加节点，以0、1、2、3
……
n，进行标记，即相对的节点是以时间顺序进行处理的；
[0010]步骤三、数据判断：将每条数据(J)中的数值进行对比，判断是否(J
n
‑1+J
n+1
)/J
n
＜M，若不满足删除该条数据中的数值，则判断三个数据中居中的数据有没有突变，若存在突变则判定该条数据无效，故在M的取值根据(J
n
‑1+J
n+1
)/J
n
可在1～2中选取，也可在其它数值上选择，该M的取值根据实际的中设备的正常运行情况下，符合相邻数据的实际波动，若计算的数值超出M，则该数值不利于数据的整体处理，故舍去；
[0011]步骤四、数据补充：若存在数据(J
n
)中缺少数值，则判断是否(J
n
‑1+J
n+1
)/(J
n
‑1‑
J
n+1
)＜N，若满足，则填入(J
n
‑1+J
n+1
)/2，若不满足，则调用该设备同一周期记录的若干条数据，如天为周期，则调用该时间点每天的数据，取平均数后填入数据(J
n
)，并进入步骤三进行判断，若出现连续缺少，则直接获取同一周期的若干条数据的均值，J
n
‑1和J
n+1
数值相差小，则J
n
取两者的均值，若两者数值相差过大，通过取平均数无法使得填入的数据更准确，则通过调用往期数据，用于提高填入的数据的准确性，根据J
n
‑1+J
n+1
)/(J
n
‑1‑
J
n+1
)＜N，可以设定N的取值范围3～5，也可在其它数值上选择；
[0012]步骤五、数据类型转换：根据后续操作的需求，将整型数据、浮点数据进行统一以
及分配位数，将字符型统一成字符串，利于后期的整理；
[0013]步骤六、数据导出：创建两份文件，分别存储数值型数据和字符型数据，且相互对应，在后续的处理过程中，可以导入数值型数据的文件，可以减小运行内存的使用量，若需要查验数据的说明，则可以加载字符型数据的文件；
[0014]上述步骤一至六中，在含有存储、运行内存、计算单元的主机上完成。
[0015]优选的，所述步骤二中增加的节点具有指针的效果，当前数据(J
n
)处理完毕后，可以通过节点信息，获取下一条数据(J
n+1
)，通过该形式，可不用对数据(J)进行标号，减少存储空间。
[0016]优选的，所述步骤三中，还有对风险分析的能力，即将该数据源设备工作状态信息进行加载，在数值判断的同时，判断该数值是否在数据源设备工作范围内，若超出，则进行报警。
[0017]优选的，所述步骤四中，调用该设备同一周期的数据不少于三条，提高填入数据的准确性。
[0018]优选的，所述步骤五中，数据类型可以统一成int、long、float、double中的一种，字符型统一成“String”类。
[0019]优选的，所述步骤六文件导出后，释放运行内存空间。
[0020](三)有益效果
[0021]本专利技术提供了一种计算机网络工程数据筛选方法。具备以下有益效果：
[0022]1、本专利技术，可以根据需求设定时间间隔，从获取相应的数据量。
[0023]2、本专利技术，可将突变的数据剔除，以及自动填充缺失的数值，并且根据相邻数据的数值大小采用对应的填充手段，可以提高填入的数值的准确性。
[0024]3、本专利技术，将数值型数据和字符型数据分开存储，数据处理时直接调用数值型数据文件，可以降低运行内存的占用量。
附图说明
[0025]图1为本专利技术的流程示意图。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]实施例1：
[0028]如图1所示，本专利技术实施例提供一种计算机网络工程数据筛选方法，包括以下步骤：
[0029]步骤一、设定筛选条件：设定筛选的阈值(M＝1，N＝3)，设置获取每条数据(J)的时间间隔，即对获取的数据(J)设置筛选的调节，同时时间间隔越大，相对的整个样本的准确性越低，但是数据(J)的处理量相对越少，若数据源设备的记录的时间频率为每分钟记录一次，若时间间隔设定为两分钟，则获取数据(J)的时间点为第一分钟，第三分钟，第五分
钟
……
，若时间间隔设定为四分钟，则获取数据(J)的时间点为第一分钟，第四分钟，第八分钟
……
；
[0030]步骤二、数据加载：从数据源设备中逐条加载，并且逐条为每条数据(J)增加节点，以0、1、2、3
……
n，进行标记，即相对的节点是以时间顺序进行处理的，增加的节点具有指针的效果，当前数据(J
n
)处理完毕后，可以通过节点信息，获取下一条数据(J
n+1
)，通过该形式，可不用对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机网络工程数据筛选方法，其特征在于，包括以下步骤：步骤一、设定筛选条件：设定筛选的阈值(M，N)，设置获取每条数据(J)的时间间隔；步骤二、数据加载：从数据源设备中逐条加载，并且逐条为每条数据(J)增加节点，以0、1、2、3
……
n，进行标记；步骤三、数据判断：将每条数据(J)中的数值进行对比，判断是否(J
n
‑1+J
n+1
)/J
n
＜M，若不满足删除该条数据中的数值；步骤四、数据补充：若存在数据(J
n
)中缺少数值，则判断是否(J
n
‑1+J
n+1
)/(J
n
‑1‑
J
n+1
)＜N，若满足，则填入(J
n
‑1+J
n+1
)/2，若不满足，则调用该设备同一周期记录的若干条数据，如天为周期，则调用该时间点每天的数据，取平均数后填入数据(J
n
)，并进入步骤三进行判断，若出现连续缺少，则直接获取同一周期的若干条数据的均值；步骤五、数据类型转换：根据...

【专利技术属性】
技术研发人员：乔阳，江辉明，闫伟才，孙健，刘华宾，潘涛，宋涛，
申请(专利权)人：中通服咨询设计研究院有限公司，
类型：发明
国别省市：