一种网络异常数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种网络异常数据处理方法及装置，涉及网络数据处理领域，包括以下步骤：数据采集，通过数据采集模块利用无线传感器网络环境具备的层次分明特性以及每一层明确定义的接口，并结合异常数据的判定规则对网络中存在的异常数据进行采集；数据加密，通过数据加密模块对得到的网络异常数据进行加密处理；数据描述，通过数据描述模块对异常数据的稀疏特征用函数的形式表示；该网络异常数据处理方法及装置，能够对重构数据中存在的缺失值进行计算，并判断最终处理后重构数据的完整性，对异常数据的处理后还会起到提高网络对抗异常数据的鲁棒性，能够降低网络运行功耗，保证网络运行的稳定性和安全性。络运行的稳定性和安全性。络运行的稳定性和安全性。

【技术实现步骤摘要】
一种网络异常数据处理方法及装置


[0001]本专利技术涉及网络数据处理
，具体涉及一种网络异常数据处理方法及装置。

技术介绍

[0002]在网络环境中使用的传感器数量逐渐增多，由于传感器的功能各不相同，使得网络环境中的数据存储量和传输量呈现出指数级的增加，进而数据处理的难度随之增加。
[0003]现有的网络数据中的异常数据随着数据存储量和传输量的增加而增加，难以对重构数据中存在的缺失值进行计算并判断最终处理后重构数据的完整性，难以降低网络运行功耗，进而难以保证网络运行的安全性，为此，本方案提出了一种网络异常数据处理方法及装置。

技术实现思路

[0004]本专利技术的目的是提供一种网络异常数据处理方法及装置，以解决现有技术中的上述不足之处。
[0005]为了实现上述目的，本专利技术提供如下技术方案：一种网络异常数据处理方法，包括以下步骤：S1、数据采集，通过数据采集模块利用无线传感器网络环境具备的层次分明特性以及每一层明确定义的接口，并结合异常数据的判定规则对网络中存在的异常数据进行采集；S2、数据加密，通过数据加密模块对S1得到的网络异常数据进行加密处理；S3、数据描述，通过数据描述模块对异常数据的稀疏特征用函数的形式表示；S4、数据处理，通过数据处理模块对传感器测量数值的联合系数重构，并对重构数据中存在的缺失值进行计算，计算值用于判断最终处理后重构数据的完整性；S5、数据写入，通过数据写入模块将重构后的数据以数据包的形式写入到消息队列当中，等待接收方将重构后的数据接收。
>[0006]进一步地，所述数据采集模块对结构层当中的异常数据进行捕捉，并对各个层次获取到的异常数据进行分类，所述数据采集模块在分类的过程中可结合聚类方式完成，针对有异常数据到数据中心点的距离进行计算，其计算公式为：，式中：m表示为异常数据到数据中心点的距离；表示为某一异常数据特征数值；表示为在相同环境当中另一异常数据的特征值；n表示为无线传感器网络当中存在的异常数据个数，根据上述公式，计算得出各个异常数据到数据中心点的距离，并将其作为依据，按照
下述公式完成聚类：，式中：表示为更新迭代后的聚类中心异常数据分类结果；表示为无线传感器网络中数据类型集合t的特征值；t表示为无线传感器网络中数据类型集合，得到的聚类结果即为异常数据的分类结果，以此实现对无线传感器网络异常数据的采集。
[0007]进一步地，所述数据加密模块采用RSA加密算法对网络异常数据进行加密处理，RSA加密算法的描述如下：公开密钥：n=pq式中：p、q—两个互异的大素数。
[0008]私有密钥：d=e
‑
1{mod（p
‑
1）（q
‑
1）} 其中：e与（p
‑
1）（q
‑
1）互素加密：c=me（mod n）其中：m 为明文，c 为密文。
[0009]解密：m=cd（mod n）。
[0010]进一步地，所述数据描述模块利用非异常数据信号在时间上具有相关性及在频域上表现稀疏度相同的特性和异常数据在频域上稀疏度存在差异性对异常数据系数特征进行描述，传感器i在测量后得到的数据用下述公式表示：，式中：表示为某一传感器 i 在完成数据测量后生成数据的长度；表示为正常数据分量；表示为异常数据的分量，公式中 i 的取值为 i=1，2，3，
……
，j；其中，j 表示为构成无线传感器网络的传感器数量，对传感器生成的数据的稀疏可用下述公式进行表示：，表示为正常数据分量的频域稀疏特征表示；表示为异常数据分量的时域系数特征表示，在无线传感器网络环境中，完成对异常数据的获取后，将正常分量与异常分量进行分离，通常情况下，正常数据包中的数据存在相同部分也存在不同部分，而异常数据包当中存在多种不相同部分，将第i个传感器测量得到的数据记录为：，式中：表示为异常数据当中存在的正常分量相同部分，根据上述公式完成对异常数据稀疏特征的描述。
[0011]进一步地，所述数据处理模块在确保数据重构性能的基础上减少数据重构所需数据量，假设其中包含了j个传感器，则将其原始数据表示为：，由于各个传感器测量得到的数据中正常数据分量完全相同，转换得到：，并通过引入高斯随机测量矩阵，针对网络当中存在的原始高维数据进行压缩处理，并得到多个压缩后的数据包，在实际处理过程中重构数据中存在的缺失问题，为确保数据的完整性，对数据的缺失值进行计算估计，将缺失值估计问题进行转变，假设在x
‑
y平面当中散布
了n个传感器，x
‑
y平面为无线传感器网络运行环境，将传感器的集合用N表示，，假设某一传感器在无线传输网络运行环境当中的位置为，其在某一时刻得到的读数为w，若在该平面上存在某一点 p（x，y），该传感器在该时刻产生的观测值z缺失，为得到z值，需要在最小的条件下进行估计，在估计过程中，可采用空间差值理论，在无线传感器网络环境当中找出一点距离p（x，y）最近的一点，该点与p（x，y）之间的距离越近，则估计得出的结果越接近z的实际数值；反之该点与p（x，y）之间的距离越远，则估计得出的结果与z的实际数值越远，在已经存在的观测范围当中，针对未观测得到的点特征值进行估算将这一过程称为内插；而在存在的观测范围以外，针对观测得到的点特征值进行估算，将这一过程称为外推，以此通过局部内插和外推的方式得出缺失的数值，并将其作为估算值确保最终处理后重构数据的完整性。
[0012]一种网络异常数据处理装置，其适用于一种网络异常数据处理方法，包括壳体；数据处理器，其安装在壳体内部，所述数据处理器包括控制器、数据采集模块、数据加密模块、数据描述模块、数据处理模块和数据写入模块；框体，其安装在壳体一侧的内壁上、且延伸至壳体的外部；过滤层，其安装在框体位于壳体内部的一端；第一除尘组件，其包括毛刷块和用于带动毛刷块沿着过滤层外壁往复移动的移动件；第二除尘组件，其包括安装在框体底部的处理仓、安装在处理仓顶部的第一密封板和用于带动第一密封板水平移动的联动件，所述联动件和处理仓均与移动件连接。
[0013]进一步地，所述处理仓与框体之间通过排料槽相连通，所述处理仓底部的内壁上沿其高度方向转动连接有第一传动轴，所述第一传动轴的顶端套接有负压吸尘扇，所述处理仓的底部安装有排气管，所述排气管的另一端延伸至壳体的外部，所述第一传动轴的底端延伸至处理仓的外部、且连接有与移动件相连接的传动件，所述处理仓上还安装有加速件；所述加速件包括沿第一密封板移动方向固接在处理仓一侧内壁上的密封筒、固接在处理仓另一侧外壁上的循环管、滑接在循环管内壁上的连通管和套接在连通管延伸至处理仓内部一端的联动块，所述联动块与第一密封板固接，所述密封筒与连通管相适配，所述循环管的外壁上沿其轴向依次开设有多个流入槽。
[0014]进一步地，所述移动件包括安装在壳体顶部内壁上的电机、固接在电机输出轴延伸至框体内部一端的往复螺杆、螺接在往复螺杆外部的滑块和固接在滑块另一侧外壁上的第二密封板，所述第二密封板的顶部延伸至框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络异常数据处理方法，其特征在于，包括以下步骤：S1、数据采集，通过数据采集模块利用无线传感器网络环境具备的层次分明特性以及每一层明确定义的接口，并结合异常数据的判定规则对网络中存在的异常数据进行采集；S2、数据加密，通过数据加密模块对S1得到的网络异常数据进行加密处理；S3、数据描述，通过数据描述模块对异常数据的稀疏特征用函数的形式表示；S4、数据处理，通过数据处理模块对传感器测量数值的联合系数重构，并对重构数据中存在的缺失值进行计算，计算值用于判断最终处理后重构数据的完整性；S5、数据写入，通过数据写入模块将重构后的数据以数据包的形式写入到消息队列当中，等待接收方将重构后的数据接收。2.根据权利要求1所述的一种网络异常数据处理方法，其特征在于，所述数据采集模块对结构层当中的异常数据进行捕捉，并对各个层次获取到的异常数据进行分类，所述数据采集模块在分类的过程中可结合聚类方式完成，针对有异常数据到数据中心点的距离进行计算，其计算公式为：，式中：m表示为异常数据到数据中心点的距离；表示为某一异常数据特征数值；表示为在相同环境当中另一异常数据的特征值；n表示为无线传感器网络当中存在的异常数据个数，根据上述公式，计算得出各个异常数据到数据中心点的距离，并将其作为依据，按照下述公式完成聚类：，式中：表示为更新迭代后的聚类中心异常数据分类结果；表示为无线传感器网络中数据类型集合t的特征值；t表示为无线传感器网络中数据类型集合，聚类处理后得到的聚类结果即为异常数据的分类结果。3.根据权利要求1所述的一种网络异常数据处理方法，其特征在于，所述数据加密模块采用RSA加密算法对网络异常数据进行加密处理，RSA加密算法的描述如下：公开密钥：n=pq式中：p、q—两个互异的大素数；私有密钥：d=e
‑
1{mod（p
...

【专利技术属性】
技术研发人员：陈成宝，杨辉，唐仪强，王国亮，
申请(专利权)人：济南正大科技发展有限公司，
类型：发明
国别省市：