一种基于云边协同的隧道网络异常识别方法技术

本发明专利技术提出一种基于云边协同的隧道网络异常识别方法，该方法针对现有技术下隧道内网络异常识别困难，隧道内以太网设备复杂、网络传输流量采样率较高，传输和服务器压力大。为实现隧道网络异常识别、提高系统响应速度，该方法由边缘计算节点采集并获取不同业务对应的网络流量特征，通过深度自编码器对高维流量特征进行特征提取。在边缘侧进行初步的数据处理及在降维的基础上保证流量数据的特征信息，以减轻传输数据的压力和分担云端网络异常识别的任务。此外，根据隧道网络特点，对传统密度峰值聚类算法在相似性度量和参数自适应选取两个关键技术方面进行改进，实现合理有效的隧道网络异常识别。道网络异常识别。道网络异常识别。

【技术实现步骤摘要】
一种基于云边协同的隧道网络异常识别方法


[0001]本专利技术涉及网络数据处理
，特别涉及一种基于云边协同的隧道网络异常识别方法。

技术介绍

[0002]随着我国隧道智慧化的发展，隧道内机电系统（如隧道内传感设备和各类控制系统）不断增加。隧道内通讯主系统和隧道监控系统网络目前使用工业以太网交换机组成的冗余环网，并通过光纤连接到监控中心。交换机不仅需要处理视频监控系统的高带宽数据，同样也需要配置成冗余光纤环网连接区域控制器等周边现场设备。随着工业以太网设备越来越多，网络结构越来越复杂，隧道内网络异常识别不仅可以及时发现网络故障、攻击等问题，还可以保障隧道内各业务设备的安全运行以保障隧道网络服务质量。
[0003]在目前的隧道监控系统中，区域控制器主要执行数字量、模拟量的输入输出和串口通信等，无法采集交换机等网络设备的信息。虽然网络实际存在，但出现故障时无法自主识别异常情况。目前常用的网络信息获取方式主要通过监控软件实现，即电脑向交换机轮流发送读取指令并统一处理，之后进行数据筛选和处理后显示在监控大屏上。在使用过程中经常面临网络拓扑无法感知、误操作引起网络风暴、感染病毒造成网络宕机等问题。
[0004]此外，若将隧道内各业务网络流量上传云端进行集中计算，由于网络流量特征维度过高、处理较为复杂、隧道系统庞大，在进行网络流量异常识别时会占用大量的计算资源和网络带宽，并且无法保证实时性。因此亟需一种兼顾准确性和计算效率的隧道网络流量异常识别方法。

技术实现思路

[0005]针对现有技术下隧道内网络异常识别困难，隧道内以太网设备复杂、网络传输流量采样率较高，若集中至云端进行数据处理会给传输和服务器造成巨大压力。为实现隧道网络异常识别、提高系统响应速度及考虑隧道网络环境的特殊情况，在隧道网络内引入边缘计算节点，直接在设备端对网络流量进行处理，但边缘计算节点的计算资源有限，无法有效完成需要大量计算的数据处理任务。因此，提出一种由边缘端对隧道网络流量特征提取，并根据改进自适应峰值密度聚类算法进行隧道网络异常识别的云边协同方法。
[0006]本专利技术采用的技术方案为：一种基于云边协同的隧道网络异常识别方法，该隧道网络异常识别云边协同方法由边缘端对隧道网络流量特征提取，并根据改进自适应峰值密度聚类算法进行，包括以下步骤：步骤1，利用历史隧道网络流量数据离线训练深度自编码器DAE特征提取模型，并部署在隧道内的边缘计算节点；步骤2，边缘计算节点采集隧道不同业务的终端设备传输的实时网络流量原始特征数据样本；
步骤3，将实时网络流量特征输入到训练好的DAE特征提取模型，由前向传播获得特征提取后的编码特征，记为降维后的数据；步骤4，在隧道内部署的边缘节点完成网络流量采集、预处理及流量特征提取任务后，将降维后的数据经数据链路传输至云平台进行后续的异常识别任务，异常识别任务利用改进的密度峰值聚类算法DPC对隧道内部署的边缘节点传输的降维数据进行异常识别，异常识别采用SKL距离作为聚类算法中的相似性度量，包括由隧道内边缘节点特征提取后网络流量样本数据进行特征概率处理，计算网络流量样本数据间的SKL距离；步骤5，云端在接受到经隧道内部署的边缘节点特征提取后的网络流量数据，采用改进自适应密度峰值聚类算法进行网络流量样本聚类，改进自适应密度峰值聚类算法包括将传统度量方式改进为适合描述隧道内网络流量序列分布状况的SKL距离、利用SKL计算相似度阈值以活动窗口AW的形式自适应确定DPC算法所需的截断距离参数、确定DPC截断距离计算网络流量样本局部密度、计算样本的相对距离、在二维坐标轴上以局部密度和相对距离画出决策图、基于决策图完成改进的自适应DPC聚类阶段；步骤6：根据步骤5的聚类方法将隧道网络流量数据进行聚类后，边缘计算节点采集到的网络流量数据大多聚集在类簇中心附近，局部密度相对较低而相对距离相对较高的点则对应网络流量异常情况，根据异常样本所属的边缘计算节点传输内容快速检索到隧道终端设备的异常情况。
[0007]进一步，步骤1中，离线训练特征提取模型，包括以下流程：步骤1.1，捕获隧道不同业务的终端设备传输的历史网络数据流，获取网络流量原始特征数据样本，利用现有常规方式解析获取对应的网络原始数据流，得到网络数据流样本；步骤1.2，去除无意义特征，并将隧道网络的各种特征数据转换为可处理的数据后对原始特征进行归一化处理，假设归一化后的原始历史数据集表示为：；式中，表示历史数据集，表示第个原始网络流量样本，其中每个样本有维流量原始特征；步骤1.3，令对应的隧道终端设备网络流量历史数据集作为训练集，以梯度下降算法训练DAE特征提取模型，获得模型的参数，即神经网络各层的权重和偏置。
[0008]进一步，归一化处理过程中利用归一化函数，归一化函数为：；式中，表示在任一向量内的最小值，表示在向量内的最大值。
[0009]进一步，DAE的训练方式如下：步骤1.3.1，编码器将隧道终端设备网络流量历史数据集内的数据逐一经过激活函数映射得到隐含层数据：；式中，隐含层数据即为特征提取后的数据，表示第个经特征提取后的网络流量样本；编码过程如下式所示：
；式中，和分别表示编码器的神经网络权重和偏置向量，激活函数为Sigmoid，隐含层数据即为特征提取后的数据；步骤1.3.2，解码器又通过激活函数将隐含层数据转化得到输出数据：；式中，表示经解码器重构的历史网络流量数据集，表示第个经解码器重构的历史网络流量样本；即输出为隐含层重构输入的变量，解码过程如下式所示：；式中，和分别表示解码器的神经网络权重和偏置向量，为激活函数Sigmoid；步骤1.3.3，利用梯度下降算法对DAE进行训练，DAE的训练为最小化重构输入数据与原始输入数据的损失，以得到最佳网络参数集，用表示，训练的目标函数如下式所示：；式中,网络参数集合表示编码器和解码器的网络权重和偏置向量，和分别表示任意流量样本的输入值和重构值；步骤1.3.4，保存训练好的模型参数，将DAE部署在隧道边缘计算节点，当输入隧道终端设备网络流量历史数据集至DAE可以由前向传播快速得到特征提取后的数据。
[0010]进一步，步骤4中异常识别任务利用密度峰值聚类算法DPC对隧道内部署的边缘节点传输的降维数据进行异常识别，DPC根据数据间的相似度划分高密度区间，正常的网络流量通常是相似度较高的类簇，而离群点一般为流量异常情况。
[0011]进一步，采用对称KL距离作为聚类算法中的相似性度量，计算出的SKL距离越小，表明它们之间具有较高的相似性；在网络异常识别中，SKL计算的两个网络流量序列在统计量、数据分布状况具有较高的相似性，反之流量序列之间的数据结构出现了较大的偏差；两两流量样本间的SKL距离计算步骤如下：步骤4.1：假设经过隧道内边缘节点特征提取后的两个网络流量样本数据为和，进行如下式所示的特征概率处理便于后续相似度计算，；；式中，和分别表示和两流量样本在第维的特征值，和分别为概率处理后的值；步骤4.2：和之间的SKL距离计算方式如下：；
式中，和分别为和两流量样本经步骤4.1概本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云边协同的隧道网络异常识别方法，其特征在于：该隧道网络异常识别云边协同方法由边缘端对隧道网络流量特征提取，并根据改进自适应峰值密度聚类算法进行，包括以下步骤：步骤1，利用历史隧道网络流量数据离线训练深度自编码器DAE特征提取模型，并部署在隧道内的边缘计算节点；步骤2，边缘计算节点采集隧道不同业务的终端设备传输的实时网络流量原始特征数据样本；步骤3，将实时网络流量特征输入到训练好的DAE特征提取模型，由前向传播获得特征提取后的编码特征，记为降维后的数据；步骤4，在隧道内部署的边缘节点完成网络流量采集、预处理及流量特征提取任务后，将降维后的数据经数据链路传输至云平台进行后续的异常识别任务，异常识别任务利用改进的密度峰值聚类算法DPC对隧道内部署的边缘节点传输的降维数据进行异常识别，异常识别采用SKL距离作为聚类算法中的相似性度量，包括由隧道内边缘节点特征提取后网络流量样本数据进行特征概率处理，计算网络流量样本数据间的SKL距离；步骤5，云端在接受到经隧道内部署的边缘节点特征提取后的网络流量数据，采用改进自适应密度峰值聚类算法进行网络流量样本聚类，改进自适应密度峰值聚类算法包括将传统度量方式改进为适合描述隧道内网络流量序列分布状况的SKL距离、利用SKL计算相似度阈值以活动窗口AW的形式自适应确定DPC算法所需的截断距离参数、确定DPC截断距离计算网络流量样本局部密度、计算样本的相对距离、在二维坐标轴上以局部密度和相对距离画出决策图、基于决策图完成改进的自适应DPC聚类阶段；步骤6：根据步骤5的聚类方法将隧道网络流量数据进行聚类后，边缘计算节点采集到的网络流量数据大多聚集在类簇中心附近，局部密度相对较低而相对距离相对较高的点则对应网络流量异常情况，根据异常样本所属的边缘计算节点传输内容快速检索到隧道终端设备的异常情况。2.根据权利要求1所述的基于云边协同的隧道网络异常识别方法，其特征在于：步骤1中，离线训练特征提取模型，包括以下流程：步骤1.1，捕获隧道不同业务的终端设备传输的历史网络数据流，获取网络流量原始特征数据样本，利用现有常规方式解析获取对应的网络原始数据流，得到网络数据流样本；步骤1.2，去除无意义特征，并将隧道网络的各种特征数据转换为可处理的数据后对原始特征进行归一化处理，假设归一化后的原始历史数据集表示为：；式中，表示历史数据集，表示第个原始网络流量样本，其中每个样本有维流量原始特征；步骤1.3，令对应的隧道终端设备网络流量历史数据集作为训练集，以梯度下降算法训练DAE特征提取模型，获得模型的参数，即神经网络各层的权重和偏置。3.根据权利要求2所述的基于云边协同的隧道网络异常识别方法，其特征在于：归一化处理过程中利用归一化函数，归一化函数为： ；
式中，表示在任意向量内的最小值，表示在任意向量内的最大值。4.根据权利要求2所述的基于云边协同的隧道网络异常识别方法，其特征在于：DAE的训练方式如下：步骤1.3.1，编码器将隧道终端设备网络流量历史数据集内的数据逐一经过激活函数映射得到隐含层数据： ；式中，隐含层数据即为特征提取后的数据，表示第个经特征提取后的网络流量样本；编码过程如下式所示： ；式中，和分别表示编码器的神经网络权重和偏置向量，激活函数为Sigmoid，隐含层数据即为特征提取后的数据；步骤1.3.2，解码器又通过激活函数将隐含层数据转化得到输出数据： ；式中，表示经解码器重构的历史网络流量数据集，表示第个经解码器重构的历史网络流量样本；即输出为隐含层重构输入的变量，解码过程如下式所示： ；式中，和分别表示解码器的神经网络权重和偏置向量，为激活函数Sigmoid；步骤1.3.3，利用梯度下降算法对DAE进行训练，DAE的训练为最小化重构输入数据与原始输入数据的损失，以得到最佳网络参数集，用表示，训练的目标函数如下式所示： ；式中，网络参数集合表示编码器和解码器的网络权重和偏置向量，和分别表示任意流量样本的输入值和重构值；步骤1.3.4，保存训练好的模型参数，将DAE部署在隧道边缘计算节点，当输入隧道终端设备网络流量历史数据集至DAE可以由前向传播快速得到特征提取后的数据。5.根据权利要求1所述的基于云边协同的隧道网络异常识别方法，其特征在于：步骤4中异常识别任务利用改进的密度峰值聚类算法DPC对隧道内部署的边缘节点传输的降维数据进行异常识别，DPC根据数据间的相似度划分高密...

【专利技术属性】
技术研发人员：李浩，陈志涛，陆艳铭，李朋，杨路，赵倩，彭维圆，吴晓南，孙建华，陈俊武，
申请(专利权)人：云南省交通规划设计研究院有限公司，
类型：发明
国别省市：