支持业务瞬时异常检测的分布式网络数据分析系统及方法技术方案

本发明专利技术属于网络通信技术领域，具体为一种支持业务瞬时异常检测的分布式网络数据分析系统及方法。该系统包括分布式网络数据捕获装置，分布式网络数据联合分析平台和分布式网络数据联合分析客户端。该系统支持多个分布式网络数据捕获装置分布在网络的任意不同位置，通过分布式网络数据联合分析平台进行统一管理；系统可设置特定的联合捕获条件，实现对网络业务瞬时异常的检测分析，从而协助用户快速定位整个网络中影响业务的不稳定因素，恢复网络正常运行。常运行。常运行。

【技术实现步骤摘要】
支持业务瞬时异常检测的分布式网络数据分析系统及方法


[0001]本专利技术属于网络通信
，具体为一种支持业务瞬时异常检测的分布式网络数据联合分析系统及方法。

技术介绍

[0002]在网络通信
中，业务数据的传输都是基于基础网络设施提供的数据包交换功能实现的。在业务数据的传输过程中，会经过多级多次的数据中继和交换，中间过程经常会出现一些异常，这些异常可能是基础网络设施的物理接口导致的，如网络接口松动接触不良；也可能是链路中继设施传输瓶颈导致的，如汇聚带宽不足导致数据丢失；也可能是业务系统本身出现某些问题导致的，而非基础网络设施造成。
[0003]当然，基础网络设施提供了一些基础的诊断手段，如一般交换机会提供端口的状态，流量，丢包数等基本的参数，协助用户定位问题；但是有些深层次问题无法通过基础网络设施的这些基础诊断手段定位，因此，需要有第三方的网络诊断设备来判断分析出现异常的根本原因。
[0004]网络分析仪是最常用到的第三方网络诊断设备，借助网络分析仪，用户可抓取满足特定条件的网络数据，随后进行离线分析。一些常用的条件包括MAC地址，IP地址，网络协议等等；然而，目前市场上的网络分析仪仍然无法满足高带宽业务瞬时异常的检测要求，例如在实时视频以太网应用领域，业务带宽可达到G bit/s，网络分析仪的存储容量的限制使得其无法长时间捕获这么大带宽的业务数据，并且整个业务数据路径需要跨越多个基础网络设备（如交换机）。

技术实现思路

[0005]本专利技术目的即针对现有网络分析仪的不足，进一步的改进，提出一种支持业务瞬时异常检测的分布式网络数据联合分析系统及方法，可快速定位业务瞬时异常的原因。
[0006]为实现上述目的，本专利技术采用如下技术方案。
[0007]一种支持业务瞬时异常检测的分布式网络数据联合分析系统，其包括分布式网络数据捕获装置、分布式网络数据联合分析平台和分布式网络数据联合分析客户端；分布式网络数据捕获装置、分布式网络数据联合分析平台、分布式网络数据联合分析客户端与基础网络交换设备通过标准网络链路接口连接；其中：所述分布式网络数据联合分析客户端，提供用户人机交互界面，接收用户在界面中输入的分析参数，并将数据捕获进程状态及联合分析结果展示给用户；所述分布式网络数据联合分析平台，接收分布式网络数据联合分析客户端下发的分析参数，将分析参数转换为包括捕获检测触发条件在内的接口指令发布到各个分布式网络数据捕获装置，同时侦听各个分布式网络数据捕获装置的状态，将各个分布式网络数据捕获装置的捕获数据上传后进行联合分析，联合分析结果通知到分布式网络数据联合分析
客户端；所述分布式网络数据捕获装置有若干个，其分布在网络的不同位置，配置的数目不低于基础网络交换设备的级数，其按照分布式网络数据联合分析平台的配置参数及指令，捕获某级基础网络交换设备的业务数据。
[0008]本专利技术中，所述分布式网络数据捕获装置包括网络接口模块，参数配置模块，时间同步模块，数据包过滤模块，捕获检测模块，捕获数据写入模块，数据存储模块，捕获数据读取模块，捕获数据上传模块；其中：网络接口模块，直接与基础网络交换设备相连，基础网络设备通过镜像的方式将承载业务数据的端口复制到本模块，获取业务端口的所有数据包；参数配置模块，获取分布式网络数据联合分析平台下发的参数，参数包括数据包过滤条件，捕获检测触发条件和时间同步信息；时间同步模块，收取时间同步信息，并置位分布式网络数据捕获装置本地时间，使其与分布式网络数据联合分析平台时间保持一致；数据包过滤模块，根据收取的数据包过滤条件，将网络接口模块送入的数据进行过滤，只有满足过滤条件的数据才能通过本模块；捕获检测模块，根据收取的捕获检测触发条件，生成检测触发条件，一旦检测触发条件满足，则经过一定的时间，通知捕获数据写入模块停止写入到数据存储模块；捕获数据写入模块，收到捕获检测模块下发的写入命令，则不断地将数据写入数据存储模块；当收到捕获检测模块下发的停止写入命令，则停止写入操作；数据存储模块，接收捕获数据写入模块的数据写入指令，将数据进行保存；同时接收捕获数据读取模块的读取指令，将相应的数据取出；捕获数据读取模块，收到捕获数据上传模块的回读命令，则将业务数据取出后，发送给捕获数据上传模块；捕获数据上传模块，接收分布式网络数据联合分析平台下发的捕获回读指令，通知捕获数据读取模块进行业务数据读取，然后将收到的业务数据进行数据包组帧后，发回给分布式网络数据联合分析平台。
[0009]本专利技术中，分布式网络数据联合分析客户端中设置的分析参数包括：业务数据源端IP地址，MAC地址，目的端IP地址，MAC地址，业务异常检测周期，业务异常带宽。
[0010]本专利技术中，基础网络交换设备为交换机。
[0011]本专利技术中，分布式网络数据捕获装置内的网络接口模块包括千兆以太网接口、万兆以太网接口和100G光纤以太网接口。
[0012]本专利技术进一步提供一种利用上述的分布式网络数据联合分析系统对业务瞬时异常进行检测的方法，具体流程如下：(1)根据网络交换设备的级数配置相应数量的分布式网络数据捕获装置，设基础网络设备的级数为N，N为正整数，则配置的分布式网络数据捕获装置至少为N；(2) 将分布式网络数据捕获装置的网络接口连接到对应的基础网络设备，并将本级业务数据关联的端口镜像配置到本级分布式网络数据捕获装置的网络接口；(3) 根据业务特性设置捕获触发条件，设定业务数据的最小检测周期T，设定业务的异常数据带宽范围[Sa,Sb] ；
(4) 分布式网络数据联合分析平台将捕获触发条件下发到各级分布式网络数据捕获装置，并配置触发延时Td；(5) 分布式网络数据联合分析平台下发捕获开始指令到各级分布式网络数据捕获装置，启动触发捕获功能；(6) 当任意一台分布式网络数据捕获装置满足触发条件，则经过Td的延时后，停止捕获，同时通知分布式网络数据联合分析平台捕获成功；(7) 分布式网络数据联合分析平台收到任意一台分布式网络数据捕获装置捕获成功的信息后，立刻停止其他所有的分布式网络数据捕获装置的捕获工作，同时向分布式网络数据联合分析客户端推送捕获成功信息；(8) 分布式网络数据联合分析客户端获取捕获成功信息后，告知用户；用户若要分析本次捕获，则启动数据分析命令，分布式网络数据联合分析平台将各级分布式网络数据捕获装置捕获的数据上传，并进行分析；分析完成后，将结果推送给用户，由用户根据分析结果，迅速定位异常问题的原因。
[0013]和现有技术相比，本专利技术公开的一种支持业务瞬时异常检测的分布式网络数据联合分析系统和方法，具有如下有益效果：一、支持高带宽业务数据瞬时异常的检测：本专利技术系统检测周期支持动态调整，一般的设备流量检测都需要几分钟，而本专利技术的检测周期可支持到毫秒级，一旦检测周期内的流量异常，立刻能捕获到；具有更强的检测能力和灵活度；二、支持多级基础网络设备的同步联合检测，可获取同一时刻的不同网络节点数据，便于全局分析，快速定位问题。
附图说明
[0014]图1为一种支持业务瞬时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持业务瞬时异常检测的分布式网络数据联合分析系统，其特征在于，其包括分布式网络数据捕获装置、分布式网络数据联合分析平台和分布式网络数据联合分析客户端；分布式网络数据捕获装置、分布式网络数据联合分析平台、分布式网络数据联合分析客户端与基础网络交换设备通过标准网络链路接口连接；其中：所述分布式网络数据联合分析客户端，提供用户人机交互界面，接收用户在界面中输入的分析参数，并将数据捕获进程状态及联合分析结果展示给用户；所述分布式网络数据联合分析平台，接收分布式网络数据联合分析客户端下发的分析参数，将分析参数转换为包括捕获检测触发条件在内的接口指令发布到各个分布式网络数据捕获装置，同时侦听各个分布式网络数据捕获装置的状态，将各个分布式网络数据捕获装置的捕获数据上传后进行联合分析，联合分析结果通知到分布式网络数据联合分析客户端；所述分布式网络数据捕获装置有若干个，其分布在网络的不同位置，配置的数目不低于基础网络交换设备的级数，其按照分布式网络数据联合分析平台的配置参数及指令，捕获某级基础网络交换设备的业务数据。2.根据权利要求1所述的支持业务瞬时异常检测的分布式网络数据联合分析系统，其特征在于，所述分布式网络数据捕获装置包括网络接口模块，参数配置模块，时间同步模块，数据包过滤模块，捕获检测模块，捕获数据写入模块，数据存储模块，捕获数据读取模块，捕获数据上传模块；其中：网络接口模块，直接与基础网络交换设备相连，基础网络设备通过镜像的方式将承载业务数据的端口复制到本模块，获取业务端口的所有数据包；参数配置模块，获取分布式网络数据联合分析平台下发的参数，参数包括数据包过滤条件，捕获检测触发条件和时间同步信息；时间同步模块，收取时间同步信息，并置位分布式网络数据捕获装置本地时间，使其与分布式网络数据联合分析平台时间保持一致；数据包过滤模块，根据收取的数据包过滤条件，将网络接口模块送入的数据进行过滤后，发送给捕获检测模块；捕获检测模块，根据收取的捕获检测触发条件，生成检测触发条件，一旦检测触发条件满足，则经过一定的时间，通知捕获数据写入模块停止写入到数据存储模块；捕获数据写入模块，收到捕获检测模块下发的写入命令，则不断地将数据写入数据存储模块；当收到捕获检测模块下发的停止写入命令，则停止写入操作；数据存储模块，接收捕获数据写入模块的数据写入指令，将数据进行保存；同时接收捕获数据读取模块的读取指令，将相应的数据取出；捕获数据读取模块，收到捕获数据上传模块...

【专利技术属性】
技术研发人员：曹臻，潘卫明，邱昊，王霞，铁伟涛，陈鹏，
申请(专利权)人：上海晨驭信息科技有限公司，
类型：发明
国别省市：