一种多接口多通道在线离线网络协议解析系统及方法技术方案

本申请属于网络通信技术领域，涉及一种多接口多通道在线离线网络协议解析系统及方法。系统包括：接入层、处理层、存储层以及应用层；所述接入层与所述处理层之间、所述处理层与所述存储层之间、所述存储层与所述应用层之间均采用网络连接，以使所述接入层完成数据载入后输入所述处理层、所述处理层完成数据规整后输入所述存储层、所述存储层完成数据入库后输入所述应用层、所述应用层完成数据检索后输出并进行数据展示；所述存储层包括数据库单元，所述处理层输入所述存储层的数据存入所述数据库单元中。采用本系统能够进行持久化保存和在线输出，能够扩展后端在线数据分析。能够扩展后端在线数据分析。能够扩展后端在线数据分析。

【技术实现步骤摘要】
一种多接口多通道在线离线网络协议解析系统及方法


[0001]本申请涉及网络通信
，特别是涉及一种多接口多通道在线离线网络协议解析系统及方法。

技术介绍

[0002]在特定的应用背景下，需要对IP网络通信数据(以下简称网络数据)进行探查、解析、清分、还原和统计分析，从而掌握此网络中的网络态势和用户行为。该业务的详细流程可以分为首先汇聚目标网络数据，然后网络协议栈的分层模型逐层进行网络协议解析，提取网络协议元数据信息，进而根据元数据信息按照一定的规则对数据进行清分，再按照具体的业务还原手段提取清分数据中的应用内容，最后将还原内容结合大数据和人工智能技术统计、分析和掌握网络整体态势和用户行为。由此可见，网络协议解析是其中的关键流程，其解析质量直接决定了后续清分、提取和统计分析的结果。同时，在处理实时网络数据时，网络协议解析的效率也至关重要，解析效率低下将导致数据丢失，从而无法相对完整的掌握网络态势和用户行为。
[0003]现有的协议解析技术是以wireshark系列产品为代表的网络协议解析工具，其主要模块包括核心模块、捕获模块、pcap载入模块、协议解析模块和用户界面模块，捕获模块负责监听和捕获网卡数据、pcap载入模块负责处理离线保存的pcap文件、协议解析模块通过良好的软件架构设计实现了插件方式的协议解析器，一种协议解析插件对应一种网络协议解析能力，用户界面模块提供交互页面，核心模块负责整合其他模块，组装成应用。wireshark还提供了一定的数据分析处理能力。
[0004]传统技术协议解析阶段支持在线处理，但将解析结果暂存在内存中，未进行持久化保存，也不能在线输出，后续数据分析阶段要求停止实时解析，然后基于内存中的解析结果进行离线数据分析，虽然可以保证当前的分析效率，但实际需求通常要求对网络数据进行自动化、不间断的实时监测和分析，实时解析网络数据包，自动监测网络状态、用户行为和异常事件告警。离线数据分析既不满足系统对连续实时监测的要求，也不满足系统对自动化分析的要求，还不满足对数据各个维度的解析结果统计、挖掘和深度解析。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种多接口多通道在线离线网络协议解析系统及方法，能够进行持久化保存和在线输出，能够扩展后端在线数据分析。
[0006]一种多接口多通道在线离线网络协议解析系统，包括：接入层、处理层、存储层以及应用层；
[0007]所述接入层与所述处理层之间、所述处理层与所述存储层之间、所述存储层与所述应用层之间均采用网络连接，以使所述接入层完成数据载入后输入所述处理层、所述处理层完成数据规整后输入所述存储层、所述存储层完成数据入库后输入所述应用层、所述应用层完成数据检索后输出并进行数据展示；
[0008]所述存储层包括数据库单元，所述处理层输入所述存储层的数据存入所述数据库单元中。
[0009]在一个实施例中，所述接入层包括：网口捕获单元、文件载入单元、网络接收单元以及中间件订阅单元；所述网口捕获单元、所述文件载入单元、所述网络接收单元以及所述中间件订阅单元均与所述接入层采用网络连接；
[0010]所述网口捕获单元用于接收本机网卡实时数据并处理为标准网络数据；
[0011]所述文件载入单元用于接收本机离线数据并进行拆包解包处理为标准网络数据；
[0012]所述网络接收单元用于接收前级设备输出数据并进行私有协议处理为标准网络数据；
[0013]所述中间件订阅单元用于接收外部系统实时数据并进行私有协议处理为标准网络数据。
[0014]在一个实施例中，所述处理层包括：多个协议解析单元，每个协议解析单元均与所述处理层采用网络连接；
[0015]每个协议解析单元均对应一个解析服务进程，并对标准网络数据按照分层网络模型进行逐层网络协议解析处理，得到网络数据各层协议元数据。
[0016]在一个实施例中，所述处理层还包括：负载均衡模块；所述负载均衡模块同时与所述处理层以及每个协议处理单元采用网络连接；
[0017]所述负载均衡模块接收输入的解析请求并访问每个协议解析单元。
[0018]在一个实施例中，所述存储层包括：文件系统单元、数据库单元、网络输出单元以及中间件发布单元；所述文件系统单元、所述数据库单元、所述网络输出单元以及所述中间件发布单元均与所述存储层采用网络连接；
[0019]所述文件系统单元用于保存文件数据；
[0020]所述数据库单元用于保存结构数据；
[0021]所述网络输出单元用于保存私有数据；
[0022]所述中间件发布单元用于保存格式化数据。
[0023]在一个实施例中，所述应用层包括：模块管理单元、系统运维单元、监视审计单元、外部接口单元以及人机界面单元；所述模块管理单元、所述系统运维单元、所述监视审计单元、所述外部接口单元以及所述人机界面单元均与所述应用层采用网络连接；
[0024]所述模块管理单元用于管理所述接入层、所述处理层以及所述存储层，并配置所述网口捕获单元、所述文件载入单元、所述网络接收单元、所述中间件订阅单元、每个协议解析单元、所述文件系统单元、所述数据库单元、所述网络输出单元以及所述中间件发布单元；
[0025]所述系统运维单元用于监视主机运行状态信息和资源回收；
[0026]所述监视审计单元用于实时监控所述网口捕获单元、所述文件载入单元、所述网络接收单元、所述中间件订阅单元、每个协议解析单元、所述文件系统单元、所述数据库单元、所述网络输出单元以及所述中间件发布单元的状态，并对协议解析结果进行实时审计；
[0027]所述外部接口单元用于为外部运维运控系统提供接口以便于集成；
[0028]所述人机界面单元采用微服务架构以实现前后端分离。
[0029]在一个实施例中，所述微服务架构为B/S架构。
[0030]一种多接口多通道在线离线网络协议解析方法，采用多接口多通道在线离线网络协议解析系统，包括：
[0031]接收外部数据，并发起协议解析请求；
[0032]响应协议解析请求，执行网络协议解析，并发起存储输出请求；
[0033]响应存储输出请求，按照配置对解析结果进行存储和输出；
[0034]实时监控、审计和展示，并等待接收外部控制指令。
[0035]在一个实施例中，在接收外部数据之前，还包括：
[0036]系统初始化，载入默认系统配置，所述应用层、所述接入层、所述处理层以及所述存储层依次执行模块配置。
[0037]在一个实施例中，在接收外部数据之后，还包括：
[0038]判断外部数据类型并判断非标准网络数据时，进行拆包解包和/或私有协议处理。
[0039]上述多接口多通道在线离线网络协议解析系统及方法，相比现有技术仅考虑单机处理因此将解析结果暂存到内存，本申请考虑系统级处理，存储输出模块包括文件系统、数据库、中间件发布和网络输出的多输出接口，通过多进程的方式实现了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多接口多通道在线离线网络协议解析系统，其特征在于，包括：接入层、处理层、存储层以及应用层；所述接入层与所述处理层之间、所述处理层与所述存储层之间、所述存储层与所述应用层之间均采用网络连接，以使所述接入层完成数据载入后输入所述处理层、所述处理层完成数据规整后输入所述存储层、所述存储层完成数据入库后输入所述应用层、所述应用层完成数据检索后输出并进行数据展示；所述存储层包括数据库单元，所述处理层输入所述存储层的数据存入所述数据库单元中。2.根据权利要求1所述的多接口多通道在线离线网络协议解析系统，其特征在于，所述接入层包括：网口捕获单元、文件载入单元、网络接收单元以及中间件订阅单元；所述网口捕获单元、所述文件载入单元、所述网络接收单元以及所述中间件订阅单元均与所述接入层采用网络连接；所述网口捕获单元用于接收本机网卡实时数据并处理为标准网络数据；所述文件载入单元用于接收本机离线数据并进行拆包解包处理为标准网络数据；所述网络接收单元用于接收前级设备输出数据并进行私有协议处理为标准网络数据；所述中间件订阅单元用于接收外部系统实时数据并进行私有协议处理为标准网络数据。3.根据权利要求1所述的多接口多通道在线离线网络协议解析系统，其特征在于，所述处理层包括：多个协议解析单元，每个协议解析单元均与所述处理层采用网络连接；每个协议解析单元均对应一个解析服务进程，并对标准网络数据按照分层网络模型进行逐层网络协议解析处理，得到网络数据各层协议元数据。4.根据权利要求3所述的多接口多通道在线离线网络协议解析系统，其特征在于，所述处理层还包括：负载均衡模块；所述负载均衡模块同时与所述处理层以及每个协议处理单元采用网络连接；所述负载均衡模块接收输入的解析请求并访问每个协议解析单元。5.根据权利要求2所述的多接口多通道在线离线网络协议解析系统，其特征在于，所述存储层包括：文件系统单元、数据库单元、网络输出单元以及中间件发布单元；所述文件系统单元、所述数据库单元、所述网络输出单元以及所述中间件发布单元均与所述存储层采用网络连接；所述文件系统单元用于保存文件数据；所述数据库单元用于保存结构数据；...

【专利技术属性】
技术研发人员：刘浩，王玖玖，汪直诚，吴思远，胡俏，
申请(专利权)人：湖南智领通信科技有限公司，
类型：发明
国别省市：