一种基于大数据的网络数据采集系统技术方案

本发明专利技术公开了一种基于大数据的网络数据采集系统，涉及数据采集技术领域，该系统包括：网络数据采集模块，用于采集一种或多种不同类型的网络数据；规则模块：用于定义网络数据识别规则和解码规则；剔除模块：对无法识别的网络数据进行拦截剔除；多类型数据转换模块，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；存储模块，对通用网络数据进行存储。这样的系统可以采集多种类型的网络数据，使采集的网络数据种类增多，不再受到局限，网络数据根据统一的转换规则转换为处理器能识别的通用网络数据，便于处理器识别，且网络数据通过存储模块进行存储，便于处理器随时调用。

【技术实现步骤摘要】
一种基于大数据的网络数据采集系统
本专利技术涉及网络数据采集
，具体而言，涉及一种基于大数据的网络数据采集系统。
技术介绍
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，大数据具有五大特点，即大量、高速、多样、低价值密度、真实性。大数据的意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，也就是对这些数据进行“加工处理”，通过加工实现数据的增值。伴随着当今社会信息之间的交流越来越频繁和紧密，工业生产领域的电子设备同互联网的联系朝着更方便和更快捷的方向进行着，利用该类电子设备同互联网的连接，将广泛存在于互联网中的大数据进行采集、处理、分析，进而对工业生产进行指导具有提高产品质量、提高生产效率的作用。随着网络信息的发展，产生了的越来越多不同类型的网络数据，而现有技术中的网络数据采集系统的采集样式比较单一，只能采集几种固定格式的网络数据。
技术实现思路
为了克服上述问题或者至少部分地解决上述问题，本专利技术实施例提供一种基于大数据的网络数据采集系统，能采集多种网络本文档来自技高网...

【技术保护点】
1.一种基于大数据的网络数据采集系统，其特征在于，包括：/n网络数据采集模块，用于采集一种或多种不同类型的网络数据；/n规则模块：用于定义网络数据识别规则和解码规则；/n剔除模块：对无法识别的网络数据进行拦截剔除；/n多类型数据转换模块，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；/n存储模块，对通用网络数据进行存储。/n

【技术特征摘要】
1.一种基于大数据的网络数据采集系统，其特征在于，包括：
网络数据采集模块，用于采集一种或多种不同类型的网络数据；
规则模块：用于定义网络数据识别规则和解码规则；
剔除模块：对无法识别的网络数据进行拦截剔除；
多类型数据转换模块，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；
存储模块，对通用网络数据进行存储。


2.根据权利要求1所述的一种基于大数据的网络数据采集系统，其特征在于，网络数据采集模块还用于采集局域网数据。


3.根据权利要求1所述的一种基于大数据的网络数据采集系统，其特征在于，所述网络数据包括以下一种或多种信息：
经交换机监听接口监听的网络流量信息；
目标网络设备的配置信息、日志信息和设备状态信息。


4.根据权利要求3所述的一种基于大数据的网络数据采集系统，其特征在于，所述交换机为以太网交换机或光纤交换机。


5.根据权利要求3所述的一种基于大数据的网络数据采集系统，其特征在于，所述网络数据采集模块通过串口对经交换机监听接口的网络流量信息进行采集；以及通过串口对所述网络设备的配置信息、日志信息和设备状态信息进行采集。


6.根据权利要求1...

【专利技术属性】
技术研发人员：吴中山，
申请(专利权)人：深圳市维度统计咨询股份有限公司，
类型：发明
国别省市：广东;44