一种基于网络数据传输设备实时数据采集设备制造技术

本实用新型专利技术公开了一种基于网络数据传输设备实时数据采集设备，包括数据采集模块、数据解析模块和数据过滤模块，所述数据采集模块通过数据协议模块与所述数据解析模块电连接，所述数据协议模块通过Kafka队列模块一与所述数据解析模块电连接，所述数据解析模块通过Kafka队列模块二与所述数据过滤模块电连接，其中，所述数据采集模块顶部设置有信令报文模块和数据报文模块，所述数据报文模块的顶部设置有采集模块、解析模块和清洗模块，所述数据采集模块的底部设置有数据交换模块，所述数据交换模块的底部设置有流处理模块和批处理模块，所述流处理模块和所述批处理模块的底部设置有SplitFlow设备。有益效果：大大提升了数据处理的效率。

【技术实现步骤摘要】
一种基于网络数据传输设备实时数据采集设备
本技术涉及大数据采集
，具体来说，涉及一种基于网络数据传输设备实时数据采集设备。
技术介绍
所谓从网络传输设备上实时进行数据采集，是指直接从网络接口卡、光纤分光器等网络数据传输设备上按照既定的数据协议读取网络中传输的数据，这样可以进最大速率把数据采集到大数据平台中，进行数据增值处理和加工。随着“互联网+”的普及，社会从“IT”时代跨越到了“DT”时代，大数据平台应运而生，而数据的量级是平台发展的前提，如果大数据平台没有足够的数据需要处理，无法发挥其真正的作用，因此数据获取则是大数据平台关键的和不可获取的组成部分。当今大数据平台的数据采集模块多倾向于离线采集和实时采集相结合，以定时采集文件和实时从消息队列获取数据为主要方式；这种数据采集方式有比较多的局限性：数据获取受限于消息队列的提供方的效率；另外，随着网络带宽不断提升，直接从网络设备上获取数据将成为必然的趋势，并且海量宝贵的数据资源如果不能实时获取，长远来看，本身也是一种损失。因此我们专利技术了直接从网络传输设备上直接获取数据，从而提高数据采集的速率，快速把大量数据采集到系统中来，并进行相应的网络协议、数据协议解析，输出为可以使用的结构化数据。针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中的问题，本技术提出一种基于网络数据传输设备实时数据采集设备，以克服现有相关技术所存在的上述技术问题。本技术的技术方案是这样实现的：一种基于网络数据传输设备实时数据采集设备，包括数据采集模块、数据解析模块和数据过滤模块，所述数据采集模块通过数据协议模块与所述数据解析模块电连接，所述数据协议模块通过Kafka队列模块一与所述数据解析模块电连接，所述数据解析模块通过Kafka队列模块二与所述数据过滤模块电连接，其中，所述数据采集模块顶部设置有信令报文模块和数据报文模块，所述数据报文模块的顶部设置有采集模块、解析模块和清洗模块，所述数据采集模块的底部设置有数据交换模块，所述数据交换模块的底部设置有流处理模块和批处理模块，所述流处理模块和所述批处理模块的底部设置有SplitFlow设备，所述数据解析模块包括信令协议解析模块、数据业务协议解析模块、移动网络核心网3G协议解析模块和移动网络核心网4G协议解析模块，其中，所述信令协议解析模块包括固网radius信令模块、移动网络Radius信令模块、移动网络核心网网GTP-C信令模块和自定义信令协议模块。进一步的，所述SplitFlow设备的数据丢包率小于万分之一。进一步的，所述数据采集模块与网络设备接口电连接。进一步的，所述网络设备接口的内侧设置有原始套接字模块。进一步的，所述数据过滤模块的底部设置有业务模块。本技术的有益效果：通过引入了SplitFlow采集技术，使得数据丢包率得到了控制，提升了系统的服务质量，设计了程序包即插即用能力，并且封装目前主流的几种数据协议处理器，因此在面向不同的数据源时，可以灵活地处理不同的数据源，引入了C/C++/Kafka/Socket/Avro等技术，数据在系统内容以流的方式流转，以及分析系统内部维护了用户关联关系，用户实时状态做到了快速更新，从而满足了大并发操作，大大提升了数据处理的效率，数据处理响应降低到了微秒级。另外，通过把SplitFlow设备的数据丢包率小于万分之一，使得数据丢包率得到了控制；通过把数据采集模块与网络设备接口电连接，使得数据获取更加快速；通过把网络设备接口的内侧设置有原始套接字模块，使得接口具有识别能力；通过把数据过滤模块的底部设置有业务模块，便于进行业务分析处理。附图说明为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本技术实施例的一种基于网络数据传输设备实时数据采集设备的采集解析应用部署图；图2是根据本技术实施例的一种基于网络数据传输设备实时数据采集设备的采集解析技术框架图；图3是根据本技术实施例的一种基于网络数据传输设备实时数据采集设备的实时采集功能框架图；图4是根据本技术实施例的一种基于网络数据传输设备实时数据采集设备的框架图之一；图5是根据本技术实施例的一种基于网络数据传输设备实时数据采集设备的框架图之二；图6是根据本技术实施例的一种基于网络数据传输设备实时数据采集设备的框架图之三。图中：1、数据采集模块；2、数据解析模块；3、数据过滤模块；4、数据协议模块；5、Kafka队列模块一；6、Kafka队列模块二；7、信令报文模块；8、数据报文模块；9、采集模块；10、解析模块；11、清洗模块；12、数据交换模块；13、流处理模块；14、批处理模块；15、SplitFlow设备；16、信令协议解析模块；17、数据业务协议解析模块；18、移动网络核心网3G协议解析模块；19、移动网络核心网4G协议解析模块；20、固网radius信令模块；21、移动网络Radius信令模块；22、移动网络核心网网GTP-C信令模块；23、自定义信令协议模块；24、网络设备接口。具体实施方式下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本技术保护的范围。根据本技术的实施例，提供了一种基于网络数据传输设备实时数据采集设备。如图1-6所示，根据本技术实施例的一种基于网络数据传输设备实时数据采集设备，包括数据采集模块1、数据解析模块2和数据过滤模块3，所述数据采集模块1通过数据协议模块4与所述数据解析模块2电连接，所述数据协议模块4通过Kafka队列模块一5与所述数据解析模块2电连接，所述数据解析模块2通过Kafka队列模块二6与所述数据过滤模块3电连接，其中，所述数据采集模块1顶部设置有信令报文模块7和数据报文模块8，所述数据报文模块8的顶部设置有采集模块9、解析模块10和清洗模块11，所述数据采集模块1的底部设置有数据交换模块12，所述数据交换模块12的底部设置有流处理模块13和批处理模块14，所述流处理模块13和所述批处理模块14的底部设置有SplitFlow设备15，所述数据解析模块2包括信令协议解析模块16、数据业务协议解析模块17、移动网络核心网3G协议解析模块18和移动网络核心网4G协议解析模块19，其中，所述信令协议解析模块16包括固网radius信令模块20、移动网络Radius信令模块21、移动网络核心网网GTP-C信令模块22和自定义信令协议模块23。借助于上述技术方案，通过引入了SplitFlow采集技术，使得数据丢包率得到了控制，提升了系统的服务质量，设计了程序包即插即用能力，并且封装目前主流的几种数据协议处理器，因此在面向不同的数据源时，可以灵活地处理不同的数据源，引入了C/C++/Kafka/Socket/Avro等技术，数据在系本文档来自技高网...

【技术保护点】
1.一种基于网络数据传输设备实时数据采集设备，其特征在于，包括数据采集模块(1)、数据解析模块(2)和数据过滤模块(3)，所述数据采集模块(1)通过数据协议模块(4)与所述数据解析模块(2)电连接，所述数据协议模块(4)通过Kafka队列模块一(5)与所述数据解析模块(2)电连接，所述数据解析模块(2)通过Kafka队列模块二(6)与所述数据过滤模块(3)电连接，其中，所述数据采集模块(1)顶部设置有信令报文模块(7)和数据报文模块(8)，所述数据报文模块(8)的顶部设置有采集模块(9)、解析模块(10)和清洗模块(11)，所述数据采集模块(1)的底部设置有数据交换模块(12)，所述数据交换模块(12)的底部设置有流处理模块(13)和批处理模块(14)，所述流处理模块(13)和所述批处理模块(14)的底部设置有SplitFlow设备(15)，所述数据解析模块(2)包括信令协议解析模块(16)、数据业务协议解析模块(17)、移动网络核心网3G协议解析模块(18)和移动网络核心网4G协议解析模块(19)，其中，所述信令协议解析模块(16)包括固网radius信令模块(20)、移动网络Radius信令模块(21)、移动网络核心网网GTP‑C信令模块(22)和自定义信令协议模块(23)。...

【技术特征摘要】
2018.03.30 CN 20182044297151.一种基于网络数据传输设备实时数据采集设备，其特征在于，包括数据采集模块(1)、数据解析模块(2)和数据过滤模块(3)，所述数据采集模块(1)通过数据协议模块(4)与所述数据解析模块(2)电连接，所述数据协议模块(4)通过Kafka队列模块一(5)与所述数据解析模块(2)电连接，所述数据解析模块(2)通过Kafka队列模块二(6)与所述数据过滤模块(3)电连接，其中，所述数据采集模块(1)顶部设置有信令报文模块(7)和数据报文模块(8)，所述数据报文模块(8)的顶部设置有采集模块(9)、解析模块(10)和清洗模块(11)，所述数据采集模块(1)的底部设置有数据交换模块(12)，所述数据交换模块(12)的底部设置有流处理模块(13)和批处理模块(14)，所述流处理模块(13)和所述批处理模块(14)的底部设置有SplitFlow设备(15)，所...

【专利技术属性】
技术研发人员：郑菀俪，
申请(专利权)人：北京资采信息技术有限公司，
类型：新型
国别省市：北京,11