一种基于网络数据传输设备实时数据采集与解析方法技术

本发明专利技术公开了一种基于网络数据传输设备实时数据采集与解析方法，包括数据采集模块DCP、数据解析模块、数据过滤模块，所述数据采集模块负责从网络设备接口获取数据，所述数据解析模块负责对数据包进行解析，所述数据过滤模块从队列中获取数据，按照配置提取需要保留的数据信息，数据过滤后，交由后面所述数据过滤模块进行数据处理。有益效果在于：数据丢包率得到了控制，提升了采集源水平扩展能力，提升了数据处理效率。

A real-time data acquisition and analysis method based on network data transmission equipment

【技术实现步骤摘要】
一种基于网络数据传输设备实时数据采集与解析方法
本专利技术涉及数据传输设备领域，本专利技术涉及一种基于网络数据传输设备实时数据采集与解析方法。
技术介绍
随着“互联网+”的普及，社会从“IT”时代跨越到了“DT”时代，大数据平台应运而生，而数据的量级是平台发展的前提，如果大数据平台没有足够的数据需要处理，无法发挥其真正的作用，因此数据获取则是大数据平台关键的和不可获取的组成部分。当今大数据平台的数据采集模块多倾向于离线采集和实时采集相结合，以定时采集文件和实时从消息队列获取数据为主要方式；这种数据采集方式有比较多的局限性：数据获取受限于消息队列的提供方的效率；另外，随着网络带宽不断提升，直接从网络设备上获取数据将成为必然的趋势，并且海量宝贵的数据资源如果不能实时获取，长远来看，本身也是一种损失。因此我们专利技术了直接从网络传输设备上直接获取数据，从而提高数据采集的速率，快速把大量数据采集到系统中来，并进行相应的网络协议、数据协议解析，输出为可以使用的结构化数据，所谓从网络传输设备上实时进行数据采集，是指直接从网络接口卡、光纤分光器等网络数据传输设备上按照既定的数据协议读取网络中传输的本文档来自技高网...

【技术保护点】
1.一种基于网络数据传输设备实时数据采集与解析方法，其特征在于：包括数据采集模块DCP、数据解析模块、数据过滤模块，所述数据采集模块负责从网络设备接口获取数据，所述数据解析模块负责对数据包进行解析，所述数据过滤模块从队列中获取数据，按照配置提取需要保留的数据信息，数据过滤后，交由后面所述数据过滤模块进行数据处理。

【技术特征摘要】
1.一种基于网络数据传输设备实时数据采集与解析方法，其特征在于：包括数据采集模块DCP、数据解析模块、数据过滤模块，所述数据采集模块负责从网络设备接口获取数据，所述数据解析模块负责对数据包进行解析，所述数据过滤模块从队列中获取数据，按照配置提取需要保留的数据信息，数据过滤后，交由后面所述数据过滤模块进行数据处理。2.根据权利要求1所述的一种基于网络数据传输设备实时数据采集与解析方法，其特征在于：所述数据采集模块DCP是大数据解决方案中的一个子系统，位于总体架构的前端，负责信令报文和数据报文的采集、解析和清洗。所述数据采集模块DCP在完成数据加工处理以后，按照约定格式保存到数据交换系统中，流处理平台和批处理平台分别各自从数据交换系统中读取，结合各自业务需求开展数据分析和数据挖掘作业，用户通过多种设备经过身份认证后接入城域网，数据采集设备部署在城域网骨干出口，采用分光方式把用户数据和认证数据通过镜像方式汇聚到SplitFlow设备，由SplitFlow设备对上述数据进行采集和预处理，按照数据报文网络层源IP地址信息进行数据分流处理，将报文原文转发至下游数据分析计算处理设备集群。3.根据权利要求1所述的一种基于网络数据传输设备实时数据采集与解析方法，其特征在于：所述数据解析模块包括信令协议解析、数...

【专利技术属性】
技术研发人员：刘青山，郑菀俪，
申请(专利权)人：北京资采信息技术有限公司，
类型：发明
国别省市：北京,11