The invention discloses an original flow storage device based on Kafka, which includes: frame receiving module: receiving flow packets of external system; frame parsing module: parsing flow packets and acquiring five-tuple information, sending five-tuple information as key value of Kafka message to Kafka cluster; original flow landing module: using spark streaming module to store data received by Kafka cluster in batches. Store in large data storage components. The invention has strong throughput capability under network traffic larger than 10 gbps, supports offline processing, supports fuzzy query and has fast query speed. Users can store traffic packages in large data storage components in real time, and realize real-time upper business on this basis.
【技术实现步骤摘要】
基于Kafka的原始流量存储装置
本专利技术涉及大数据技术及网络安全技术，特别是涉及原始流量存储装置。
技术介绍
在互联网高速发展的今天，互联网安全成为一个重要的研究领域。新一代的网络安全技术与大数据技术结合，得到进一步发展，如基于大数据的网络威胁检测、网络安全预警、网络安全审计、深度包检测等，存储网络流量数据为应对0-day攻击、高级可持续攻击等提供数据基础。除了传统采集设备本身存储空间有限，不适合长期存储海量原始流量数据以外，大多数现有网络流量存储、处理、查询均基于storm、HBase的流式框架实现，其不足之处在于：1)在大于10gbps的网络流量下，吞吐能力弱；2)不支持离线处理；3)查询项单一，不支持模糊查询，查询速度慢。
技术实现思路
专利技术目的：本专利技术的目的是提供一种基于Kafka的原始流量存储装置，它在大于10gbps的网络流量下吞吐能力强，支持离线处理，支持模糊查询，查询速度快。技术方案：本专利技术所述的基于Kafka的原始流量存储装置，包括：帧接收模块：接收外部系统的流量包；帧解析模块：解析流量包并获取五元组信息，将五元组信息作为kafkam...
【技术保护点】
1.基于Kafka的原始流量存储装置，其特征在于：包括：帧接收模块：接收外部系统的流量包；帧解析模块：解析流量包并获取五元组信息，将五元组信息作为kafka message的key值，发往kafka集群；原始流量落地模块：采用spark streaming模块将kafka集群收到的数据批量存储到大数据存储组件。
【技术特征摘要】
1.基于Kafka的原始流量存储装置，其特征在于：包括：帧接收模块：接收外部系统的流量包；帧解析模块：解析流量包并获取五元组信息，将五元组信息作为kafkamessage的key值，发往kafka集群；原始流量落地模块：采用sparkstreaming模块将kafka集群收到的数据批量存储到大数据存储组件。2.根据权利要求1所述的基于Kafka的原始流量存储装置，其特征在于：所述流量包和五元组信息均存储到imp...
【专利技术属性】
技术研发人员：陈月冬，张言，吴飞，
申请(专利权)人：南京中新赛克科技有限责任公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。