一种流量深度解析数据的快速检索系统和方法技术方案

本发明专利技术提供了一种流量深度解析数据的快速检索系统和方法，该系统包括：数据过滤单元，用于根据预设流量数据的数据格式，对缓存至本地缓存队列中的流量数据进行过滤；数据存储单元，用于根据预定义的模板，将数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；数据检索单元，用于根据数据存储单元存储的检索索引，在数据库中检索出与检索请求对应的流量数据。本公开通过数据存储单元，用于根据预定义的模板，将数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；并通过数据检索单元，精准、且快速地从数据库中检索出与检索请求对应的流量数据。

A fast retrieval system and method of traffic depth analysis data

【技术实现步骤摘要】
一种流量深度解析数据的快速检索系统和方法
本专利技术涉及计算机
，具体而言，涉及一种流量深度解析数据的快速检索系统和方法。
技术介绍
工控系统面临着日益严峻的安全风险，一旦关键行业的工控系统受到攻击，对个人、企业甚至国家的安全都会造成影响，如果对网络中的原始流量进行深度解析，并对解析后形成的结构化数据进行监测审计，对整个工控网络威胁的实时监测以及安全事件的定位追溯都具有重要意义。工控网络系统采用的通信协议复杂多样，且网络流量数据量巨大，对流量的实时解析、传输、快速存储和检索带来挑战。传统的基于关系型数据库的schema设计往往基于确定的数据结构(属性列)，无法满足针对灵活的不可以预知属性的动态扩展存储，同时也无法满足对大数据集的实时检索要求；目前比较流行的NOSQL数据库，如Redis，MongoDB等无法满足多字段实时检索的问题。因此，在长期的研发当中，专利技术人对流量数据的检索方法进行了大量的研究，提出了一种流量数据的检索方法，以解决上述技术问题之一。
技术实现思路
本专利技术的目的在于提供本文档来自技高网...

【技术保护点】
1.一种流量深度解析数据的快速检索系统，其特征在于，包括：/n数据收集与缓存单元，用于通过多个流量引擎采集并解析流量数据，并将解析后的流量数据缓存至本地缓存队列中；/n数据过滤单元，用于根据预设流量数据的数据格式，对缓存至所述本地缓存队列中的所述流量数据进行过滤；/n数据存储单元，用于根据预定义的模板，将所述数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；/n数据检索单元，用于根据所述数据存储单元存储的所述检索索引，在所述数据库中检索出与检索请求对应的流量数据。/n

【技术特征摘要】
1.一种流量深度解析数据的快速检索系统，其特征在于，包括：
数据收集与缓存单元，用于通过多个流量引擎采集并解析流量数据，并将解析后的流量数据缓存至本地缓存队列中；
数据过滤单元，用于根据预设流量数据的数据格式，对缓存至所述本地缓存队列中的所述流量数据进行过滤；
数据存储单元，用于根据预定义的模板，将所述数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；
数据检索单元，用于根据所述数据存储单元存储的所述检索索引，在所述数据库中检索出与检索请求对应的流量数据。


2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
模板映射结构定义单元，用于对所述数据存储单元存储的各个预定义的模板类型的模板映射结构进行预先定义。


3.根据权利要求2所述的系统，其特征在于，所述系统还包括：
获取单元，用于获取所述模板映射结构定义单元定义出的各个模板的模板映射结构信息；
其中，所述模板映射结构信息至少包括：
属性名信息、类型信息和对应的描述信息。


4.根据权利要求1所述的系统，其特征在于，所述系统还包括：
添加数据单元，用于将待添加的流量数据，通过设置于所述数据存储单元上的添加接口添加至所述数据库中。


5.根据权利要求1所述的系统，其特征在于，所述系统还包括：
删除数据单元，用于通过设置于所述...

【专利技术属性】
技术研发人员：颜天成，李太斌，张冲，延帅，
申请(专利权)人：华能四川水电有限公司，
类型：发明
国别省市：四川;51