一种基于深度包检测的海量数据监控系统及方法技术方案
【技术实现步骤摘要】
一种基于深度包检测的海量数据监控系统及方法
本专利技术涉及数据监控领域，特别是涉及一种基于深度包检测的海量数据监控系统及方法。
技术介绍
随着互联网技术的不断发展，网络已经渗透到了国家的政治、经济、军事、文化、生活等各个领域，整个社会的运转已经与网络密不可分。这种对网络的高度依赖性，使得网络的稳定与安全成为一个需要重点关注和解决的问题。为了实现网络的稳定与安全运行，现有技术中通常会利用网络检测技术来识别网络传输信息的安全性、分析网络流量异常等。例如，常用的DPI(deeppackageinspection深度报文检测)技术，是一种面向应用层的流量分析检测技术，可实现对网络流量的深度检测分析。现有技术中的DPI技术的应用场景是针对运营商、企业、校园、网吧等，将DPI软件设置于以太网交换机或路由器中，用于流量的识别和监控处理。然而，随着互联网技术的不断发展，网络传输的数据量不断增加，现有的DPI软件受其运算性能的限制，仅能监控数据量小的以太网络的流量，无法实现对于运营商多个骨干网络传输的海量数据进行同时监控。因此，如何高效地监控运营商骨干网络中传输的海量数据成为一个急...
【技术保护点】
一种基于深度包检测的海量数据监控系统，其特征在于，所述系统设置有多个探针服务器,所述系统包括：数据采集模块，用于按照同宿同源的规则将待监控数据分发至多个探针服务器，其中，每个所述探针服务器中设置有至少一个数据监控模块；数据监控模块，用于根据预设配置采集所述数据采集模块分发的待监控数据，并对所述待监控数据进行深度包识别和网络传输信息监测；缓存模块，用于缓存所述待监控数据的识别结果和网络传输信息；数据处理模块，用于分布式存储和分析所述识别结果和网络传输信息，生成监控数据。
【技术特征摘要】
1.一种基于深度包检测的海量数据监控系统，其特征在于，所述系统设置有多个探针服务器,所述系统包括：数据采集模块，用于按照同宿同源的规则将待监控数据分发至多个探针服务器，其中，每个所述探针服务器中设置有至少一个数据监控模块；数据监控模块，用于根据预设配置采集所述数据采集模块分发的待监控数据，并对所述待监控数据进行深度包识别和网络传输信息监测；缓存模块，用于缓存所述待监控数据的识别结果和网络传输信息；数据处理模块，用于分布式存储和分析所述识别结果和网络传输信息，生成监控数据。2.如权利要求1所述的系统，其特征在于，所述预设配置包括所述数据监控模块的部署编号和所述探针服务器上采集所述待监控数据的网卡标识，所述数据监控模块进一步用于，采集所述网卡标识指定的网卡接收的待监控数据，并对所述待监控数据进行深度包识别和网络传输信息监测。3.如权利要求2所述的系统，其特征在于，所述数据监控模块进一步包括：流量读取模块，用于实时采集所述网卡标识指定的网卡接收的所述待监控数据，根据网络层协议和传输层协议对所述待监控数据进行解析并封装成待识别数据包；业务数据提取模块，用于解析所述待识别数据包，提取所述待识别数据包中的业务数据并监测所述业务数据的网络传输信息；识别模块，用于加载业务类型识别引擎识别所述业务数据的应用类型，以及监测与所述应用类型关联的所述业务数据的网络传输信息；统计模块，用于统计并存储所述业务数据的网络传输信息；缓存接口模块，用于建立和缓存服务器的连接池，并根据调用从所述连接池中选择空闲连接，将所述业务数据的识别结果和网络传输信息存储至所述缓存模块；设定数量的工作线程，用于依次调用所述业务数据提取模块、识别模块、统计模块，对所述流量读取模块封装的待识别数据包进行深度包识别和网络传输信息监测，再调用所述缓存接口模块提供的接口存储所述待监控数据的识别结果和网络传输信息。4.如权利要求3所述的系统，其特征在于，所述识别模块进一步包括：多个设置有不同调用优先级的业务类型识别引擎，所述识别模块按照调用优先级由高到低的顺序依次加载所述业务类型识别引擎识别所述业务数据的应用类型，以及监测所述应用类型关联的所述业务数据的网络传输信息。5.如权利要求1至4任意权利要求所述的系统，其特征在于，所述缓存模块采用键值对的方式缓存所述待监控数据的识别结果和网络传输信息，其中，键值为所述待监控数据的时间戳和五元组，值为所述待监控数据的识别结果和网络传输信息；所述系统进一步包括：数据转发模块，用于对缓存模块缓存的所述识别结果和网络传输信息进行格式转换，并发送至所述数据处理模块。6....
【专利技术属性】
技术研发人员：杨志嘉，赵雨佳，王赟，
申请(专利权)人：大唐软件技术股份有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。