流量日志分析方法、系统及计算机可读存储介质技术方案

本说明书实施例提供了一种流量日志分析方法、系统及计算机可读存储介质，所述方法包括：采集目标网络的流量数据集；获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。上述方案中，通过获取流量数据的传输层信息以及应用层信息，生成目标流量日志，即，将流量数据日志化，通过对日志进行分析实现对流量数据的监控和分析，从而增强了对流量数据的分析能力。

【技术实现步骤摘要】
流量日志分析方法、系统及计算机可读存储介质
本说明书涉及计算机
，尤其涉及一种流量日志分析方法、系统及计算机可读存储介质。
技术介绍
随着科学技术的不断发展，网上用户和业务流量也在不断增长，需要大规模的网络系统来支撑。以运营商网络系统为例，大规模的网络系统会产生大规模的流量数据，一方面，运营商可以根据大规模的流量数据深度分析用户数据，挖掘更多价值应用，将流量数据优势转化为市场优势；另一方面，可以将大规模流量数据优势转化封装成大数据产品和能力，开放给第三方使用，扩大流量数据的应用范围，提升流量数据的使用价值。虽然大规模流量数据拥有众多优点，但在现有技术中，对流量数据的分析能力不足，无法满足个性化的流量分析需求。
技术实现思路
鉴于上述问题，提出了本说明书以便提供一种克服上述问题或者至少部分地解决上述问题的流量日志分析方法、系统及计算机可读存储介质。第一方面，本说明书提供一种流量日志分析方法，所述方法包括：采集目标网络的流量数据集；获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。可选地，所述采集目标网络的流量数据集，包括：根据预设流量过滤规则对所述目标网络的流量数据进行过滤，获得过滤后的流量数据作为所述流量数据集。可选地，所述获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，包括：通过深度流检测方式对所述每条流量数据对应的报文内容进行逐一检测，获得所述传输层信息以及所述应用层信息。可选地，所述根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，包括：根据所述传输层信息、所述应用层信息以及预设分类信息，对所述流量数据集进行分类，获得所述流量数据集的分类结果；根据所述分类结果中每个类别对应的传输层信息以及应用层信息，生成目标流量日志。可选地，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果，包括：根据接收到的日志分析指令，确定与所述日志分析指令对应的所述预设日志分析规则；根据所述预设日志分析规则对所述目标流量日志进行日志分析。可选地，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果之后，所述方法还包括：在所述日志分析结果表明所述流量数据集存在异常时，生成提醒信息，以对流量异常进行预警。可选地，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果之后，所述方法还包括：将所述日志分析结果进行可视化处理。可选地，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果，包括：通过Elasticsearch对所述目标流量日志进行处理，获得所述日志分析结果。第二方面，本说明书提供一种流量日志分析系统，包括：流量采集装置，用于采集目标网络的流量数据集；流量分析装置，用于获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；以及根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；日志分析装置，用于根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。可选地，所述流量采集装置用于：根据预设流量过滤规则对所述目标网络的流量数据进行过滤，获得过滤后的流量数据作为所述流量数据集。可选地，所述流量分析装置用于：通过深度流检测方式对所述每条流量数据对应的报文内容进行逐一检测，获得所述传输层信息以及所述应用层信息。可选地，所述流量分析装置用于：根据所述传输层信息、所述应用层信息以及预设分类信息，对所述流量数据集进行分类，获得所述流量数据集的分类结果；根据所述分类结果中每个类别对应的传输层信息以及应用层信息，生成目标流量日志。可选地，所述日志分析装置用于：根据接收到的日志分析指令，确定与所述日志分析指令对应的所述预设日志分析规则；根据所述预设日志分析规则对所述目标流量日志进行日志分析。可选地，所述系统还包括：提醒模块，用于在所述日志分析结果表明所述流量数据集存在异常时，生成提醒信息，以对流量异常进行预警。可选地，所述系统还包括：可视化装置，将所述日志分析结果进行可视化处理。可选地，所述日志分析装置用于：通过Elasticsearch对所述目标流量日志进行处理，获得所述日志分析结果。第三方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。本说明书上述一个或多个技术方案，具有以下技术效果：在本说明书实施例提供的流量日志分析方法中，采集目标网络的流量数据集；获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。上述方案中，通过获取流量数据的传输层信息以及应用层信息，生成目标流量日志，即将流量数据日志化，通过对日志进行分析实现对流量数据的监控和分析，从而增强了对流量数据的分析能力。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本说明书第一方面提供的流量日志分析方法的流程图；图2为本说明书提供的一种日志分析装置的示意图；图3为本说明书第二方面提供的流量日志分析装置的示意图。具体实施方式为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。第一方面，本说明书实施例提供的一种流量日志分析方法，该方法可以应用于流量日志分析系统中，该系统可以包括流量采集装置、流量分析装置以及日志分析装置。其中，流量采集装置可以用于采集网络流量数据，流量分析装置可以与流量采集装置相连，用于对采集到的流量数据进行处理，包括获取流量数据中的信息，生成流量日志等。日志分析装置可以与流量分析装置相连，用于接收流量日志，并对流量日志进行分析处理。另外，流量日志分析系统还可以包括可视化装置，用于将流量日志的分析结果进行可视化展示。如图1所示，为本说明书实施例提供的一种流量日志分析方法的流程图，该方法包括以下步骤。步骤S11：采集目标网络的流量数据集；步骤S12：获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；步骤S13：根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；步骤S14：根据预设日志分析规则对本文档来自技高网...

【技术保护点】
1.一种流量日志分析方法，其特征在于，所述方法包括：采集目标网络的流量数据集；获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。

【技术特征摘要】
1.一种流量日志分析方法，其特征在于，所述方法包括：采集目标网络的流量数据集；获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，确定传输层信息集合以及应用层信息集合；根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，所述目标流量日志用于表征所述流量数据集的全局特征；根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果。2.根据权利要求1所述的流量日志分析方法，其特征在于，所述采集目标网络的流量数据集，包括：根据预设流量过滤规则对所述目标网络的流量数据进行过滤，获得过滤后的流量数据作为所述流量数据集。3.根据权利要求1所述的流量日志分析方法，其特征在于，所述获取所述流量数据集中每条流量数据中的传输层信息以及应用层信息，包括：通过深度流检测方式对所述每条流量数据对应的报文内容进行逐一检测，获得所述传输层信息以及所述应用层信息。4.根据权利要求1所述的流量日志分析方法，其特征在于，所述根据所述传输层信息集合以及所述应用层信息集合，生成目标流量日志，包括：根据所述传输层信息、所述应用层信息以及预设分类信息，对所述流量数据集进行分类，获得所述流量数据集的分类结果；根据所述分类结果中每个类别对应的传输层信息以及应用层信息，生成目标流量日志。5.根据权利要求1所述的流量日志分析方法，其特征在于，所述根据预设日志分析规则对所述目标流量日志进行日志分析，获得日志分析结果，包括：根据接收到的日志分析...

【专利技术属性】
技术研发人员：刘斌，关振宁，李元聪，张杰，
申请(专利权)人：武汉市硅丰科技发展有限责任公司，
类型：发明
国别省市：湖北,42