【技术实现步骤摘要】
本专利技术涉及通信
，尤其涉及一种网络日志数据管理方法、系统 及装置。
技术介绍
随着网络的发展，用户对于网络的需求也从网络基础服务向精细化、应 用分析和网络服务管理转变，网络的运行状态，流量数据被逐渐重视，而这 些信息被淹没在大量的网络日志中，对网络行为的分析带来巨大的挑战。网 络日志指包括网络行为信息并符合一定格式规范的日志记录，这些日志具有 多种形式，可以是网络报文或特定格式的日志文件。由于网络日志内容繁杂， 且形式各异，属于典型的异构数据，给日志数据的管理带来较大难度。目前，对于网络日志多采用原始日志存入数据库或提取部分信息后丟弃 原始日志的处理方式。现有技术中，网络日志保存在数据库中，如图l所示，以数据库为核心，将日志文件及网络报文接收处理后保存到数据库中，Web服 务器从数据库中查询用户需要的信息，进行数据展示。这种日志处理方案严 重依赖于数据库，所有数据都存放在数据库中，由于数据以原始形态存放， 占用较多的磁盘空间，提高了系统的部署成本，同时数据库过大还会导致查 询性能下降，数据文件无法收缩从而导致磁盘空间耗尽，引起数据库系统异 常，进而影响...
【技术保护点】
一种网络日志数据管理方法，应用于包括日志处理器、数据库、日志管理装置和ＷＥＢ服务器的系统中，其特征在于，所述方法包括以下步骤： 所述日志处理器从网络报文和日志文件获取日志数据，并存储于所述数据库； 所述日志管理装置统一对所述日志 数据进行存储、读取或清理，使所述ＷＥＢ服务器从所述日志管理装置读取日志数据，对所述日志数据进行操作。
【技术特征摘要】
1、一种网络日志数据管理方法，应用于包括日志处理器、数据库、日志管理装置和WEB服务器的系统中，其特征在于，所述方法包括以下步骤所述日志处理器从网络报文和日志文件获取日志数据，并存储于所述数据库；所述日志管理装置统一对所述日志数据进行存储、读取或清理，使所述WEB服务器从所述日志管理装置读取日志数据，对所述日志数据进行操作。2、 如权利要求l所述的方法，其特征在于，所述日志管理装置统一对所 述日志数据进行存储、读取或清理，具体包括对数据库中的日志数据所使用的空间进行检测； 根据空间使用情况对空间使用增长趋势进行分析和预测； 根据分析和预测结果及预定义策略或用户自定义的管理策略执行存储、 读取或清理操作。3、 如权利要求2所述的方法，其特征在于，所述对数据库中的日志数据 所使用的空间进行4企测，具体包括按照预设周期定时启动空间检测操作，在每个空间;险测执行周期开始时 检测数据库使用情况和磁盘使用情况，将检测结果存入数据库中；所述对空间使用增长趋势进行分析和预测，具体包括根据空间检测结果，分析当前日志数据空间状态，并结合历史信息通过 增量分析和基线分析预测空间变化趋势；所述分析和预测结果及预定义策略或用户自定义的管理策略执行存储、 读取或清理操作，具体包括在接收到日志空间分析/预测结果后，根据结果在策略列表中查找符合条 件的策略并执行。4、 如权利要求3所述的方法，其特征在于，所述检测数据库使用情况， 具体包括查询数据库的大小、数据库已使用空间和数据库位置； 所述检测磁盘使用情况，具体包括根据数据库位置和转储路径，确定需要检测的磁盘分巻；检测所述分巻 的容量大小、分巻已使用空间的大小。5、 如权利要求3所述的方法，其特征在于，所述结合历史信息通过增量 分析和基线分析预测空间变化趋势，具体包括根据空间检测结果判断数据库当前空间使用量是否达到阈值，如果达到， 将空间信息提交策略执行模块；如杲没有达到，获取周期内数据库的变化量，读取增量基线数据，根据 基线判断增量值是否在正常范围内，如果不在，发出数据空间使用量增量告 警，如果在，读取数据空间使用量历史值，使用本次空间信息和历史信息进 行空间趋势预测，将预测结果提交策略执行冲莫块。6、 一种网络日志数据管理系统，其特征在于，包括日志处理器、数据库、 WEB服务器和日志管理装置；所述日志处理器，用于从网络报文和日志文件获取日志...
【专利技术属性】
技术研发人员：杨静涛，
申请(专利权)人：杭州华三通信技术有限公司，
类型：发明
国别省市：86[中国|杭州]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。