一种基于异网日志分析的方法技术

本发明专利技术公开了一种基于异网日志分析的方法，S1、使用时，客户端与异构网络服务器进行连接，同时日志收集单元会收集网站运行时的各种记录并发送至日志分类记录系统，此时日志分类记录系统中的爬虫访问记录模块、用户访问记录模块和HTTP状态码记录模块会分别记录会记录蜘蛛访问的次数、停留时间以及抓取的数量，本发明专利技术涉及日志分析技术领域。该基于异网日志分析的方法，网站运行时，能够对采集到的不同类型的信息进行标准化梳理，在数据梳理完毕后，采用大数据对日志进行分析并对分析出的问题进行自动化处理，协助技术人员从海量日志中迅速准确的识别异常情况，大幅降低日志分析和管理工作强度，提高工作效率。

A method of log analysis based on different network

【技术实现步骤摘要】
一种基于异网日志分析的方法
本专利技术涉及日志分析
，具体为一种基于异网日志分析的方法。
技术介绍
异构网络是一种类型的网络，其是由不同制造商生产的计算机，网络设备和系统组成的，大部分情况下运行在不同的协议上支持不同的功能或应用，目前异构网络已经被广泛使用。在异构网络中，通过对网站日志的分析，可以很好的判断网站的健康程度，并且还可以看到蜘蛛抓取的记录以及用户的一些行为记录，这样数据对于管理开发者来讲无疑是提升网站的一个关键，可以时刻的让我们看到网站的不足之处，从而进行改正，目前市面上也出现看很多日志分析系统，但现有的日志分析系统还存在以下不足：1、在网站运行时，对各种运行数据进行采集后，没有对收集的数据进行分类处理，系统一般是自动打印成表格，然后供人工技术人员进行查看，在大量而繁杂的数据中，技术人员想要找出异常的数据十分的困难，工作效率极低；2、日志数据一般是存储在本地服务器中，在使用3-6个月后，会导致本地缓冲空间不足，从而不得不将日志数据进行清除，从而无法寻找6个月以前的日志数据。<br>
技术实现思路
<本文档来自技高网...

【技术保护点】
1.一种基于异网日志分析的方法，其特征在于：包括如下步骤：/nS1、使用时，客户端与异构网络服务器进行连接，同时日志收集单元会收集网站运行时的各种记录并发送至日志分类记录系统，此时日志分类记录系统中的爬虫访问记录模块、用户访问记录模块和HTTP状态码记录模块会分别记录会记录蜘蛛访问的次数、停留时间以及抓取的数量、网站目录蜘蛛抓取的统计、网站页面的抓取、了解蜘蛛是否访问本页面以及访问页面的状态代码，待日志分类记录系统分类统计完毕后会将统计数据发送至本地转存模块；/nS2、在分析前，操作人员可以通过异常情景预设系统中的网络攻击异常行为预设模块、用户异常访问行为预设模块和异常操作行为预设模块分别设置...

【技术特征摘要】
1.一种基于异网日志分析的方法，其特征在于：包括如下步骤：
S1、使用时，客户端与异构网络服务器进行连接，同时日志收集单元会收集网站运行时的各种记录并发送至日志分类记录系统，此时日志分类记录系统中的爬虫访问记录模块、用户访问记录模块和HTTP状态码记录模块会分别记录会记录蜘蛛访问的次数、停留时间以及抓取的数量、网站目录蜘蛛抓取的统计、网站页面的抓取、了解蜘蛛是否访问本页面以及访问页面的状态代码，待日志分类记录系统分类统计完毕后会将统计数据发送至本地转存模块；
S2、在分析前，操作人员可以通过异常情景预设系统中的网络攻击异常行为预设模块、用户异常访问行为预设模块和异常操作行为预设模块分别设置出各种异常数据值，待本地转存模块接收到数据后会将数据发送至人工分析模块和情景数据对比系统中的数据核对模块，此时数据核对模块会与异常情景预设系统中预设的数据进行对比，在对比过程中若有吻合数据，则情景确定模块会确定出对应的异常行为；
S3、待情景确定模块会确定出对应的异常行为后会启动应对方案存储库，此时应对方案存储库会提取出关于异常行为对应的解决方案，并将解决方案发送至应对策略执行模块，同时在人工分析模块接收到日志数据后，会对日志数据进行人工分析，若人工分析的过程中发现异常，会将解决方案输入应对策略执行模块，此时应对策略执行模块会同时执行应对方案存储库和人工所提出的应对方案，从而对异常行为进行解决；
S4、在本地转存模块接收到日志数据后，云存储模块会对日志数据进行存储，在需要对过往日志数据进行提取时，操作人员可以通过打印提取模块打印出对应时间的日志数据表格。


2.根据权利要求1所述的一种基于异网日志分析的方法，其特征在于：所述客户端与异构网络服务器实现双向连接，所述异构网络服务器与日志收集单元实现双向连接，所述日志收集单元的输出端与日志分类记录系统的输入端连接，并且日志分类记录系统的输出端与本地转存模块...

【专利技术属性】
技术研发人员：黄益炯，
申请(专利权)人：杭州数群科技有限公司，
类型：发明
国别省市：浙江;33