一种基于异网日志分析的方法技术

本发明专利技术公开了一种基于异网日志分析的方法，S1、使用时，客户端与异构网络服务器进行连接，同时日志收集单元会收集网站运行时的各种记录并发送至日志分类记录系统，此时日志分类记录系统中的爬虫访问记录模块、用户访问记录模块和HTTP状态码记录模块会分别记录会记录蜘蛛访问的次数、停留时间以及抓取的数量，本发明专利技术涉及日志分析技术领域。该基于异网日志分析的方法，网站运行时，能够对采集到的不同类型的信息进行标准化梳理，在数据梳理完毕后，采用大数据对日志进行分析并对分析出的问题进行自动化处理，协助技术人员从海量日志中迅速准确的识别异常情况，大幅降低日志分析和管理工作强度，提高工作效率。

A method of log analysis based on different network

【技术实现步骤摘要】
一种基于异网日志分析的方法
本专利技术涉及日志分析
，具体为一种基于异网日志分析的方法。
技术介绍
异构网络是一种类型的网络，其是由不同制造商生产的计算机，网络设备和系统组成的，大部分情况下运行在不同的协议上支持不同的功能或应用，目前异构网络已经被广泛使用。在异构网络中，通过对网站日志的分析，可以很好的判断网站的健康程度，并且还可以看到蜘蛛抓取的记录以及用户的一些行为记录，这样数据对于管理开发者来讲无疑是提升网站的一个关键，可以时刻的让我们看到网站的不足之处，从而进行改正，目前市面上也出现看很多日志分析系统，但现有的日志分析系统还存在以下不足：1、在网站运行时，对各种运行数据进行采集后，没有对收集的数据进行分类处理，系统一般是自动打印成表格，然后供人工技术人员进行查看，在大量而繁杂的数据中，技术人员想要找出异常的数据十分的困难，工作效率极低；2、日志数据一般是存储在本地服务器中，在使用3-6个月后，会导致本地缓冲空间不足，从而不得不将日志数据进行清除，从而无法寻找6个月以前的日志数据。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于异网日志分析的方法，解决了目前在进行日志分析时没有数据进行很好的梳理，导致技术人工劳动强度大，不能够对较长时间的日志数据进行缓存的问题。为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于异网日志分析的方法，包括如下步骤：S1、使用时，客户端与异构网络服务器进行连接，同时日志收集单元会收集网站运行时的各种记录并发送至日志分类记录系统，此时日志分类记录系统中的爬虫访问记录模块、用户访问记录模块和HTTP状态码记录模块会分别记录会记录蜘蛛访问的次数、停留时间以及抓取的数量、网站目录蜘蛛抓取的统计、网站页面的抓取、了解蜘蛛是否访问本页面以及访问页面的状态代码，待日志分类记录系统分类统计完毕后会将统计数据发送至本地转存模块；S2、在分析前，操作人员可以通过异常情景预设系统中的网络攻击异常行为预设模块、用户异常访问行为预设模块和异常操作行为预设模块分别设置出各种异常数据值，待本地转存模块接收到数据后会将数据发送至人工分析模块和情景数据对比系统中的数据核对模块，此时数据核对模块会与异常情景预设系统中预设的数据进行对比，在对比过程中若有吻合数据，则情景确定模块会确定出对应的异常行为；S3、待情景确定模块会确定出对应的异常行为后会启动应对方案存储库，此时应对方案存储库会提取出关于异常行为对应的解决方案，并将解决方案发送至应对策略执行模块，同时在人工分析模块接收到日志数据后，会对日志数据进行人工分析，若人工分析的过程中发现异常，会将解决方案输入应对策略执行模块，此时应对策略执行模块会同时执行应对方案存储库和人工所提出的应对方案，从而对异常行为进行解决；S4、在本地转存模块接收到日志数据后，云存储模块会对日志数据进行存储，在需要对过往日志数据进行提取时，操作人员可以通过打印提取模块打印出对应时间的日志数据表格。优选的，所述客户端与异构网络服务器实现双向连接，所述异构网络服务器与日志收集单元实现双向连接，所述日志收集单元的输出端与日志分类记录系统的输入端连接，并且日志分类记录系统的输出端与本地转存模块的输入端连接。优选的，所述本地转存模块的输出端与情景对比系统的输入端连接，所述情景对比系统与异常情景预设系统实现双向连接，所述情景对比系统的输出端与应对方案存储库的输入端连接，并且应对方案存储库的输出端与应对策略执行模块的输入端连接，所述应对策略执行模块的输出端与异构网络服务器的输入端连接。优选的，所述本地转存模块的输出端与人工分析模块的输入端连接，并且人工分析模块的输出端与应对策略执行模块的输入端连接。优选的，所述本地转存模块的输出端与云存储模块的输入端连接，并且云存储模块与打印提取模块实现双向连接。优选的，所述日志访问记录系统包括爬虫访问记录模块、用户访问记录模块和HTTP状态码记录模块。优选的，所述情景对比系统包括情景确定模块和数据核对模块，所述数据核对模块的输出端与情景确定模块的输入端连接，并且情景确定模块的输出端与应对方案存储库，所述数据核对模块的输出端与异常情景预设系统的输入端连接，所述本地转存模块的输出端与数据核对模块的输入端连接。优选的，所述异常情景预设系统包括网络攻击异常行为预设模块、用户异常访问行为预设模块和异常操作行为预设模块。优选的，所述平均每次抓取页面数为总抓取量/访问次数，所述单页抓取停留为每次停留/每次抓取，所述平均每次停留时间为总停留时间/访问次数。有益效果本专利技术提供了一种基于异网日志分析的方法。与现有技术相比具备以下有益效果：(1)、该基于异网日志分析的方法，通过本地转存模块的输出端与情景对比系统的输入端连接，情景对比系统与异常情景预设系统实现双向连接，情景对比系统的输出端与应对方案存储库的输入端连接，并且应对方案存储库的输出端与应对策略执行模块的输入端连接，应对策略执行模块的输出端与异构网络服务器的输入端连接，情景对比系统包括情景确定模块和数据核对模块，数据核对模块的输出端与情景确定模块的输入端连接，并且情景确定模块的输出端与应对方案存储库，数据核对模块的输出端与异常情景预设系统的输入端连接，本地转存模块的输出端与数据核对模块的输入端连接，在网站运行时，能够对采集到的不同类型的信息进行标准化处理，在数据处理完毕后，采用大数据对日志进行分析并对分析出的问题进行自动化处理，协助管理人员从海量日志中迅速准确的识别异常情况，大幅降低日志分析和管理工作强度，提高工作效率。(2)、该基于异网日志分析的方法，通过本地转存模块的输出端与云存储模块的输入端连接，并且云存储模块与打印提取模块实现双向连接，将日志数据采用云存储，从而相对于传统的本地服务器存储而言，能够对延长日志数据的存储日期，同时避免了本地服务器缓冲空间不足的情况。附图说明图1为本专利技术系统的结构原理框图；图2为本专利技术日志记录系统的结构原理框图；图3为本专利技术情景数据对比系统的结构原理框图；图4为本专利技术异常情景预设系统的结构原理框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-4，本专利技术提供一种技术方案：一种基于异网日志分析的方法，包括如下步骤：S1、使用时，客户端与异构网络服务器进行连接，同时日志收集单元会收集网站运行时的各种记录并发送至日志分类记录系统，此时日志分类记录系统中的爬虫访问记录模块、用户访问记录模块和HTTP状态码记录模块会分别记录会记录蜘蛛访问的次数、停留时间以及抓取的数量、网站目录蜘蛛抓取的统计、网站页面的抓取、了解蜘蛛是否访问本页面以及本文档来自技高网...

【技术保护点】
1.一种基于异网日志分析的方法，其特征在于：包括如下步骤：/nS1、使用时，客户端与异构网络服务器进行连接，同时日志收集单元会收集网站运行时的各种记录并发送至日志分类记录系统，此时日志分类记录系统中的爬虫访问记录模块、用户访问记录模块和HTTP状态码记录模块会分别记录会记录蜘蛛访问的次数、停留时间以及抓取的数量、网站目录蜘蛛抓取的统计、网站页面的抓取、了解蜘蛛是否访问本页面以及访问页面的状态代码，待日志分类记录系统分类统计完毕后会将统计数据发送至本地转存模块；/nS2、在分析前，操作人员可以通过异常情景预设系统中的网络攻击异常行为预设模块、用户异常访问行为预设模块和异常操作行为预设模块分别设置出各种异常数据值，待本地转存模块接收到数据后会将数据发送至人工分析模块和情景数据对比系统中的数据核对模块，此时数据核对模块会与异常情景预设系统中预设的数据进行对比，在对比过程中若有吻合数据，则情景确定模块会确定出对应的异常行为；/nS3、待情景确定模块会确定出对应的异常行为后会启动应对方案存储库，此时应对方案存储库会提取出关于异常行为对应的解决方案，并将解决方案发送至应对策略执行模块，同时在人工分析模块接收到日志数据后，会对日志数据进行人工分析，若人工分析的过程中发现异常，会将解决方案输入应对策略执行模块，此时应对策略执行模块会同时执行应对方案存储库和人工所提出的应对方案，从而对异常行为进行解决；/nS4、在本地转存模块接收到日志数据后，云存储模块会对日志数据进行存储，在需要对过往日志数据进行提取时，操作人员可以通过打印提取模块打印出对应时间的日志数据表格。/n...

【技术特征摘要】
1.一种基于异网日志分析的方法，其特征在于：包括如下步骤：
S1、使用时，客户端与异构网络服务器进行连接，同时日志收集单元会收集网站运行时的各种记录并发送至日志分类记录系统，此时日志分类记录系统中的爬虫访问记录模块、用户访问记录模块和HTTP状态码记录模块会分别记录会记录蜘蛛访问的次数、停留时间以及抓取的数量、网站目录蜘蛛抓取的统计、网站页面的抓取、了解蜘蛛是否访问本页面以及访问页面的状态代码，待日志分类记录系统分类统计完毕后会将统计数据发送至本地转存模块；
S2、在分析前，操作人员可以通过异常情景预设系统中的网络攻击异常行为预设模块、用户异常访问行为预设模块和异常操作行为预设模块分别设置出各种异常数据值，待本地转存模块接收到数据后会将数据发送至人工分析模块和情景数据对比系统中的数据核对模块，此时数据核对模块会与异常情景预设系统中预设的数据进行对比，在对比过程中若有吻合数据，则情景确定模块会确定出对应的异常行为；
S3、待情景确定模块会确定出对应的异常行为后会启动应对方案存储库，此时应对方案存储库会提取出关于异常行为对应的解决方案，并将解决方案发送至应对策略执行模块，同时在人工分析模块接收到日志数据后，会对日志数据进行人工分析，若人工分析的过程中发现异常，会将解决方案输入应对策略执行模块，此时应对策略执行模块会同时执行应对方案存储库和人工所提出的应对方案，从而对异常行为进行解决；
S4、在本地转存模块接收到日志数据后，云存储模块会对日志数据进行存储，在需要对过往日志数据进行提取时，操作人员可以通过打印提取模块打印出对应时间的日志数据表格。


2.根据权利要求1所述的一种基于异网日志分析的方法，其特征在于：所述客户端与异构网络服务器实现双向连接，所述异构网络服务器与日志收集单元实现双向连接，所述日志收集单元的输出端与日志分类记录系统的输入端连接，并且日志分类记录系统的输出端与本地转存模块...

【专利技术属性】
技术研发人员：黄益炯，
申请(专利权)人：杭州数群科技有限公司，
类型：发明
国别省市：浙江;33