一种网站操作日志的获取方法及装置制造方法及图纸

本发明专利技术提出了一种网站操作日志的获取方法及装置，该方法包括：将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统；通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至数据库。本发明专利技术所述一种网站操作日志的获取方法及装置，提高了大型网站的操作日志分析效率；减少了查询操作日志的工作量，有效缩短了通过操作日志分析判断账号是否安全的判断周期；通过设定的界面显示操作日志信息，使分析操作日志更加直观和便利。

【技术实现步骤摘要】
一种网站操作日志的获取方法及装置
本专利技术涉及互联网
，尤其涉及一种网站操作日志的获取方法及装置。
技术介绍
由于大型网站平台的操作日志分散在网站的各个业务线服务器中，而且每个业务线服务器都是以集群部署，少则十余台，多则上百台服务器。若需要确定网站平台的某个账号是否被窃取，则需要对各个业务线服务器进行查询，获取被窃取账号的操作日志。由于服务器众多，查询被窃取账号的操作日志的工作量巨大，影响各个业务线服务器正常的工作；各个业务线服务器记录的操作日志格式不统一，操作日志可读性差，需要各个业务线服务器提供该业务线服务器记录的操作日志说明文档，操作日志分析繁琐；操作日志分析结果无法持久化存储，并无法用简洁的页面展示。
技术实现思路
本专利技术要解决的技术问题是，提供一种网站操作日志的获取方法及装置，克服现有技术中由于不同服务器记录的操作日志格式不统一导致的账号安全分析繁琐的缺陷。本专利技术采用的技术方案是，所述一种网站操作日志的获取方法，包括：将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统；通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至数据库。进一步的，所述通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志之后，所述方法还包括：在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至所述数据库。进一步的，所述将查询到的与设定账号相关操作日志以设定格式存储至所述数据库，包括：将查询到的与设定账号相关操作日志合并为一个设定格式的操作日志文件，并将所述操作日志文件存储至数据库。进一步的，所述将得到的合法操作日志以设定日志格式存储至数据库之后，所述方法还包括：将从所述数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断；若从所述数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从所述数据库中读取的操作日志对应的账户安全异常；否则判定从所述数据库中读取的操作日志对应的账户安全。进一步的，所述将得到的合法操作日志以设定日志格式存储至数据库之后，所述方法还包括：在所述数据库中查询设定账户的操作日志，并在设定界面中显示查询到的设定账户的操作日志。本专利技术还提供一种网站操作日志的获取装置，包括：收集模块，用于将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统；处理模块，用于通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至数据库。进一步的，所述处理模块，具体用于：通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至所述数据库。进一步的，所述处理模块，具体用于：通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志，在得到的合法操作日志中查询与设定账号相关的操作日志，将查询到的与设定账号相关操作日志合并为一个设定格式的操作日志文件，并将所述操作日志文件存储至数据库。进一步的，所述装置还包括：判断模块，用于将从所述数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断；若从所述数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从所述数据库中读取的操作日志对应的账户安全异常；否则判定从所述数据库中读取的操作日志对应的账户安全。进一步的，所述装置还包括：显示模块，用于在所述处理模块将得到的合法操作日志以设定日志格式存储至数据库之后，在所述数据库中查询设定账户的操作日志，并在设定界面中显示查询到的设定账户的操作日志。采用上述技术方案，本专利技术至少具有下列优点：本专利技术所述一种网站操作日志的获取方法及装置，提高了大型网站的操作日志分析效率；减少了查询操作日志的工作量，有效缩短了通过操作日志分析判断账号是否安全的判断周期；通过设定的界面显示操作日志信息，使分析操作日志更加直观和便利。附图说明图1为本专利技术第一实施例的网站操作日志的获取方法流程图；图2为本专利技术第二实施例的网站操作日志的获取方法流程图；图3为本专利技术第四实施例的网站操作日志的获取装置组成结构示意图；图4为本专利技术第五实施例的网站操作日志的获取装置组成结构示意图。具体实施方式为更进一步阐述本专利技术为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本专利技术进行详细说明如后。本专利技术第一实施例，一种网站操作日志的获取方法，如图1所示，包括以下具体步骤：步骤S101，将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统。具体的，步骤S101，包括：将通过Flume(水槽)日志收集系统实时收集到的网站各服务器中的操作日志存储至HDFS(HadoopDistributedFileSystem，海杜普分布式文件系统)。步骤S102，通过日志分析系统获取分布式文件系统中存储的操作日志，过滤日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至数据库。具体的，步骤S102，包括：通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至Hbase数据库。例如：通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法的JSON格式字符串日志，并将得到的合法操作日志以设定日志格式存储至MapReduce日志分析系统处理结果文件和Hbase数据库。通过将不合法的日志进行过滤，并将合法日志转换为统一格式后存储至数据库，能够减少了查询操作日志的工作量；提高了大型网站的操作日志分析效率；有效缩短了通过操作日志分析判断账号是否安全的判断周期。本专利技术第二实施例，一种网站操作日志的获取方法，如图2所示，包括以下具体步骤：步骤S201，将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统。具体的，步骤S201，包括：将通过Flume(水槽)日志收集系统实时收集到的网站各服务器中的操作日志存储至HDFS(HadoopDistributedFileSystem，海杜普分布式文件系统)。步骤S202，通过日志分析系统获取分布式文件系统中存储的操作日志，过滤日志分析系统获取的不合法操作日志，得到合法日志；将得到的合法操作日志以设定日志格式存储至数据库；或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至数据库。具体的，步骤S202，包括：通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法操作日志，得到合法日志；将得到的合法操作日志以设定日志格式存储至Hbase数据库；或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至Hbase数据库。例如：本文档来自技高网...

【技术保护点】
一种网站操作日志的获取方法，其特征在于，包括：将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统；通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至数据库。

【技术特征摘要】
1.一种网站操作日志的获取方法，其特征在于，包括：将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统；通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至数据库。2.根据权利要求1所述的方法，其特征在于，所述通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志之后，所述方法还包括：在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至所述数据库。3.根据权利要求2所述的方法，其特征在于，所述将查询到的与设定账号相关操作日志以设定格式存储至所述数据库，包括：将查询到的与设定账号相关操作日志合并为一个设定格式的操作日志文件，并将所述操作日志文件存储至数据库。4.根据权利要求1所述的方法，其特征在于，所述将得到的合法操作日志以设定日志格式存储至数据库之后，所述方法还包括：将从所述数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断；若从所述数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从所述数据库中读取的操作日志对应的账户安全异常；否则判定从所述数据库中读取的操作日志对应的账户安全。5.根据权利要求1所述的方法，其特征在于，所述将得到的合法操作日志以设定日志格式存储至数据库之后，所述方法还包括：在所述数据库中查询设定账户的操作日志，并在设定界面中显示查询到的设定账户的操作日志。6.一种网站操作日志的获取装置，其特征在于，包括：收集模块...

【专利技术属性】
技术研发人员：张振宇，
申请(专利权)人：北京五八信息技术有限公司，
类型：发明
国别省市：北京,11