访问日志数据的统计方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种访问日志数据的统计方法、装置、计算机设备和存储介质。方法包括：获取统计命令行，统计命令行包括统计参数；查询访问记录统计库，从访问记录统计库中确定与统计参数对应的目标存储主键；其中，访问记录统计库包括存储主键以及存储主键对应的访问记录数量，存储主键包括访问信息字段值以及访问时间；读取目标存储主键中的访问时间，以及目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与统计参数匹配的访问记录数量。采用本方法能够基于命令行工具实现多维度的访问日志统计，提高过滤访问日志、统计访问日志的效率。

Statistical methods, devices, computer equipment and storage media for accessing log data

【技术实现步骤摘要】
访问日志数据的统计方法、装置、计算机设备和存储介质
本申请涉及数据处理
，特别是涉及一种访问日志数据的统计方法、装置、计算机设备和存储介质。
技术介绍
网站服务器会对用户的访问进行记录并生成对应的访问日志，其中，访问日志会记录网站服务器对于用户的请求响应性能和状态。所以，在日常的网站访问故障排查过程中，技术人员会对访问日志进行统计分析，从而排查用户在访问网站过程中可能存在的问题情况。在访问日志统计分析工作中，使用命令行工具对不同时间下访问日志进行统计分析是必不可少的工作项，但是传统的命令行统计工具都只能对访问日志进行单一条件的统计分析，统计结果为单维度的统计结果，统计访问日志的效率低，日常的访问日志统计分析工作浪费大量的时间成本以及人力成本。
技术实现思路
基于此，有必要针对上述技术问题，提供一种访问日志数据的统计方法、装置、计算机设备和存储介质。一种访问日志数据的统计方法，所述方法包括：获取统计命令行，所述统计命令行包括统计参数；查询访问记录统计库，从所述访问记录统计库中确定与所述统计参数对应的目标存储主键；其中，所述访问记录统计库包括存储主键以及所述存储主键对应的访问记录数量，所述存储主键包括访问信息字段值以及访问时间；读取所述目标存储主键中的访问时间，以及所述目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量。在其中一个实施例中，所述获取统计命令行的步骤之前，还包括：获取原始访问日志中各行访问记录中不同字段的字段值以及访问时间；将各所述字段的字段值确定为访问信息字段值，根据所述访问信息字段值以及访问时间，生成存储主键；统计在所述原始访问日志中访问记录的对应字段的字段值以及访问时间，与所述存储主键中访问信息字段值以及访问时间相匹配的访问记录数量；将所述访问记录数量作为存储主键的值，生成访问记录统计库。在其中一个实施例中，所述读取所述目标存储主键中的访问时间，以及所述目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量的步骤，包括：获取预设的数值区间；确定各所述目标存储主键中的访问信息字段值所落入的数值区间；计算访问时间相同且访问信息字段值落入同一数值区间的目标存储主键对应的访问记录数量的和值，得到在不同访问时间下，访问信息字段值落入不同数值区间时的访问记录数量。在其中一个实施例中，所述统计命令行还包括时间粒度参数；所述读取所述目标存储主键中的访问时间，以及所述目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量的步骤，包括：根据所述时间粒度参数设置时间区间；确定各所述目标存储主键中的访问时间所落入的时间区间；计算落入同一时间区间的目标存储主键对应的访问记录数量的和值，得到不同时间区间下，访问信息字段值与所述统计参数匹配的访问记录数量。在其中一个实施例中，所述访问记录中的字段包括原始访问路径字段；所述将各所述字段的各字段值确定为访问信息字段值，根据所述访问信息字段值以及访问时间，生成存储主键的步骤，包括：对各行访问记录中的原始访问路径字段的原始访问路径进行收敛，得到各行访问记录对应收敛访问路径；根据不同的所述收敛访问路径以及所述访问时间，生成存储主键。在其中一个实施例中，所述访问记录中的字段包括终端代理信息字段；所述将各所述字段的各字段值确定为访问信息字段值，根据所述访问信息字段值以及访问时间，生成存储主键的步骤，包括：将各行访问记录中的终端代理信息字段的终端代理信息，与爬虫特征信息库中的不同搜索引擎的爬虫特征信息进行匹配；若在爬虫特征信息库中匹配到与所述终端代理信息一致的目标爬虫特征信息，则将目标爬虫特征信息对应的搜索引擎确定为访问记录的终端代理信息字段值；根据不同的所述搜索引擎以及所述访问时间，生成存储主键。在其中一个实施例中，所述读取所述目标存储主键中的访问时间，以及所述目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量的步骤之后，还包括：根据不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量，生成统计结果列表；通过命令行界面展示所述统计结果列表。一种访问日志数据的统计装置，所述装置包括：统计命令行获取模块，用于获取统计命令行，所述统计命令行包括统计参数；访问记录库查询模块，用于查询访问记录统计库，从所述访问记录统计库中确定与所述统计参数对应的目标存储主键；其中，所述访问记录统计库包括存储主键以及所述存储主键对应的访问记录数量，所述存储主键包括访问信息字段值以及访问时间；访问记录数量获取模块，用于读取所述目标存储主键中的访问时间，以及所述目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取统计命令行，所述统计命令行包括统计参数；查询访问记录统计库，从所述访问记录统计库中确定与所述统计参数对应的目标存储主键；其中，所述访问记录统计库包括存储主键以及所述存储主键对应的访问记录数量，所述存储主键包括访问信息字段值以及访问时间；读取所述目标存储主键中的访问时间，以及所述目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取统计命令行，所述统计命令行包括统计参数；查询访问记录统计库，从所述访问记录统计库中确定与所述统计参数对应的目标存储主键；其中，所述访问记录统计库包括存储主键以及所述存储主键对应的访问记录数量，所述存储主键包括访问信息字段值以及访问时间；读取所述目标存储主键中的访问时间，以及所述目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量。上述访问日志数据的统计方法、装置、计算机设备和存储介质，通过获取统计命令行，从访问记录统计库中确定与统计命令行中统计参数对应的目标存储主键，读取目标存储主键中的访问时间，以及目标存储主键对应的访问记录数量，以获取不同访问时间下，目标存储主键对应访问信息字段值的访问记录数量，实现对访问日志进行访问时间结合其它特征维度的多维度统计分析，提高过滤访问日志、统计访问日志的效率，降低日常的访问日志统计工作大量的时间成本以及人力成本。附图说明图1为一个实施例中访问日志数据的统计方法的应用场景图；图2为一个实施例中原始访问日志的示意图；图3为一个实施例中访问日志数据的统计方法的流程示意图；图4为一个实施例中访问记录统计库生成方法的流程示意图；图5为一个实施例中访问日志数据的统计装置的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的访问日志数据的统计方法，可以应用于如图1所示的应用环境中。其中，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过系统总本文档来自技高网...

【技术保护点】
1.一种访问日志数据的统计方法，其特征在于，所述方法包括：获取统计命令行，所述统计命令行包括统计参数；查询访问记录统计库，从所述访问记录统计库中确定与所述统计参数对应的目标存储主键；其中，所述访问记录统计库包括存储主键以及所述存储主键对应的访问记录数量，所述存储主键包括访问信息字段值以及访问时间；读取所述目标存储主键中的访问时间，以及所述目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量。

【技术特征摘要】
1.一种访问日志数据的统计方法，其特征在于，所述方法包括：获取统计命令行，所述统计命令行包括统计参数；查询访问记录统计库，从所述访问记录统计库中确定与所述统计参数对应的目标存储主键；其中，所述访问记录统计库包括存储主键以及所述存储主键对应的访问记录数量，所述存储主键包括访问信息字段值以及访问时间；读取所述目标存储主键中的访问时间，以及所述目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量。2.根据权利要求1所述的方法，其特征在于，所述获取统计命令行的步骤之前，还包括：获取原始访问日志中各行访问记录中不同字段的字段值以及访问时间；将各所述字段的字段值确定为访问信息字段值，根据所述访问信息字段值以及访问时间，生成存储主键；统计在所述原始访问日志中访问记录的对应字段的字段值以及访问时间，与所述存储主键中访问信息字段值以及访问时间相匹配的访问记录数量；将所述访问记录数量作为存储主键的值，生成访问记录统计库。3.根据权利要求1所述的方法，其特征在于，所述读取所述目标存储主键中的访问时间，以及所述目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量的步骤，包括：获取预设的数值区间；确定各所述目标存储主键中的访问信息字段值所落入的数值区间；计算访问时间相同且访问信息字段值落入同一数值区间的目标存储主键对应的访问记录数量的和值，得到在不同访问时间下，访问信息字段值落入不同数值区间时的访问记录数量。4.根据权利要求1所述的方法，其特征在于，所述统计命令行还包括时间粒度参数；所述读取所述目标存储主键中的访问时间，以及所述目标存储主键对应的访问记录数量，得到不同访问时间下，访问信息字段值与所述统计参数匹配的访问记录数量的步骤，包括：根据所述时间粒度参数设置时间区间；确定各所述目标存储主键中的访问时间所落入的时间区间；计算落入同一时间区间的目标存储主键对应的访问记录数量的和值，得到不同时间区间下，访问信息字段值与所述统计参数匹配的访问记录数量。5.根据权利要求2所述的方法，其特征在于，所述访问记录中的字段包括原始访问路径字段；所述将各所述字段的各字段值确定为访...

【专利技术属性】
技术研发人员：汪碧康，陈小虎，董用彬，
申请(专利权)人：广州英睿科技有限公司，
类型：发明
国别省市：广东,44