数据统计方法、装置、电子设备、存储介质及产品制造方法及图纸

本公开提供了一种数据统计方法、装置、电子设备、存储介质及产品，本公开涉及系统优化技术领域，尤其涉及数据处理技术领域。具体实现方案为：获取系统模块运行时产生的日志数据；将所述日志数据输入至可视化工具中，得到输出日志数量的分析结果；基于所述分析结果，确定待优化的系统模块。通过本公开可以确定大量输出日志的模块，从而确定处待优化的模块，避免一些模块大量输出日志，冲刷掉重要信息。冲刷掉重要信息。冲刷掉重要信息。

【技术实现步骤摘要】
数据统计方法、装置、电子设备、存储介质及产品


[0001]本公开涉及系统优化
，尤其涉及数据处理
，具体涉及一种数据统计方法、装置、电子设备、存储介质及产品。

技术介绍

[0002]相对复杂的系统都包括了大量的运行模块，每个模块在运行过程中均会产生日志。某一些模块大量产生的日志不断产生，会冲刷掉其他模块的日志，甚至在未及时查看时，甚至可能将重要信息冲刷掉。

技术实现思路

[0003]本公开提供了一种数据统计方法、装置、电子设备、存储介质及产品。
[0004]根据本公开的第一方面，提供了一种数据统计方法，所述方法包括：
[0005]获取系统模块运行时产生的日志数据；将所述日志数据输入至可视化工具中，得到输出日志数量的分析结果；基于所述分析结果，确定待优化的系统模块。
[0006]根据本公开的第二方面，提供了一种数据统计装置，所述装置包括：
[0007]获取模块，用于获取多个系统模块运行时产生的日志数据；可视化模块，用于将所述日志数据输入至可视化工具中，得到输出日志数量的分析结果；确定模块，用于基于所述分析结果，确定待优化的系统模块。
[0008]根据本公开的第三方面，提供了一种电子设备，包括：
[0009]至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
[0010]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
[0011]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1示出了本公开实施例提供的一种数据统计方法的流程示意图；
[0015]图2示出了本公开实施例提供的一种数据分析方法的流程示意图；
[0016]图3示出了本公开实施例提供的一种生成可视化图形方法的流程示意图；
[0017]图4示出了本公开实施例提供的一种数据统计方法中可视化图形的结构示意图；
[0018]图5示出了本公开实施例提供的又一种数据统计方法中可视化图形的结构示意
图；
[0019]图6示出了本公开实施例提供的一种数据统计装置的结构示意图；
[0020]图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]随着科技的发展，系统包括可以实现不同功能的模块越来越多，尤其是相对复杂的系统。例如，自动驾驶系统，在降低成本的要求下，普遍都是将系统运行在嵌入式板子上，由此，也对中央处理器(CPU)、内存、硬盘等的使用带来了更高的要求。
[0023]一般的，针对自动驾驶系统等相对复杂的系统，将多个模块的日志打印正赛一个日志文件中。因此，一些模块大量的输出日志，会导致其他模块调试的不便，另外由于日志文件大小个数的限制，若缺乏对模块输出日志的分析，则可能出现由于某一模块大量输出日志而冲刷掉其他模块输出日志的情况，从而丢失重要信息。
[0024]基于此，本申请提出一种数据统计方法和系统，用于对输出的日志数据进行分析，在某个模块大量输出日志时，及时对该模块进行优化，从而避免冲刷掉其他模块输出日志的重要信息。
[0025]图1示出了本公开实施例提供的一种数据统计方法的流程示意图，如图1中所示，该方法可以包括：
[0026]在步骤S110中，获取系统模块运行时产生的日志数据。
[0027]在本公开实施例中，系统在运行时，多个模块按照时间有序的输出日志。输出的日志可以包括日志所属模块，日志输出时间。
[0028]设置存储时间间隔，每隔一个时间间隔，将输出的日志存储到指定存储位置，得到输出日志的所有日志信息。其中，指定位置可以时硬盘，网盘等。
[0029]在指定存储位置中，获取系统模块运行时产生的日志数据。
[0030]在步骤S120中，将日志数据输入至可视化工具中，得到输出日志数量的分析结果。
[0031]在本公开实施例中，获取到输出的日志数据之后，需要将获取的日志文件输入至可视化工具中，由可视化工具对日志数据进行处理，得到获取日志数据中，日志输出数量的分析结果。
[0032]在步骤S130中，基于分析结果，确定待优化的系统模块。
[0033]在本公开实施例中，可以基于得到的分析结果，确定大量输出日志的模块，并将大量输出日志的模块确定未待优化的模块。将待优化的模块托推送至对应的用户，使其对待优化的模块进行优化。
[0034]在本公开实施例提供的数据统计方法中，通过对系统模块输出的日志进行统计，可以确定大量输出日志的模块，从而确定处待优化的模块，避免一些模块大量输出日志，冲刷掉重要信息。
[0035]在本公开实施例中，日志数据包括所有输出日志的模块信息，以及每个模块输出
日志对应的数量；和/或，输出日志中出现的高频语句，以及与高频语句对应的日志输出的数量。其中，本公开可以通过不同的方式，获取日志数据。
[0036]进一步的，在本公开中，获取日志数据的方式可以为，在打印的日志文件中获取系统模块输出的日志文件，获取日志数据方式还可以为，通过日志接口，获取系统模块输出的日志文件。其中，日志接口中预先添加了不同的数据结构。在日志接口中添加的数据接口包括模块数据结构和高频语句数据结构。
[0037]其中，模块数据结构可以理解为，针对每个模块，每个模块每输出一个日志，则刷新一次模块数据结构，从而统计每个模块输出日志的数量。每个一段时间，获取所有模块输出的日志数据，例如，每十分钟获取一次所有模块输出的日志数据，当然，这仅仅是对本公开的距离说明，并不是对本公开的具体限定。
[0038]高频语句数据结构可以理解为，统计所有模块输出的日志数据，基于预设的统计阈值，在所有日志数据中，筛选出输出日志中的高频语句。针对每个高频语句，每输出一次高频语句，该高频语句的计数加一。
[0039]图2示出了本公开实施例提供的一种数据分析的流程示意图，如图2中所示，该方法可以包括：
[0040]在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据统计方法，所述方法包括：获取系统模块运行时产生的日志数据；将所述日志数据输入至可视化工具中，得到输出日志数量的分析结果；基于所述分析结果，确定待优化的系统模块。2.根据权利要求1所述的方法，其中，所述获取系统模块运行时产生的日志数据，包括：基于日志接口获取日志数据，或，基于日志文件获取日志数据；其中，所述日志数据包括所有输出日志的模块信息，以及每个模块输出日志对应的数量；和/或，输出日志中出现的高频语句，以及与所述高频语句对应的日志输出的数量。3.根据权利要求1所述的方法，其中，所述将所述日志数据输入至可视化工具中，得到输出日志数量的分析结果，包括：根据所述日志数据的获取方式，确定用于生成日志分析结果的可视化工具的模式；基于所述模式加载所述日志数据，得到输出日志数量的分析结果的可视化图形。4.根据权利要求3所述的方法，其中，所述基于所述模式加载所述日志数据，得到输出日志数量的分析结果的可视化图形，包括：基于所述模式加载输出日志的模块信息，并加载每个模块输出日志对应的数量，生成第一可视化图形，所述第一可视化图形用于表征模块信息、模块输出日志对应的数量以及时间之间的关系；和/或基于所述模式加载输出日志中出现的高频语句，并加载与所述高频语句对应的日志输出的数量，生成第二可视化图形，所述第二可视化图形用于表征高频语句、所述高频语句对应的日志输出数量以及时间之间的关系。5.根据权利要求3所述的方法，其中，所述根据所述日志数据的获取方式，确定用于生成日志分析结果的可视化工具的模式，包括：响应于基于数据接口获取日志数据，确定与所述数据结构对应的可视化工具的第一模式；或响应于基于日志文件获取日志数据，确定与所述数据结构对应的可视化工具的第二模式。6.根据权利要求5所述的方法，其中，所述第一模式与所述第二模式相同。7.根据权利要求1所述的方法，其中，所述基于所述分析结果，确定待优化的系统模块，包括：在预设时间段长度中，将输出日志数量超过阈值的系统模块，确定为待优化的系统模块。8.一种数据统计装置，所述装置包括：获取模块，用于获取多个系统模块运行时产生的日志数据；可视化模块，用于将所述日志数据输入至可视化工具中，得到输出日志数量的分析结果；确定模块，用于基于所述分析结果，确定待优化的系统模块...

【专利技术属性】
技术研发人员：郭俊峰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：