一种统一日志数据的分析方法技术

本发明专利技术公开一种统一日志数据的分析方法。网站系统中可以使用统一日志脚本生成统一日志数据集合，可以按照统一日志脚本的要求来统一生成该集合，从而便于对日志数据的自动分析。首先按照用户标识和日志类型对统一日志数据集合中的统一日志数据进行分组。对于同一组内的多个统一日志数据，可以通过功能点的组合得到同一个用户的完整操作轨迹，实现对用户的业务追踪。对于同一组内的多个统一日志数据，通过对每个功能点的耗费时长进行比较确定出耗费时长超过阈值的功能点，实现对功能点的性能分析。对于同一组内的多个统一日志数据，统计出每个功能点的使用频率，实现对功能点的热点分析，通过统计出每个功能点的前后置功能，实现对业务的关联分析。

An analytical method of unified log data

The invention discloses an analytical method for unified log data. Web site system can use unified log script to generate unified log data set, which can be generated uniformly according to the requirements of unified log script, so as to facilitate automatic analysis of log data. First, the unified log data in the unified log data set is grouped in accordance with the user identity and the log type. For multiple log data in the same group, we can get the same user's complete operation track through function points combination and achieve user tracking. For multiple log data in the same group, by comparing the consumption time of each function point, we determine the function points that consume time longer than the threshold, and achieve the performance analysis of function points. For multiple log data in the same group, the usage frequency of each function point is counted, the hotspot analysis of function points is realized, and the pre and post functions of each function point are counted to achieve the correlation analysis of business.

【技术实现步骤摘要】
一种统一日志数据的分析方法
本专利技术涉及计算机
，具体涉及一种统一日志数据的分析方法。
技术介绍
在信息化时代，数值的价值是无穷的。想要对网站系统进行有效的监控、维护、优化和改进，都离不开对日志数据的使用。对于不同网站，日志的统计指标类型也是不同的，通过各种统计指标数据可以反映产品总体情况，数据的价值除了反映现状，还有更重要的是应用。通过采集用户行为日志，统计并分析用户行为数据，可以为我们了解用户真正的需求，改善产品,指导业务增长提供科学依据。现有技术提供的网站系统中，对用户行为日志的采集研究不太成熟，甚至很多网站系统并没有采集用户行为数据，现有技术中每个网站系统采集的日志并不相同，需要针对不同的日志数据进行人工分析，因此降低了日志数据的分析效率。
技术实现思路
本专利技术的目的在于提供一种统一日志数据的分析方法，用于对统一日志数据进行自动分析，提高日志数据的分析效率。为了达到上述目的，本专利技术采用这样的如下技术方案：本专利技术提供一种统一日志数据的分析方法，包括：从网站系统获取使用统一日志脚本生成的统一日志数据集合，所述统一日志数据集合中包括的每一个统一日志数据包括：用户标识、日志类型、功能点、时间点和位置标识；按照用户标识和日志类型对所述统一日志数据集合中的统一日志数据进行分组，得到多组的统一日志数据，其中，属于同一组内的多个统一日志数据具有相同的日志类型；对于同一组内的多个统一日志数据，根据所述用户标识获取到同一个用户的多个统一日志数据，按照时间点的先后顺序进行功能点的组合，得到同一个用户的完整操作轨迹；对于同一组内的多个统一日志数据，按照时间点的先后顺序获取前后两条统一日志数据之间间隔的时间差，得到每个功能点的耗费时长，通过对每个功能点的耗费时长进行比较确定出耗费时长超过阈值的功能点；对于同一组内的多个统一日志数据，根据同一组内的多个统一日志数据分别对应的位置标识，统计出每个功能点的使用频率，以及统计出每个功能点的前后置功能。采用上述技术方案后，本专利技术提供的技术方案将有如下优点：网站系统中可以使用统一日志脚本生成统一日志数据集合，因此网站系统生成的统一日志数据集合是可以按照统一日志脚本的要求来统一生成，从而便于对日志数据的自动分析。本专利技术实施例中按照用户标识和日志类型对统一日志数据集合中的统一日志数据进行分组，得到多组的统一日志数据。对于同一组内的多个统一日志数据，可以通过功能点的组合得到同一个用户的完整操作轨迹，从而可以实现对用户的业务追踪。对于同一组内的多个统一日志数据，还可以通过对每个功能点的耗费时长进行比较确定出耗费时长超过阈值的功能点，从而可以实现对功能点的性能分析。对于同一组内的多个统一日志数据，还可以统计出每个功能点的使用频率，从而可以实现对功能点的热点分析，通过统计出每个功能点的前后置功能，可以实现对业务的关联分析。因此通过本专利技术实施例提供的统一日志数据的分析方法，所有的日志数据都可以通过统一日志脚本来采集生成，因此可以实现对统一日志数据进行自动分析，提高日志数据的分析效率。附图说明图1为本专利技术实施例提供一种统一日志数据的分析方法的流程方框示意图；图2为本专利技术实施例中使用统一日志数据进行业务追踪的内部逻辑图。具体实施方式本专利技术实施例提供了一种统一日志数据的分析方法，用于对统一日志数据进行自动分析，提高日志数据的分析效率。为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本专利技术的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。以下分别进行详细说明。本专利技术统一日志数据的分析方法的一个实施例，可应用于网站系统内对日志数据的自动分析场景中。请参阅图1和图2所示，本专利技术提供的统一日志数据的分析方法，可以包括如下步骤：101、从网站系统获取使用统一日志脚本生成的统一日志数据集合，统一日志数据集合中包括的每一个统一日志数据包括：用户标识、日志类型、功能点、时间点和位置标识。在本专利技术实施例中，网站系统中的每个网页都预先嵌入有统一日志脚本，该统一日志脚本是日志采集的脚本程序，统一日志脚本可以实现日志采集组件化，其中，组件化是指解耦复杂系统时将多个功能模块拆分、重组的过程，就是像功能做成可插拔的组件，主要是体现功能的弱耦合性。比如需要采集日志的网页，本专利技术实施例中可以引入统一日志脚本，如果不需要采集日志，就不引入这个脚本，这个脚本就像是一个组件，引入这个脚本后页面遵循这个日志脚本的使用规范即可。使用统一日志脚本可以生成统一日志数据集合，在统一日志数据集合中包括的每一个统一日志数据包括：用户标识、日志类型、功能点、时间点和位置标识。其中，用户标识是用于标识用户的唯一ID号，对于网站系统的用户，如果是登录用户，记录其账号；如果是访客，其值为0。日志类型与采用的统一日志脚本有关，可以通过统一日志脚本设置需要采集的日志类型有哪些种。功能点是指网站系统为用户提供的系统功能，在本专利技术的一些实施例中，功能点为网页系统内的业务模块。时间点是指用户操作网页的时间。位置标识是以编码方式表示操作的位置标识，格式为：“系统.栏目.按钮”。本专利技术实施例中统一日志脚本生成多个统一日志数据，这些统一日志数据具有规范的数据格式，这些多个统一日志数据构成统一日志数据集合。在本专利技术实施例中，统一日志脚本中预先设定日志组成要素，日志组成要素，包括：操作时间、客户端IP地址、浏览客户端、跟踪ID、访客标识、网站标识、用户标识、位置标识、按钮名称、域名、页面标题、页面统一资源定位符(UniformResoureLocator，URL)、来源页、状态码。举例说明，如下表1所示：102、按照用户标识和日志类型对统一日志数据集合中的统一日志数据进行分组，得到多组的统一日志数据，其中，属于同一组内的多个统一日志数据具有相同的日志类型。在本专利技术实施例中，获取到统一日志数据集合之后，可以根据用户标识和日志类型进行日志分组，因此按用户标识和日志类型可以获取一组相同类型的操作日志。在本专利技术的一些实施例中，步骤102从网站系统获取使用统一日志脚本生成的统一日志数据集合之后，本专利技术实施例提供的方法还包括：按照每条统一日志数据的时间点对统一日志数据集合内的多个统一日志数据进行正序排列。其中，在获取到多组的统一日志数据之后，还可以根据统一日志数据的时间点进行排序，即可以按照创建时间对多条统一日志数据进行正序排列，从而便于按照日志创建时间来得到各个组的统一日志数据。在本专利技术的一些实施例中，步骤101从网站系统获取使用统一日志脚本生成的统一日本文档来自技高网...

【技术保护点】
一种统一日志数据的分析方法，其特征在于，包括：从网站系统获取使用统一日志脚本生成的统一日志数据集合，所述统一日志数据集合中包括的每一个统一日志数据包括：用户标识、日志类型、功能点、时间点和位置标识；按照用户标识和日志类型对所述统一日志数据集合中的统一日志数据进行分组，得到多组的统一日志数据，其中，属于同一组内的多个统一日志数据具有相同的日志类型；对于同一组内的多个统一日志数据，根据所述用户标识获取到同一个用户的多个统一日志数据，按照时间点的先后顺序进行功能点的组合，得到同一个用户的完整操作轨迹；对于同一组内的多个统一日志数据，按照时间点的先后顺序获取前后两条统一日志数据之间间隔的时间差，得到每个功能点的耗费时长，通过对每个功能点的耗费时长进行比较确定出耗费时长超过阈值的功能点；对于同一组内的多个统一日志数据，根据同一组内的多个统一日志数据分别对应的位置标识，统计出每个功能点的使用频率，以及统计出每个功能点的前后置功能。

【技术特征摘要】
1.一种统一日志数据的分析方法，其特征在于，包括：从网站系统获取使用统一日志脚本生成的统一日志数据集合，所述统一日志数据集合中包括的每一个统一日志数据包括：用户标识、日志类型、功能点、时间点和位置标识；按照用户标识和日志类型对所述统一日志数据集合中的统一日志数据进行分组，得到多组的统一日志数据，其中，属于同一组内的多个统一日志数据具有相同的日志类型；对于同一组内的多个统一日志数据，根据所述用户标识获取到同一个用户的多个统一日志数据，按照时间点的先后顺序进行功能点的组合，得到同一个用户的完整操作轨迹；对于同一组内的多个统一日志数据，按照时间点的先后顺序获取前后两条统一日志数据之间间隔的时间差，得到每个功能点的耗费时长，通过对每个功能点的耗费时长进行比较确定出耗费时长超过阈值的功能点；对于同一组内的多个统一日志数据，根据同一组内的多个统一日志数据分别对应的位置标识，统计出每个功能点的使用频率...

【专利技术属性】
技术研发人员：邱聪勇，
申请(专利权)人：南威软件股份有限公司，
类型：发明
国别省市：福建,35