本发明专利技术提供一种前端错误日志的处理方法及装置，所述前端错误日志的处理方法包括：S1、获取前端错误日志；S2、对所述错误日志的view_path字段进行归一处理得到view_path_group字段；S3、根据所述错误日志的error_type字段和所述view_path_group字段对所述错误日志进行分类，得到分类数据；S4、根据所述错误日志的error_message字段对所述分类数据进行聚类，实现对所述错误日志的处理。本发明专利技术的处理方法通过提出一种混合算法，先通过结构化的部分进行一次分类，再通过利用编辑距离进行聚类的算法，达成满足前端错误场景分类和性能优化的双重目的。重目的。重目的。
【技术实现步骤摘要】
一种前端错误日志的处理方法及装置
[0001]本专利技术属于计算机
，具体而言属于一种前端错误日志的处理方法及装置。
技术介绍
[0002]后端应用一般都部署在特定的服务器上，在日志里留下的错误日志由日志系统控制，比如log4j的log.error()，就前端系统而言，因为前端应用跑在每个客户的客户端，他的日志是散落在每个用户端的浏览器里的，我们通过real user monitor的功能，收集散落的日志，进行统一管理，具体实现的方案比如国际上的sentry.io,datadog等，国内则有观测云。
[0003]在收集到的日志中，开发往往最关注的是错误日志，当错误日志大量积累的时候，我们就会面临一个日志分类的难题，同一个错误生成的错误日志里掺杂着大量随机字符串，怎么把不能直接比较的日志进行分类，往往有两种解决方案：
[0004]第一种通过前端的指纹算法，相同错误识别为同一指纹，生成的日志不会有差异，在前端完成了错误日志的归一化；
[0005]第二种是在后端通过nlp技术进行文本聚类，通过文本聚类实现错误日志分类。
[0006]Sentry利用了前者，算法相对复杂，并且会影响前端性能，其他多数日志厂商用的第二种，但是聚类往往要大数据量计算，十分消耗算力。
[0007]有鉴于此，特提出本专利技术。
技术实现思路
[0008]有鉴于此，本专利技术公开了一种前端错误日志的处理方法及装置，用以解决算法复杂，消耗算力的问题，本专利技术的前端错误日志的处理方法通过提出一种混合算法，先通过结构化的部分进行一次分类，再通过利用编辑距离进行聚类的算法，达成满足前端错误场景分类和性能优化的双重目的。
[0009]具体的，本专利技术是通过以下技术方案实现的：
[0010]第一方面，本专利技术公开了一种前端错误日志的处理方法，包括如下步骤：
[0011]S1、获取前端错误日志；
[0012]S2、对所述错误日志的view_path字段进行归一处理得到view_path_group字段；
[0013]S3、根据所述错误日志的error_type字段和所述view_path_group字段对所述错误日志进行分类，得到分类数据；
[0014]S4、根据所述错误日志的error_message字段对所述分类数据进行聚类，实现对所述错误日志的处理。
[0015]上述的前端错误日志的处理方法，先通过对错误日志结构化的部分进行分类，再对分类后的数据根据error_message字段进行聚类，实现最终对错误日志的处理，减小了前端算法复杂的困难，并且不会影响前端性能，通过对前端分类后的数据进行聚类，减小了聚
类的计算的数据量，节省算力。
[0016]进一步地，所述S2步骤中，所述归一处理的方法包括提取所有所述错误日志的所述view_path字段至一个集合，利用所述集合的数据结构自动保留唯一值，并对所述集合的变化量进行正则替换操作，得到最终的所述view_path_group字段。
[0017]进一步地，所述S3步骤中，所述分类的方法包括将具有相同的所述view_path_group字段和所述error_type字段的所述错误日志分到同一组，作为所述分类数据。
[0018]进一步地，所述S4步骤中，所述聚类的方法包括将所述分类数据放入同一数组，根据第i行日志计算出变化幅度作为距离判定标准，将变化幅度值＜0.1的所述错误日志自动认定为一组，完成所述聚类操作。
[0019]进一步地，所述变化幅度的计算方法包括计算第i行的日志与其余每行日志的编辑距离，得到编辑距离后除以第i行的日志的长度，得到所述变化幅度。
[0020]进一步地，所述变化量为通过用户id传输的变化值。
[0021]第二方面，本专利技术公开了一种前端错误日志的处理装置，包括：
[0022]获取模块：获取前端错误日志；
[0023]归一模块：对所述错误日志的view_path字段进行归一处理得到view_path_group字段；
[0024]分类模块：根据所述错误日志的error_type字段和所述view_path_group字段对所述错误日志进行分类，得到分类数据；
[0025]聚类模块：根据所述错误日志的error_message字段对所述分类数据进行聚类，实现对所述错误日志的处理。
[0026]第三方面，本专利技术公开了一种计算机可读存储介质，其上存储有计算机程序所述程序被处理器执行时实现如第一方面所述前端错误日志的处理方法的步骤。
[0027]第四方面，本专利技术公开了一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述前端错误日志的处理方法的步骤。
[0028]与现有技术相比，本专利技术的有益效果在于：
[0029]本专利技术提出的前端错误日志的处理方法及装置，能够便于用户更精准的进行错误定位，杜绝了相同error_message但是不同view_path_group的情况；通过两阶段分类的算法，把前端错误日志的结构化部分进行第一次分类，在通过编辑距离进行聚类，达成满足前端错误场景分类和性能优化的双重目的，提高了聚类的并发和单次聚类的数据量。
附图说明
[0030]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0031]图1为本专利技术实施例提供的前端错误日志的处理方法流程图；
[0032]图2为本专利技术实施例提供的前端错误日志的处理方法操作流程图；
[0033]图3为本专利技术实施例提供的前端错误日志的处理装置示意图；
[0034]图4为本专利技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0035]下面将结合附图和具体实施方式对本专利技术的技术方案进行清楚、完整地描述，但是本领域技术人员将会理解，下列所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，仅用于说明本专利技术，而不应视为限制本专利技术的范围。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]为了更加清晰的对本专利技术中的技术方案进行阐述，下面以具体实施例的形式进行说明。
[0037]实施例
[0038]参照图1所示，本专利技术公开了一种前端错误日志的处理方法，包括如下步骤：
[0039]S1、获取前端错误日志；
[0040]S2、对所述错误日志的view_path字段进行归一处理得到view_path_group字段；
[0041]S3、根据所述错误日志的error_type字段和所述view_path_group字段对所述错误日志进行分类，得到分类数据本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种前端错误日志的处理方法，其特征在于，包括以下步骤：S1、获取前端错误日志；S2、对所述错误日志的view_path字段进行归一处理得到view_path_group字段；S3、根据所述错误日志的error_type字段和所述view_path_group字段对所述错误日志进行分类，得到分类数据；S4、根据所述错误日志的error_message字段对所述分类数据进行聚类，实现对所述错误日志的处理。2.根据权利要求1所述的前端错误日志的处理方法，其特征在于，所述S2步骤中，所述归一处理的方法包括提取所有所述错误日志的所述view_path字段至一个集合，利用所述集合的数据结构自动保留唯一值，并对所述集合的变化量进行正则替换操作，得到最终的所述view_path_group字段。3.根据权利要求1所述的前端错误日志的处理方法，其特征在于，所述S3步骤中，所述分类的方法包括将具有相同的所述view_path_group字段和所述error_type字段的所述错误日志分到同一组，作为所述分类数据。4.根据权利要求1所述的前端错误日志的处理方法，其特征在于，所述S4步骤中，所述聚类的方法包括将所述分类数据放入同一数组，根据第i行日志计算出变化幅度作为距离判定标准，将变化幅度值＜0.1的所述错误日志自动认定为一组，完成所述聚类操作。5...
【专利技术属性】
技术研发人员：徐季秋，蒋烁淼，
申请(专利权)人：上海驻云信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。