日志处理方法和系统技术方案

本申请公开了一种日志处理方法，包括：收集设备运行过程中产生的日志数据，并将所述日志数据离线存储于本地数据库中；响应于用户操作触发的上传指令，从所述本地数据库中获取目标日志数据；将所述目标日志数据上传至线上平台，以便所述线上平台基于所述目标日志数据进行分析。在申请实施例中，由于日志数据是存储在本地数据库中且需要由用户主动触发上传操作，不会出现实时上传日志数据时因网络弱而时常导致的上报失败、数据丢失等问题，有效保障数据链路的完整性，以及降低了网络资源消耗等，而且避免了实时上传日志数据对线上平台的压力。压力。压力。

【技术实现步骤摘要】
日志处理方法和系统


[0001]本申请涉及数据处理领域，尤其涉及一种日志处理方法、装置、计算机设备及计算机可读存储介质。

技术介绍

[0002]随着互联网技术的快速发展，电子设备上可安装的应用软件越来越多。各平台的差异性使用户在使用应用软件的时候，经常出现错误或崩溃的情况。为了降低这种情况的发生，应用软件供应商可收集用户使用过程中产生的日志数据，进而分析、性能监测、错误修正等。因此，合理的日志数据的收集、上报极为重要。
[0003]现有的日志系统一般是业务接入诸如sentry系统，在特定的业务场景通过接口请求进行数据实时上报。但是，通过接入sentry系统上报日志数据，存在着诸多弊端，如：
[0004]第一、在网络状态不稳定的情况下，容易上报失败，为了数据完整性还可能要分批上报；
[0005]第二、在业务请求量过大的情况下，服务器压力过大，从而需要采样上报，数据链路不够完整；
[0006]第三、对用户的网络资源造成较大的浪费。

技术实现思路

[0007]有鉴于此，本申请实施例的目的是提供一种日志处理方法、装置、计算机设备及计算机可读存储介质，可以上述问题。
[0008]本申请实施例的一个方面提供了一种日志处理方法，包括：
[0009]收集设备运行过程中产生的日志数据，并将所述日志数据离线存储于本地数据库中；
[0010]响应于用户操作触发的上传指令，从所述本地数据库中获取目标日志数据；
[0011]将所述目标日志数据上传至线上平台，以便所述线上平台基于所述目标日志数据进行分析。
[0012]可选的，还包括：
[0013]预先配置目标管理类，封装有用于执行原子性操作的多个API接口，用于对所述本地数据库执行异步操作和原子性操作；其中，所述原子性操作包括增加、修改和/或删除。
[0014]可选的，所述将所述日志数据离线存储于本地数据库中，包括：
[0015]调用所述目标管理类的原子性操作，通过被调用的原子性操作将日志数据增加到所述本地数据库。
[0016]可选的，还包括：
[0017]在所述目标管理类的基础上，预先配置日志处理类；
[0018]所述日志处理类，用于：剔除过期日志数据、限制日志数据存储容量、日志分页。
[0019]可选的，所述将所述日志数据离线存储于本地数据库中，包括：
[0020]对所述日志数据进行加密，并将加密后的数据日志增加到所述本地数据库中。
[0021]可选的，所述响应于用户操作触发的上传指令，从所述本地数据库中获取目标日志数据，包括：
[0022]显示上传引导页面，所述上传引导页面配置有时间输入框和上传按钮；
[0023]基于所述时间输入框的输入，确定起始时间和终止时间；及
[0024]基于所述上传按钮的触发，从所述本地数据库获取所述起始时间和所述终止时间之间的目标日志数据。
[0025]本申请实施例的一个方面又提供了一种日志处理装置，包括：
[0026]存储模块，用于收集设备运行过程中产生的日志数据，并将所述日志数据离线存储于本地数据库中；
[0027]获取模块，用于响应于用户操作触发的上传指令，从所述本地数据库中获取目标日志数据；及
[0028]上传模块，用于将所述目标日志数据上传至线上平台，以便所述线上平台基于所述目标日志数据进行分析。
[0029]本申请实施例的一个方面又提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时用于实现如上所述的日志处理方法的步骤。
[0030]本申请实施例的一个方面又提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的日志处理方法的步骤。
[0031]本申请实施例的一个方面又提供了一种日志系统，包括：
[0032]本地数据库，用于离线存储；
[0033]目标管理类，封装有用于执行原子性操作的多个API接口，用于对所述本地数据库执行异步操作和原子性操作；其中，所述原子性操作包括增加、修改和/或删除；
[0034]存储模块，用于调用所述目标管理类中的原子性操作，以将日志数据增加到所述本地数据库；
[0035]上传模块，用于根据用户上传指令从所述本地数据库获取目标日志数据，将所述目标日志数据上传至线上平台，以便所述线上平台基于所述目标日志数据进行分析。
[0036]可选的，还包括：
[0037]日志处理类，在所述目标管理类的基础上封装；
[0038]其中，所述日志处理类用于：剔除过期日志数据、限制日志数据存储容量和/或日志分页。
[0039]本申请实施例提供的日志处理方法、装置、设备、计算机可读存储介质，以及日志系统，采用离线本地存储+手动触发上传的方式：
[0040]离线本地存储，可以确保日志数据的完整性和可靠性，避免了数据实时上报到服务器所导致的以下问题：在网络状态不稳定的情况下，容易上报失败；因服务器压力过大而采用的采样上报所导致的数据链路不够完整；及网络资源消耗大；
[0041]手动触发上传，不需要实时上报日志数据，有效降低了服务器压力和网络资源消耗。
[0042]综上所示，在申请实施例中，采用离线存储日志数据而非实时上传日志数据，可以在设备出现问题时，由用户主动触发日志数据的上传并交由线上平台进行问题定位和现场还原。由于日志数据是存储在本地数据库中且需要由用户主动触发上传操作，不仅保障用户数据隐私，而且不会出现实时上传日志数据时因网络弱而时常导致的上报失败、数据丢失等问题，有效保障数据链路的完整性，以及降低了网络资源消耗等，而且避免了实时上传日志数据对线上平台(服务器)的压力。
附图说明
[0043]图1示意性示出了根据本申请实施例的日志处理方法的应用环境图；
[0044]图2示意性示出了根据本申请实施例一的日志系统的框架图；
[0045]图3示意性示出了上传引导页面的示意图；
[0046]图4示意性示出了根据本申请实施例二的日志系统的流程图；
[0047]图5示意性示出了根据本申请实施例二的日志处理方法的新增步骤流程图；
[0048]图6示意性示出了图4中步骤S400的子流程图；
[0049]图7示意性示出了根据本申请实施例二的日志处理方法的新增步骤流程图；
[0050]图8示意性示出了图4中步骤S400的子流程图；
[0051]图9示意性示出了图4中步骤S402的子流程图；
[0052]图10示意性示出了根据本申请实施例三的日志处理装置的框图；
[0053]图11示意性示出了根据本申请实施例四的适于实现日志处理方法的计算机设备的硬件架构示意图。
具体实施方式
[0054]为了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志处理方法，其特征在于，包括：收集设备运行过程中产生的日志数据，并将所述日志数据离线存储于本地数据库中；响应于用户操作触发的上传指令，从所述本地数据库中获取目标日志数据；将所述目标日志数据上传至线上平台，以便所述线上平台基于所述目标日志数据进行分析。2.根据权利要求1所述的日志处理方法，其特征在于，还包括：预先配置目标管理类，封装有用于执行原子性操作的多个API接口，用于对所述本地数据库执行异步操作和原子性操作；其中，所述原子性操作包括增加、修改和/或删除。3.根据权利要求2所述的日志处理方法，其特征在于，所述将所述日志数据离线存储于本地数据库中，包括：调用所述目标管理类的原子性操作，通过被调用的原子性操作将日志数据增加到所述本地数据库。4.根据权利要求2所述的日志处理方法，其特征在于，还包括：在所述目标管理类的基础上，预先配置日志处理类；所述日志处理类，用于：剔除过期日志数据、限制日志数据存储容量、日志分页。5.根据权利要求1至4任意一项所述的日志处理方法，其特征在于，所述将所述日志数据离线存储于本地数据库中，包括：对所述日志数据进行加密，并将加密后的数据日志增加到所述本地数据库中。6.根据权利要求1至4任意一项所述的日志处理方法，其特征在于，所述响应于用户操作触发的上传指令，从所述本地数据库中获取目标日志数据，包括：显示上传引导页面，所述上传引导页面配置有时间输入框和上传按钮；基于所述时间输入框的输入，确定起始时间和终止时间；及基于所述上传按钮的触发，从所述本地数据库获取所述起始时间和所述终止时间之间的目标日志数据...

【专利技术属性】
技术研发人员：林涛，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：