数据处理方法、装置、电子设备、存储介质和程序产品制造方法及图纸

本申请实施例公开了一种数据处理方法、装置、电子设备、存储介质和程序产品；本申请实施例在当用户进行前端操作时，可以将所述前端操作加入微任务队列；在宏任务执行完毕后，获取所述微任务队列中所有前端操作对应的前端日志；对所述前端日志进行重要等级分类，得到初级日志和次级日志，所述初级日志包括程序运行信息，所述次级日志包括程序异常信息；当所述前端日志的数据量大于预设阈值后，将所述分类后的前端日志存储于数据库中。本申请实施例通过宏任务的机制实现日志的异步上送，并周期性地在搜集到一定数量的日志后上送，由此保证了在不影响用户正常操作的情况下尽量减少了上送日志所消耗的网络资源，故本方案可提升日志数据处理的效率。数据处理的效率。数据处理的效率。

【技术实现步骤摘要】
数据处理方法、装置、电子设备、存储介质和程序产品


[0001]本申请涉及计算机领域，具体涉及一种数据处理方法、装置、电子设备、存储介质和程序产品。

技术介绍

[0002]在前端应用的复杂程度更高、涉及的团队规模更广、更高的性能要求的行业大背景下，应用复杂度已经成为阻塞业务发展的重要瓶颈。尽管Web应用的复杂度和参与人数以爆炸式的增长速度，但却没有一种新的架构模式来解决现有的困境，并同时兼顾开发体验(developer experience)和用户体验(user experience)解决大型项目应用之间复杂的依赖关系。
[0003]其中，大型项目在一个代码仓库中维护虽然可以解决统一管理、代码复用的问题，但是由于项目庞大，构建时间会很长，各业务功能技术栈必须统一，多产品无法灰度发布，代码回滚互相影响，因此会较大的降低开发体验而将大型项目拆分成多个仓库维护虽然可以解决构建时间长，不需要必须统一技术栈，灰度发布，回滚等问题，但是会在不同平台间跳转，会因此会降低用户体验。
[0004]由于前端系统的特殊性，故目前亟需在不影响用户正常操作的情况下能将采集的信息高效上送到日志数据库的方案。

技术实现思路

[0005]本申请实施例提供一种数据处理方法、装置、电子设备、存储介质和程序产品，可以提升数据处理的效率。
[0006]本申请实施例提供一种数据处理方法，包括：
[0007]当用户进行前端操作时，将所述前端操作加入微任务队列；
[0008]在宏任务执行完毕后，获取所述微任务队列中所有前端操作对应的前端日志；
[0009]对所述前端日志进行重要等级分类，得到初级日志和次级日志，所述初级日志包括程序运行信息，所述次级日志包括程序异常信息；
[0010]当所述前端日志的数据量大于预设阈值后，将所述分类后的前端日志存储于数据库中。
[0011]本申请实施例还提供一种数据处理装置，包括：
[0012]队列单元，用于当用户进行前端操作时，将所述前端操作加入微任务队列；
[0013]微任务单元，用于在宏任务执行完毕后，获取所述微任务队列中所有前端操作对应的前端日志；
[0014]分类单元，用于对所述前端日志进行重要等级分类，得到初级日志和次级日志，所述初级日志包括程序运行信息，所述次级日志包括程序异常信息；
[0015]存储单元，用于当所述前端日志的数据量大于预设阈值后，将所述分类后的前端日志存储于数据库中。
[0016]在一些实施例中，所述存储单元在将所述分类后的前端日志存储于数据库中之后，还用于：
[0017]显示监控页面；
[0018]响应于用户通过所述监控页面触发的日志查询操作，在所述分类后的前端日志中确定目标日志；
[0019]在所述监控页面展示所述目标日志。
[0020]在一些实施例中，所述响应于用户通过所述监控页面触发的日志查询操作，在所述分类后的前端日志中确定目标日志，包括：
[0021]响应于用户针对所述监控页面中异常日志查询控件的查询操作，将次级日志确定目标日志；
[0022]响应于用户针对所述监控页面中基础日志查询控件的查询操作，将初级日志确定目标日志。
[0023]在一些实施例中，所述存储单元在将所述分类后的前端日志存储于数据库中之后，还用于：
[0024]响应于所述前端日志符合预警阈值，向预设用户展示警告；
[0025]获取并执行所述预设用户针对所述警告所指示的预警决策。
[0026]在一些实施例中，所述向预设用户展示警告，包括：
[0027]确定预设用户的手机号；
[0028]向所述手机号发送预警短信。
[0029]在一些实施例中，所述向预设用户展示警告，包括：
[0030]确定预设用户的邮箱地址；
[0031]向所述邮箱地址发送预警邮件。
[0032]本申请实施例还提供一种电子设备，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种数据处理方法中的步骤。
[0033]本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种数据处理方法中的步骤。
[0034]本申请实施例在当用户进行前端操作时，可以将所述前端操作加入微任务队列；在宏任务执行完毕后，获取所述微任务队列中所有前端操作对应的前端日志；对所述前端日志进行重要等级分类，得到初级日志和次级日志，所述初级日志包括程序运行信息，所述次级日志包括程序异常信息；当所述前端日志的数据量大于预设阈值后，将所述分类后的前端日志存储于数据库中。本申请实施例通过宏任务的机制实现日志的异步上送，并周期性地在搜集到一定数量的日志后上送，由此保证了在不影响用户正常操作的情况下尽量减少了上送日志所消耗的网络资源，故本方案可提升日志数据处理的效率。
附图说明
[0035]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附
图。
[0036]图1a是本申请实施例提供的数据处理方法的场景示意图；
[0037]图1b是本申请实施例提供的数据处理方法的流程示意图；
[0038]图2a是本申请实施例提供的数据处理方法的系统架构示意图；
[0039]图2b是本申请实施例提供的数据处理方法的监控页面示意图；
[0040]图3是本申请实施例提供的数据处理装置的结构示意图；
[0041]图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0042]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0043]本申请实施例提供一种数据处理方法、装置、电子设备、存储介质和程序产品。
[0044]其中，该数据处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
[0045]在一些实施例中，该数据处理装置还可以集成在多个电子设备中，比如，数据处理装置可以集成在多个服务器中，由多个服务器来实现本申请的数据处理方法。
[0046]在一些实施例中，服务器也可以以终端的形式来实现。
[0047]例如，参考图1a，该电子设备可以是服务器，当用户在客户端进行前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：当用户进行前端操作时，将所述前端操作加入微任务队列；在宏任务执行完毕后，获取所述微任务队列中所有前端操作对应的前端日志；对所述前端日志进行重要等级分类，得到初级日志和次级日志，所述初级日志包括程序运行信息，所述次级日志包括程序异常信息；当所述前端日志的数据量大于预设阈值后，将所述分类后的前端日志存储于数据库中。2.如权利要求1所述的数据处理方法，其特征在于，所述将所述分类后的前端日志存储于数据库中之后，还包括：显示监控页面；响应于用户通过所述监控页面触发的日志查询操作，在所述分类后的前端日志中确定目标日志；在所述监控页面展示所述目标日志。3.如权利要求2所述的数据处理方法，其特征在于，所述响应于用户通过所述监控页面触发的日志查询操作，在所述分类后的前端日志中确定目标日志，包括：响应于用户针对所述监控页面中异常日志查询控件的查询操作，将次级日志确定目标日志；响应于用户针对所述监控页面中基础日志查询控件的查询操作，将初级日志确定目标日志。4.如权利要求1所述的数据处理方法，其特征在于，所述将所述分类后的前端日志存储于数据库中之后，还包括：响应于所述前端日志符合预警阈值，向预设用户展示警告；获取并执行所述预设用户针对所述警告所指示的预警决策。5.如权利要求4所述的数据处理方法，...

【专利技术属性】
技术研发人员：蒋雄声，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：