一种数据处理方法、装置、设备及介质制造方法及图纸

本申请涉及数据分析领域，具体涉及一种数据处理方法、装置、设备及介质，用于降低对处理器性能的要求并提高排查错误组件的效率。获取各个组件运行产生的日志，将日志转存至存储器中；根据预设错误集合对存储器中的日志进行遍历；若得到错误日志，则基于错误日志对应的错误关键字对错误日志进行错误识别处理，得到至少一个用于对错误日志进行处理的错误类别。本申请通过设置错误集合，可以保证完整的错误信息的采集，使得分析结果可以覆盖全部错误类型；且本申请中首先对日志进行转存，并对转存后的数据可以进行逐一处理，无需一次性处理全量的日志内容，降低了对处理器性能的要求。降低了对处理器性能的要求。降低了对处理器性能的要求。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及介质


[0001]本申请涉及数据分析领域，具体涉及一种数据处理方法、装置、设备及介质。

技术介绍

[0002]目前，相关技术中处理日志时采用全量采集的方式，即将全部日志信息进行分析处理然后再进行入库，此方式对系统配置及系统处理能力有较高要求，相对测试环境存储和配置无法满足要求时，此种处理方式则无法实现。
[0003]且相关技术中没有错误排查系统进行问题查看等情况，导致非功能测试人员在进行测试时，无法快速排查是出现错误的组件。

技术实现思路

[0004]本申请的目的是提供一种数据处理方法、装置、电子设备和存储介质，用于降低对处理器性能的要求并提高排查错误组件的效率。
[0005]第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：
[0006]获取各个组件运行产生的日志，将所述日志转存至存储器中；
[0007]根据预设错误集合对所述存储器中的日志进行遍历；所述预设错误集合包括多个错误关键字，所述错误关键字表征日志出现错误时对应的关键字；/>[0008]若得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取各个组件运行产生的日志，将所述日志转存至存储器中；根据预设错误集合对所述存储器中的日志进行遍历；所述预设错误集合包括多个错误关键字，所述错误关键字表征日志出现错误时对应的关键字；若得到错误日志，则基于所述错误日志对应的错误关键字对所述错误日志进行错误识别处理，得到至少一个用于对错误日志进行处理的错误类别。2.根据权利要求1所述的方法，其特征在于，所述根据预设错误集合对所述存储器中的日志进行遍历，包括：基于所述预设错误集合中的错误关键字对所述存储器中的日志进行遍历；每遍历一个所述日志，将所述预设错误集合中的错误关键字与所述日志进行比对，若所述日志中存在所述预设错误集合中的错误关键字，则将所述日志作为错误日志。3.根据权利要求1所述的方法，其特征在于，所述基于所述错误日志对应的错误关键字对所述错误日志进行错误识别处理，得到至少一个错误类别之后，所述方法还包括：基于所述错误类别生成错误统计报表，并将所述错误统计报表存储至数据库中。4.根据权利要求3所述的方法，其特征在于，所述基于所述错误类别生成错误统计报表，并将所述错误统计报表存储至数据库中之后，所述方法还包括：若接收到错误日志查询指令，则确定所述查询指令对应的错误类别；在所述错误统计报表中确定出属于所述错误类别的错误日志，并对所述错误日志进行展示。5.根据权利要求1所述的方法，其特征在于，所述将所述日志转存至存储器中，包括：将所述日志通过网络附属存储NAS的方式转存至存储器中。6.根据权利要求1～5任一所述的方法，其特征在于，所述将所述预设错误集合中的错误关键字与所述日志进行比对，包括：采用数据仓库技术ETL将所述预设错误集合中的错误关键字与所述日志进行比对，或；采用shell脚本将所述预设错误集合中的错误关键字与所述日志进行比对，或，采用结构化查询语言将所述预设错误集合中的错误关键字与所述日志进行比对。7.一种数据处理装置，其特征在于，所述装置包括：转存模块，用于获取各个组件运行产生的日志，将所述日志转存至存储器中；遍历模块，用于根据预设错误集合对所述存储器中的日志进行遍历；所述预设错误集合包括多个错误关键字，所述错误关键字表征日志出现错误时对应的关键字；分类模块，用于若得到错误日志，则基于所述错误日志对应的错误关键字对所述错误日志进行错误识别处理，得到至少...

【专利技术属性】
技术研发人员：李虹霖，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：