【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
[0001]本申请实施例涉及数据链路分析
,涉及但不限于一种数据处理方法、装置、设备及存储介质。
技术介绍
[0002]在相关技术的大数据链路治理过程中,对于大数据量的数据密集型应用系统,提供服务的微服务组件非常多。对于具体业务来说,通常需要组合多个维度,进行合理的组合分析,这样,在数据处理过程中,难以准确定位发生异常的数据。
技术实现思路
[0003]本申请实施例提供一种数据处理技术方案。
[0004]本申请实施例的技术方案是这样实现的:
[0005]第一方面,本申请实施例提供一种数据处理方法,所述方法包括:
[0006]基于获取的待处理数据,监测所述待处理数据的处理过程;
[0007]响应于监测到所述待处理数据的处理过程发生异常,生成所述处理过程的日志信息和所述日志信息关联的指标信息;
[0008]基于所述日志信息和所述指标信息,生成并输出告警信息以提示对所述异常进行处理。
[0009]第二方面,本申请实施例提供一种 ...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:基于获取的待处理数据,监测所述待处理数据的处理过程;响应于监测到所述待处理数据的处理过程发生异常,生成所述处理过程的日志信息和所述日志信息关联的指标信息;基于所述日志信息和所述指标信息,生成并输出告警信息以提示对所述异常进行处理。2.根据权利要求1所述的方法,其特征在于,所述基于获取的待处理数据,监测所述待处理数据的处理过程,包括:确定用于对所述待处理数据进行处理的组件和所述待处理数据的预设处理流程;按照预设时长间隔,在所述预设处理流程中监测所述预设组件对所述待处理数据的处理过程。3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:在所述处理过程中,确定所述待处理数据的处理结果和所述处理过程的处理参数;在监测到所述处理结果或所述处理参数不满足所述待处理数据的预设处理需求的情况下,确定所述处理过程发生异常。4.根据权利要求1至3任一项所述的方法,其特征在于,所述响应于监测到所述待处理数据的处理过程发生异常,生成所述处理过程的日志信息,包括:响应于监测到所述处理过程发生异常,确定所述处理过程对应的设备标识;基于所述待处理数据的预设处理需求、所述处理过程的处理结果和所述处理过程的处理参数,确定所述处理过程发生异常的异常原因;将所述处理过程对应的设备标识和所述异常原因,作为所述日志信息,并将所述日志信息存储至日志服务器。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:确定所述待处理数据在预设数据库中的存储地址;将所述存储地址,写入所述日志信息。6.根据权利要求5所述的方法,其特征在于,所述确定所述待处理数据在预设数据库中的存储地址之前,所述方法还包括:响应于监测到所述处理过程发生异常,按照预设数据格式对所述待处理数据进行转换,得到已转换数据;将所述已转换数据,存储在所述预设数据库。7.根据权利要求4至6任一项所述的方法,其特征在于,所述基于所述待处理数据的预设处理需求、所述处理过程的处理结果和所述处理过程的处理参数,确定所述处理过程发生异常的异常原因,包括:分别确定所述处理结果和所述处理参数,与所述预设处理需求之间的差异信息;基于所述差异信息,生成所述异常的详细原因;基于所述详细原因,确定所述异常的概要原因;将所述详细原因和所述概要原因,作为所述异常原因。8.根据权利要求4至7任一项所述的方法,其特征在于,所述响应于监测到所述待处理数据的处理过程发生异常,生成所述日志信息关联的指标信息,包括:
基于所述日志信息中的所述处理过程对应的设备标识和所述异常原因中的至少概要原因,生成指标标签;基于监测到发生异常的时刻和所述指标标签,生成所述指标信息。9.根据权利要求8所述的方法,其特征在于,所述基于所述日志信息中的所述处理过程对应的设备标识和所述异常原因中的至少概要原因,生成指标标签,包括:在所述日志信息中的异常原因包括所述待处理数据的处理结果不满足所述预设处理需求的情况下,基于所述日志信息中的所述设备标识和所述待处理数据的处理结果,生成所述指标标签。10.根据权利要求1至9任一项所述的方法,其特征在于,所述基于所述日志信息和所述指标信息,生成并输出告警信息以提示对所述异常进行处理之前,所述方法还包括:在所述处理过程所在的系统中,以上一次输出告警信息的时刻为起始时刻,统计所述处理过程所在的系统发生异常的次数;所述基于所述日志信息和所述指标信息,生成并输出告警信息以提示对所述异常进行处理,包括:在所述次数满足预设次数阈值的情况下,基于多次异常对应...
【专利技术属性】
技术研发人员:张晓东,梅纬,曹强,
申请(专利权)人:深圳市商汤科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。