数据处理方法技术

本公开提供了一种数据处理方法

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本公开涉及网络传输和金融科技
，尤其涉及一种数据处理方法
、
装置
、
设备
、
存储介质和程序产品
。

技术介绍

[0002]随着网络技术的发展，监控数据成为监测各种类型应用系统运行状态不可或缺的部分，同时，网络稳定性对于监控数据质量的影响程度越来越高
。
[0003]在实现本公开构思的过程中，专利技术人发现相关技术中针对监控数据的采集方面存在如下缺陷：在异常网络状态下，监控数据采集的效率低下，且所获取的数据质量不高，难以满足实际业务生产需求
。

技术实现思路

[0004]鉴于上述问题，本公开提供了一种数据处理方法
、
装置
、
设备
、
存储介质和程序产品
。
[0005]根据本公开的第一个方面，提供了一种数据处理方法，包括：在检测到应用系统的运行状态异常的情况下，将与上述应用系统相关联的监测数据存储至目标存储区域；
[0006]对上述目标存储区域中的上述监测数据进行标记，得到第一标记数据；
[0007]基于上述目标存储区域的存储资源使用状态，对上述第一标记数据进行处理，得到与上述存储资源使用状态相匹配的第二标记数据；
[0008]在检测到上述应用系统的运行状态恢复正常的情况下，向目标服务端上传标记数据，其中，上述标记数据包括上述第一标记数据和
/
或上述第二标记数据
。
[0009]根据本公开的实施例，上述基于上述目标存储区域的存储资源使用状态，对上述第一标记数据进行处理，得到与上述存储资源使用状态相匹配的第二标记数据，包括：
[0010]基于上述目标存储区域中存储的上述第一标记数据的数据量，监测上述目标存储区域的存储资源使用状态信息；以及
[0011]在上述存储资源使用状态信息大于或者等于预设阈值的情况下，对上述第一标记数据进行处理，生成与上述存储资源使用状态相匹配的第二标记数据
。
[0012]根据本公开的实施例，上述在上述存储资源使用状态信息大于或者等于预设阈值的情况下，对上述第一标记数据进行处理，生成与上述存储资源使用状态相匹配的第二标记数据，包括：
[0013]在上述存储资源使用状态信息大于或者等于预设阈值的情况下，对上述第一标记数据进行降采样处理，生成降采样后的第一标记数据；以及
[0014]在上述降采样后的第一标记数据的数据量大于或者等于存储资源配置上限的情况下，根据相关预设规则对上述降采样后的第一标记数据进行删减与更新处理，生成上述第二标记数据
。
[0015]根据本公开的实施例，上述在检测到上述应用系统的运行状态恢复正常的情况
下，向目标服务端上传标记数据之前，还包括：
[0016]在检测到上述应用系统的运行状态异常的情况下，暂停向上述目标服务端上传上述监测数据；以及
[0017]基于与上述应用系统的运行状态异常的情况相关联的预设规则，定时向上述目标服务端发送网络连接请求
。
[0018]根据本公开的实施例，上述在检测到应用系统的运行状态异常的情况下，将与上述应用系统相关联的监测数据存储至目标存储区域之前，还包括：
[0019]在检测到上述应用系统的运行状态恢复正常的情况下向上述目标存储区域存储监测数据；
[0020]向上述目标服务端上传上述目标存储区域中的上述监测数据，以及
[0021]基于上述目标存储区域中的上述监测数据的上传结果，对上述目标存储区域中的上述监测数据进行处理
。
[0022]根据本公开的实施例，上述基于上述目标存储区域中的上述监测数据的上传结果，对上述目标存储区域中的上述监测数据进行处理，包括：
[0023]在上述目标存储区域中的上述监测数据上传结果正常的情况下，将上述目标存储区域中的上述监测数据进行删除；以及
[0024]在上述目标存储区域内的监测数据上传结果异常的情况下，将上述目标存储区域中的上述监测数据进行保留
。
[0025]根据本公开的实施例，上述在检测到上述应用系统的运行状态恢复正常的情况下，向目标服务端上传标记数据之后，还包括：
[0026]在向上述目标服务端上传上述标记数据的上传结果正常的情况下，对上述目标存储区域中的上述标记数据进行删除
。
[0027]本公开的第二方面提供了一种数据处理装置，包括：
[0028]数据存储模块，用于在检测到应用系统的运行状态异常的情况下，将与上述应用系统相关联的监测数据存储至目标存储区域；
[0029]数据标记模块，用于对上述目标存储区域中的上述监测数据进行标记，得到第一标记数据；
[0030]数据处理模块，用于基于上述目标存储区域的存储资源使用状态，对上述第一标记数据进行处理，得到与上述存储资源使用状态相匹配的第二标记数据；以及
[0031]数据上传模块，用于在检测到上述应用系统的运行状态恢复正常的情况下，向目标服务端上传标记数据，其中，上述标记数据包括上述第一标记数据和
/
或上述第二标记数据
。
[0032]本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得一个或多个处理器执行上述方法
。
[0033]本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法
。
[0034]本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法
。
[0035]根据本公开提供的数据处理方法
、
装置
、
设备
、
存储介质和程序产品，通过对应用系统运行状态监测的异常情况，自动向目标存储区域存储监测数据，以及对目标存储区域中的存储数据进行自动标记，生成第一标记数据，并通过对第一标记数据进行处理，从而得到第二标记数据，并基于应用系统的运行状态恢复正常的情况，向目标服务端上传标记数据，实现了在网络异常情况下保证监测数据资源的完整性，提高了监测数据采集的效率，同时为系统异常问题的排查提供了客观数据依据
。
附图说明
[0036]通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的
、
特征和优点将更为清楚，在附图中：
[0037]图1示意性示出了根据本公开实施例的数据处理方法
、
装置
、
设备
、
介质和程序产品的应用场景图；
[0038]图2示意性示出了根据本公开实施例的数据处理方法的流程图；
[0039]图3示意性示出了根据本公开实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，包括：在检测到应用系统的运行状态异常的情况下，将与所述应用系统相关联的监测数据存储至目标存储区域；对所述目标存储区域中的所述监测数据进行标记，得到第一标记数据；基于所述目标存储区域的存储资源使用状态，对所述第一标记数据进行处理，得到与所述存储资源使用状态相匹配的第二标记数据；在检测到所述应用系统的运行状态恢复正常的情况下，向目标服务端上传标记数据，其中，所述标记数据包括所述第一标记数据和
/
或所述第二标记数据
。2.
根据权利要求1所述的方法，其中，所述基于所述目标存储区域的存储资源使用状态，对所述第一标记数据进行处理，得到与所述存储资源使用状态相匹配的第二标记数据，包括：基于所述目标存储区域中存储的所述第一标记数据的数据量，监测所述目标存储区域的存储资源使用状态信息；以及在所述存储资源使用状态信息大于或者等于预设阈值的情况下，对所述第一标记数据进行处理，生成与所述存储资源使用状态相匹配的第二标记数据
。3.
根据权利要求2所述的方法，其中，所述在所述存储资源使用状态信息大于或者等于预设阈值的情况下，对所述第一标记数据进行处理，生成与所述存储资源使用状态相匹配的第二标记数据，包括：在所述存储资源使用状态信息大于或者等于预设阈值的情况下，对所述第一标记数据进行降采样处理，生成降采样后的第一标记数据；以及在所述降采样后的第一标记数据的数据量大于或者等于存储资源配置上限的情况下，根据相关预设规则对所述降采样后的第一标记数据进行删减与更新处理，生成所述第二标记数据
。4.
根据权利要求1所述的方法，其中，所述在检测到所述应用系统的运行状态恢复正常的情况下，向目标服务端上传标记数据之前，还包括：在检测到所述应用系统的运行状态异常的情况下，暂停向所述目标服务端上传所述监测数据；以及基于与所述应用系统的运行状态异常的情况相关联的预设规则，定时向所述目标服务端发送网络连接请求
。5.
根据权利要求1所述的方法，其中，所述在检测到应用系统的运行状态异常的情况下，将与所述应用系统相关联的监测数据存储至目标存储区域之前，还包括：在检测到所述应用系统的运行状态恢复正常的...

【专利技术属性】
技术研发人员：吴蓬云，
申请(专利权)人：工银科技有限公司，
类型：发明
国别省市：