数据处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本公开提供了一种数据处理方法、装置、电子设备及计算机可读存储介质，该方法包括：接收数据查询请求，数据查询请求中包括目标业务参数；根据数据查询请求，获取监控数据，监控数据包括被监控业务参数所对应的指标数据，被监控业务参数包括目标业务参数；从监控数据中得到目标业务参数所对应的指标数据。本公开的实施例中，可依据数据查询请求，获取格式统一的监控数据，从该监控数据中查询得到目标业务参数的指标数据，通过该方案，由于监控数据为格式统一的数据，因此在基于数据查询请求从监控数据中查询目标业务参数的指标数据时，可基于与监控数据的数据格式相应的数据查询请求，快速得到目标业务参数的指标数据，提高了数据处理效率。

Data processing method, device, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
数据处理方法、装置、电子设备及计算机可读存储介质
本公开涉及数据处理
，具体而言，本公开涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
对于线上产品，根据不同的业务需求，需要对不同的业务参数进行监控，以基于监控获取到的各业务参数所对应的数据，掌握该产品的业务性能或用户使用情况等。现有技术中，如果产品运行中出现异常，则需要在监控不同业务参数得到的数据中查询业务参数的指标数据，通过查询到的业务参数的指标数据，可以时发现产品运行异常的原因，当该产品的业务参数由不同的服务器进行监控时，由于来自不同服务器上的业务参数的指标数据的数据量大，以及一些其它原因，会使得在基于不同的业务需求从监控得到的数据中进行数据查询时，数据查询效率慢。可见，现有技术中，由于监控业务参数的数据来自不同的服务器，使得对监控得到的数据的处理效率慢。
技术实现思路
本公开的目的旨在至少能解决上述的技术缺陷之一，提高数据处理效率。本公开采用的技术方案如下：第一方面，本公开提供了一种数据处理方法，该方法包括：接收数据查询请求，数据查询请求中包括目标业务参数；根据数据查询请求，获取监控数据，监控数据包括被监控业务参数所对应的指标数据，被监控业务参数包括目标业务参数；其中，监控数据为将被监控业务参数所对应的指标数据按照预配置的第一数据格式进行转换后的数据，被监控业务参数所对应的指标数据为从多个业务服务器获取到的数据，数据查询请求的请求语句格式与第一数据格式相对应；从监控数据中得到目标业务参数所对应的指标数据。本公开的实施例中，获取监控数据，包括：从多个业务服务器获取日志数据，日志数据中包括被监控业务参数所对应的指标数据；根据第一数据格式和日志数据的第二数据格式，确定将第二数据格式转换为第一数据格式的数据转换规则；根据数据转换规则，将日志数据进行转换，得到监控数据。本公开的实施例中，多个业务服务器中至少两个业务服务器所对应的日志数据的数据格式不同。本公开的实施例中，根据数据转换规则，将日志数据进行转换，包括：从日志数据中提取目标业务参数所对应的指标数据；根据数据转换规则，将目标业务参数以及目标业务参数所对应的指标数据进行转换。本公开的实施例中，若目标业务参数包括间接业务参数，间接业务参数所对应的指标数据由至少两个被监控业务参数所对应的指标数据确定；从监控数据中得到目标业务参数所对应的指标数据，包括：从监控数据中得到间接业务参数所对应的至少两个被监控业务参数所对应的指标数据；根据间接业务参数所对应的至少两个被监控业务参数所对应的指标数据，得到间接业务参数所对应的指标数据。本公开的实施例中，该方法还包括：根据待存储数据的数据量，将待存储数据进行存储，待存储数据为监控数据或目标业务参数所对应的指标数据。本公开的实施例中，根据待存储数据的数据量，将待存储数据进行存储，包括：若待存储数据的数据量大于预配置的数据量阈值，则根据第一存储方式存储待存储数据；若待存储数据的数据量不大于数据量阈值，则根据第二存储方式存储待存储数据；其中，第二存储方式存储数据量阈值的数据所占用的存储空间大于第一存储方式存储数据量阈值的数据所占用的存储空间。第二方面，本公开提供了一种数据处理装置，该装置包括：查询请求接收模块，用于接收数据查询请求，数据查询请求中包括目标业务参数；监控数据获取模块，用于根据数据查询请求，获取监控数据，监控数据包括被监控业务参数所对应的指标数据，被监控业务参数包括目标业务参数；其中，监控数据为将被监控业务参数所对应的指标数据按照预配置的第一数据格式进行转换后的数据，被监控业务参数所对应的指标数据为从多个业务服务器获取到的数据，数据查询请求的请求语句格式与第一数据格式相对应；数据查询模块，用于从监控数据中得到与目标业务参数所对应的指标数据。本公开的实施例中，监控数据获取模块在获取监控数据时，具体用于：从多个业务服务器获取日志数据，日志数据中包括被监控业务参数所对应的指标数据；根据第一数据格式和日志数据的第二数据格式，确定将第二数据格式转换为第一数据格式的数据转换规则；根据数据转换规则，将日志数据进行转换，得到监控数据。本公开的实施例中，多个业务服务器中至少两个业务服务器所对应的日志数据的数据格式不同。本公开的实施例中，监控数据获取模块在根据数据转换规则，将日志数据进行转换时，具体用于：从日志数据中提取目标业务参数所对应的指标数据；根据数据转换规则，将目标业务参数以及目标业务参数所对应的指标数据进行转换。本公开的实施例中，数据查询模块在目标业务参数包括间接业务参数，间接业务参数所对应的指标数据由至少两个被监控业务参数所对应的指标数据确定时，具体用于：从监控数据中得到间接业务参数所对应的至少两个被监控业务参数所对应的指标数据；根据间接业务参数所对应的至少两个被监控业务参数所对应的指标数据，得到间接业务参数所对应的指标数据。本公开的实施例中，该装置还包括：数据存储模块，用于根据待存储数据的数据量，将待存储数据进行存储，待存储数据为监控数据或目标业务参数所对应的指标数据。本公开的实施例中，根据待存储数据的数据量，将待存储数据进行存储，包括：若待存储数据的数据量大于预配置的数据量阈值，则根据第一存储方式存储待存储数据；若待存储数据的数据量不大于数据量阈值，则根据第二存储方式存储待存储数据；其中，第二存储方式存储数据量阈值的数据所占用的存储空间大于第一存储方式存储数据量阈值的数据所占用的存储空间。第三方面，本公开提供了一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储计算机操作指令；处理器，用于通过调用计算机操作指令，执行如本公开的第一方面的任一实施例中所示的方法。第四方面，本公开提供了一种计算机可读存储介质，该存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本公开的第一方面的任一实施例中所示的方法。本公开实施例提供的技术方案带来的有益效果是：本公开实施例的数据处理方法、装置、电子设备及计算机可读存储介质，可依据数据查询请求，获取基于从多个业务服务器获取到的数据格式统一的监控数据，从格式统一的监控数据中查询得到数据查询请求中的目标业务参数的指标数据，通过该方案，由于监控数据为格式统一的数据，因此在基于数据查询请求从监控数据中查询目标业务参数的指标数据时，可基于与监控数据的数据格式相应的数据查询请求，快速得到目标业务参数的指标数据，提高了数据处理效率。附图说明为了更清楚地说明本公开实施例中的技术方案，下面将对本公开实施例描述中所需要本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n接收数据查询请求，所述数据查询请求中包括目标业务参数；/n根据所述数据查询请求，获取监控数据，所述监控数据包括被监控业务参数所对应的指标数据，所述被监控业务参数包括所述目标业务参数；/n其中，所述监控数据为将所述被监控业务参数所对应的指标数据按照预配置的第一数据格式进行转换后的数据，所述被监控业务参数所对应的指标数据为从多个业务服务器获取到的数据，所述数据查询请求的请求语句格式与所述第一数据格式相对应；/n从所述监控数据中得到所述目标业务参数所对应的指标数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
接收数据查询请求，所述数据查询请求中包括目标业务参数；
根据所述数据查询请求，获取监控数据，所述监控数据包括被监控业务参数所对应的指标数据，所述被监控业务参数包括所述目标业务参数；
其中，所述监控数据为将所述被监控业务参数所对应的指标数据按照预配置的第一数据格式进行转换后的数据，所述被监控业务参数所对应的指标数据为从多个业务服务器获取到的数据，所述数据查询请求的请求语句格式与所述第一数据格式相对应；
从所述监控数据中得到所述目标业务参数所对应的指标数据。


2.根据权利要求1所述的方法，其特征在于，所述获取监控数据，包括：
从所述多个业务服务器获取日志数据，所述日志数据中包括所述被监控业务参数所对应的指标数据；
根据所述第一数据格式和所述日志数据的第二数据格式，确定将所述第二数据格式转换为所述第一数据格式的数据转换规则；
根据所述数据转换规则，将所述日志数据进行转换，得到所述监控数据。


3.根据权利要求2所述的方法，其特征在于，所述多个业务服务器中至少两个业务服务器所对应的日志数据的数据格式不同。


4.根据权利要求2所述的方法，其特征在于，所述根据所述数据转换规则，将所述日志数据进行转换，包括：
从所述日志数据中提取所述目标业务参数所对应的指标数据；
根据所述数据转换规则，将所述目标业务参数以及所述目标业务参数所对应的指标数据进行转换。


5.根据权利要求4所述的方法，其特征在于，若所述目标业务参数包括间接业务参数，所述间接业务参数所对应的指标数据由至少两个所述被监控业务参数所对应的指标数据确定；
所述从所述监控数据中得到所述目标业务参数所对应的指标数据，包括：
从所述监控数据中得到所述间接业务参数所对应的至少两个被监控业务参数所对应的指标数据；
根据所述间接业务参数所对应的至少两个被监控业务参数所对应的指标数据，得到所述间接业务参数所对应的指标数据...

【专利技术属性】
技术研发人员：姜子阳，
申请(专利权)人：北京微播视界科技有限公司，
类型：发明
国别省市：北京;11