数据处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本公开提供了一种数据处理方法、装置、电子设备及计算机可读存储介质，该方法包括：从多个业务服务器获取日志数据，其中，多个业务服务器中至少两个业务服务器所对应的日志数据的数据格式不同；按照预配置的第一数据格式，对日志数据进行格式转换，得到转换后的数据。本公开的实施例中，可将从多个业务服务器获取的日志数据的数据格式转换为预配置的数据格式，得到格式统一的数据并存储，由于从多个业务服务器中获取的日志数据为不同格式的日志数据，不便于后续的数据处理，因此，通过该方案，能够将日志数据转化为格式统一的数据，得到的格式统一的数据可以实时为不同业务需求提供数据基础，提高了后续的数据处理的效率。

Data processing method, device, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
数据处理方法、装置、电子设备及计算机可读存储介质
本公开涉及数据处理
，具体而言，本公开涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
对于线上产品，根据不同的业务需求，需要对不同的业务参数进行监控，以基于监控获取到的各业务参数所对应的数据，掌握该产品的业务性能或用户使用情况等。现有技术中，在对不同的业务参数对应的指标数据进行监控时，需要从监控不同的业务参数的指标数据的一个或多个服务器中，获得与每个业务参数对应的指标数据，在通过多个服务器对各个业务场景的指标数据进行监控时，由于从每个服务器获取的业务参数对应的指标数据的数据量大，且需要从不同的服务器中获取数据，使得数据获取效率慢。可见，现有技术中，从不同服务器中获取业务参数对应的指标数据的效率慢。
技术实现思路
本公开的目的旨在至少能解决上述的技术缺陷之一，提高数据处理效率。本公开采用的技术方案如下：第一方面，本公开提供了一种数据处理方法，该方法包括：从多个业务服务器获取日志数据，其中，多个业务服务器中至少两个业务服务器所对应的日志数据的数据格式不同；按照预配置的第一数据格式，对日志数据进行格式转换，得到转换后的数据。本公开的实施例中，按照预配置的第一数据格式，对日志数据进行格式转换，包括：根据第一数据格式和日志数据的第二数据格式，确定将第二数据格式转换为第一数据格式的数据转换规则；根据数据转换规则，将日志数据进行转换。本公开的实施例中，日志数据包括被监控业务参数的指标数据，根据数据转换规则，将日志数据进行转换，包括：根据参数配置信息，从日志数据中提取目标业务参数所对应的指标数据，参数配置信息中包括目标业务参数，被监控业务参数包括目标业务参数；根据数据转换规则，将目标业务参数以及目标业务参数所对应的指标数据进行转换。本公开的实施例中，参数配置信息中还包括间接业务参数，间接业务参数所对应的指标数据由至少两个被监控业务参数所对应的指标数据确定；该方法还包括：根据间接业务参数所对应的至少两个被监控业务参数所对应的指标数据，得到间接业务参数所对应的指标数据。本公开的实施例中，该方法还包括：根据转换后的数据的数据量，将转换后的数据进行存储。本公开的实施例中，根据转换后的数据的数据量，将转换后的数据进行存储，包括：若转换后的数据的数据量大于预配置的数据量阈值，则根据第一存储方式存储转换后的数据；若转换后的数据的数据量不大于数据量阈值，则根据第二存储方式存储转换后的数据；其中，第二存储方式存储数据量阈值的数据所占用的存储空间大于第一存储方式存储数据量阈值的数据所占用的存储空间。本公开的实施例中，该方法还包括：接收数据查询请求，数据查询请求中包括目标业务参数，数据查询请求的请求语句格式与第一数据格式相对应；根据数据查询请求，在转换后的数据中得到与目标业务参数对应的指标数据，并将目标业务参数对应的指标数据进行显示。第二方面，本公开提供了一种数据处理装置，该装置包括：数据获取模块，用于从多个业务服务器获取日志数据，其中，多个业务服务器中至少两个业务服务器所对应的日志数据的数据格式不同；数据转换模块，用于按照预配置的第一数据格式，对日志数据进行格式转换，得到转换后的数据。本公开的实施例中，数据转换模块在按照预配置的第一数据格式，对日志数据进行格式转换时，具体用于：根据第一数据格式和日志数据的第二数据格式，确定将第二数据格式转换为第一数据格式的数据转换规则；根据数据转换规则，将日志数据进行转换。本公开的实施例中，日志数据包括被监控业务参数的指标数据，数据转换模块在根据数据转换规则，将日志数据进行转换时，具体用于：根据参数配置信息，从日志数据中提取目标业务参数所对应的指标数据，参数配置信息中包括目标业务参数，被监控业务参数包括目标业务参数；根据数据转换规则，将目标业务参数以及目标业务参数所对应的指标数据进行转换。本公开的实施例中，参数配置信息中还包括间接业务参数，间接业务参数所对应的指标数据由至少两个被监控业务参数所对应的指标数据确定；该装置还包括：间接参数确定模块，用于根据间接业务参数所对应的至少两个被监控业务参数所对应的指标数据，得到间接业务参数所对应的指标数据。本公开的实施例中，该装置还包括：数据存储模块，用于根据转换后的数据的数据量，将转换后的数据进行存储。本公开的实施例中，数据存储模块具体用于：若转换后的数据的数据量大于预配置的数据量阈值，则根据第一存储方式存储转换后的数据；若转换后的数据的数据量不大于数据量阈值，则根据第二存储方式存储转换后的数据；其中，第二存储方式存储数据量阈值的数据所占用的存储空间大于第一存储方式存储数据量阈值的数据所占用的存储空间。本公开的实施例中，该装置还包括：数据处理模块，用于接收数据查询请求，数据查询请求中包括目标业务参数，数据查询请求的请求语句格式与第一数据格式相对应；根据数据查询请求，在转换后的数据中得到与目标业务参数对应的指标数据，并将目标业务参数对应的指标数据进行显示。第三方面，本公开提供了一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储计算机操作指令；处理器，用于通过调用计算机操作指令，执行如本公开的第一方面的任一实施例中所示的方法。第四方面，本公开提供了一种计算机可读存储介质，该存储介质存有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本公开的第一方面的任一实施例中所示的方法。本公开实施例提供的技术方案带来的有益效果是：本公开实施例的数据处理方法、装置、电子设备及计算机可读存储介质，可将从多个业务服务器获取的日志数据的数据格式转换为预配置的数据格式，得到格式统一的数据并存储，由于从多个业务服务器中获取的日志数据为不同格式的日志数据，不便于后续的数据处理，因此，通过该方案，能够将日志数据转化为格式统一的数据，得到的格式统一的数据可以实时为不同业务需求提供数据基础，进而在基于该格式统一的日志数据进行相关处理时，可以提高数据处理的效率。附图说明为了更清楚地说明本公开实施例中的技术方案，下面将对本公开实施例描述中所需要使用的附图作简单地介绍。图1为本公开的实施例提供的一种数据处理方法的流程示意图；图2为本公开的实施例提供的另一种数据处理方法的流程示意图；图3为本公开的实施例提供的一种数据处理装置的结构示意图；图4为本公开的实施例提供的一种电子设备的结构示意图。具体实施方式下面详细描述本公开的实施例，该实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n从多个业务服务器获取日志数据，其中，所述多个业务服务器中至少两个业务服务器所对应的日志数据的数据格式不同；/n按照预配置的第一数据格式，对所述日志数据进行格式转换，得到转换后的数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
从多个业务服务器获取日志数据，其中，所述多个业务服务器中至少两个业务服务器所对应的日志数据的数据格式不同；
按照预配置的第一数据格式，对所述日志数据进行格式转换，得到转换后的数据。


2.根据权利要求1所述的方法，其特征在于，所述按照预配置的第一数据格式，对所述日志数据进行格式转换，包括：
根据所述第一数据格式和所述日志数据的第二数据格式，确定将所述第二数据格式转换为所述第一数据格式的数据转换规则；
根据所述数据转换规则，将所述日志数据进行转换。


3.根据权利要求2所述的方法，其特征在于，所述日志数据包括被监控业务参数的指标数据，所述根据所述数据转换规则，将所述日志数据进行转换，包括：
根据参数配置信息，从所述日志数据中提取目标业务参数所对应的指标数据，所述参数配置信息中包括所述目标业务参数，所述被监控业务参数包括所述目标业务参数；
根据所述数据转换规则，将所述目标业务参数以及所述目标业务参数所对应的指标数据进行转换。


4.根据权利要求3所述的方法，其特征在于，所述参数配置信息中还包括间接业务参数，所述间接业务参数所对应的指标数据由至少两个所述被监控业务参数所对应的指标数据确定；
所述方法还包括：
根据所述间接业务参数所对应的至少两个所述被监控业务参数所对应的指标数据，得到所述间接业务参数所对应的指标数据。


5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
根据所述转换后的数据的数据量，将所述转换后的数据进行存储。


6.根据权利要5所述的方法，其特征在于，所述根据所述转换后的数...

【专利技术属性】
技术研发人员：姜子阳，
申请(专利权)人：北京微播视界科技有限公司，
类型：发明
国别省市：北京;11