数据处理方法技术

本发明专利技术涉及计算机技术领域，具体涉及一种数据处理方法

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法
、
装置
、
电子设备及计算机可读存储介质
。

技术介绍

[0002]目前，通常使用普罗米修斯
Prometheus
收集和监控终端设备上运行的指标数据
。
收集指标数据后，再将指标数据上传到云端进行统一分析
。Prometheus 是一个开源的系统监控和警报工具，用于收集
、
存储和查询各种应用程序和系统组件的指标数据
。Prometheus
被广泛用于云原生环境中的监控和警报领域，特别是在容器化应用程序和微服务架构中
。
[0003]相关技术中，会将用于查询指标数据的查询语句写到代码中，然后运行代码，以执行查询语句，进而获取指标数据，再将指标数据上传至服务器
。
但是，采用这样的方式，如果需要新增查询的指标数据，则需要修改代码，并对修改的代码重新进行编译
。
编译通过后，重新执行代码，再获取指标数据
。
因此，采用相关技术研发人员的工作量较大，并且数据查询效率较低
。

技术实现思路

本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一
。
为此，本专利技术的一个目的在于提出一种数据处理方法，具有提高数据查询效率的优点
。
[0004]根据本专利技术实施例的第一方面，提供一种数据处理方法，包括：获取定时器的启动时间，所述启动时间用于指示所述定时器定时启动；从查询语句配置文件中获取与所述定时器对应的指标数据查询语句；在到达所述启动时间时，启动所述定时器采用多个线程执行所述指标数据查询语句，以获取指标数据；将所述指标数据转换为目标格式的指标数据
。
[0005]在本专利技术的一种示例性实施例中，所述采用多个线程执行所述指标数据查询语句包括：获取所述指标数据查询语句的数量；基于所述数量生成
N
个查询线程，
N
为大于1或者等于1的整数；建立各所述指标数据查询语句与各所述查询线程的对应关系；各所述查询线程分别按照所述对应关系执行与其对应的所述指标数据查询语句，以获取所述指标数据
。
[0006]所述执行所述指标数据查询语句前，所述方法还包括：建立
M
个数据上传线程，
M
为大于1或者等于1的整数；所述执行所述指标数据查询语句后，所述方法还包括：各所述查询线程将所述指标数据加入数据队列；各所述数据上传线程分别从所述数据队列中获取所述指标数据，并将所述指标数
据上传至服务器
。
[0007]在本专利技术的一种示例性实施例中，所述将所述指标数据转换为目标格式的指标数据包括：生成所述指标数据的标识信息；获取所述指标数据的各字段与所述字段对应的字段值；基于所述标识信息
、
各所述字段和分别与各所述字段对应的字段值生成目标结构的指标数据
。
[0008]在本专利技术的一种示例性实施例中，所述基于所述标识信息
、
各所述字段和分别与各所述字段对应的字段值生成目标结构的指标数据包括：将所述字段和所述字段值按照预设顺序进行排列，得到排列结果；将所述排列结果进行字符串拼接，得到拼接结果；生成所述拼接结果的标识码；基于所述标识信息
、
所述标识码
、
所述字段以及所述字段值生成所述目标结构的指标数据
。
[0009]在本专利技术的一种示例性实施例中，所述获取所述定时器的启动时间包括：获取所述定时器的表达式；从所述表达式中获取所述定时器的启动时间
。
[0010]在本专利技术的一种示例性实施例中，所述将所述指标数据转换为目标格式的指标数据后，所述方法还包括：生成与所述定时器对应的目标文件；将所述目标格式的指标数据存储至所述目标文件
。
[0011]在本专利技术的一种示例性实施例中，所述将所述目标格式的指标数据存储至所述目标文件后，所述方法还包括：循环执行预设步骤，直至所述目标文件中的所有指标数据均已上传，所述预设步骤包括：从所述目标文件中获取预设数量的所述目标格式的指标数据；将所述预设数量的所述目标格式的指标数据通过目标接口上传至服务器
。
[0012]根据本专利技术实施例的第二方面，提供一种数据处理装置，包括：启动时间获取模块，用于获取定时器的启动时间，所述启动时间用于指示所述定时器定时启动；查询语句获取模块，用于从查询语句配置文件中获取与所述定时器对应的指标数据查询语句；指标数据获取模块，用于在到达所述启动时间时，启动所述定时器采用多个线程执行所述指标数据查询语句，以获取指标数据；指标数据转换模块，用于将所述指标数据转换为目标格式的指标数据
。
[0013]根据本专利技术实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面中任一项所述的数
据处理方法
。
[0014]根据本专利技术实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面中任一项所述的数据处理方法
。
[0015]综上所述，本专利技术实施例的数据处理方法，通过获取定时器的启动时间，所述启动时间用于指示所述定时器定时启动；从查询语句配置文件中获取与所述定时器对应的指标数据查询语句；在到达所述启动时间时，启动所述定时器采用所述多个线程执行所述指标数据查询语句，以获取指标数据；将所述指标数据转换为目标格式的指标数据；一方面，在需要新增查询的指标数据时，只需在查询语句配置文件中配置该指标数据的查询语句即可，不需要修改代码，更不需要对代码重新进行编译，从而减少了研发人员的工作量，并且提高了数据查询效率，另一方面，采用所述多个线程执行所述指标数据查询语句，能够进一步提高数据查询效率；再一方面，通过将所述指标数据转换为目标格式的指标数据，能够对指标数据的格式进行统一，进而提高数据处理效率
。
[0016]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到
。
附图说明
[0017]图1是根据一示例性实施例提供的一种数据处理方法的流程图；图2是根据一示例性实施例提供的一种指标数据查询语句的执行方法的流程图；图3是根据一示例性实施例提供的一种指标数据生成方法的流程图；图4是根据一示例性实施例提供的一种数据处理装置的方框图；图5是根据一示例性实施例提供的一种存储介质的示意图；图6是根据一示例性实施例提供的一种电子设备的方框图
。
具体实施方式
[0018]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括：获取定时器的启动时间，所述启动时间用于指示所述定时器定时启动；从查询语句配置文件中获取与所述定时器对应的指标数据查询语句；在到达所述启动时间时，启动所述定时器采用多个线程执行所述指标数据查询语句，以获取指标数据；将所述指标数据转换为目标格式的指标数据
。2.
根据权利要求1所述的方法，其特征在于，所述采用多个线程执行所述指标数据查询语句包括：获取所述指标数据查询语句的数量；基于所述数量生成
N
个查询线程，
N
为大于1或者等于1的整数；建立各所述指标数据查询语句与各所述查询线程的对应关系；各所述查询线程分别按照所述对应关系执行与其对应的所述指标数据查询语句，以获取所述指标数据
。3.
根据权利要求2所述的方法，其特征在于，所述执行所述指标数据查询语句前，所述方法还包括：建立
M
个数据上传线程，
M
为大于1或者等于1的整数；所述执行所述指标数据查询语句后，所述方法还包括：各所述查询线程将所述指标数据加入数据队列；各所述数据上传线程分别从所述数据队列中获取所述指标数据，并将所述指标数据上传至服务器
。4.
根据权利要求1所述的方法，其特征在于，所述将所述指标数据转换为目标格式的指标数据包括：生成所述指标数据的标识信息；获取所述指标数据的各字段与所述字段对应的字段值；基于所述标识信息
、
各所述字段和分别与各所述字段对应的字段值生成目标结构的指标数据
。5.
根据权利要求4所述的方法，其特征在于，所述基于所述标识信息
、
各所述字段和分别与各所述字段对应的字段值生成目标结构的指标数据包括：将所述字段和所述字段值按照预设顺序进行排列，得到排列结果；将所述排列结果进行字符串拼接，得到拼接结果；生...

【专利技术属性】
技术研发人员：吴健文，刘泉泉，陆广豪，李金生，简达锦，王再炜，
申请(专利权)人：美云智数科技有限公司，
类型：发明
国别省市：