一种数据处理方法和装置制造方法及图纸

本申请公开了数据处理方法和装置，涉及计算机技术领域，该方法包括：接收数据处理请求，调用数据计算及分析程序，根据数据处理请求，生成对应各数据库类型的查询语句；调用查询语句对应的数据库，执行查询语句，得到待处理数据；响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。从而实现对异构数据源进行数据监控，通过对异构数据源指标的绝对值或计算值监控，极大降低用户的开发和维护成本，并保证数据的实时性和准确性。并保证数据的实时性和准确性。并保证数据的实时性和准确性。

【技术实现步骤摘要】
一种数据处理方法和装置


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法和装置。

技术介绍

[0002]目前，在获取存储在不同数据库中的数据，以进行异构数据源中的数据监控时，通过接口或其他调度、计算引擎，将异构数据源中的数据经过清洗、计算，汇总到统一的一种数据库类型的表中，基于汇总结果表进行监控分析时，有较高的开发和维护成本，可复用性差，迭代周期慢，无法保障数据的实时性和准确性。或者通过分别对不同类型的数据源中的数据进行监控，由人工判断数据间的联系，进而做出业务处理决策，很容易受主观因素影响，忽略重要告警。
[0003]在实现本申请过程中，专利技术人发现现有技术中至少存在如下问题：
[0004]当获取存储在不同数据库中的数据，以进行异构数据源中的数据监控时，存在较高的开发和维护成本，无法保障数据的实时性和准确性。

技术实现思路

[0005]有鉴于此，本申请实施例提供一种数据处理方法和装置，能够解决现有的当获取存储在不同数据库中的数据，以进行异构数据源中的数据监控时，存在较高的开发和维护成本，可复用性差，无法保障数据的实时性和准确性的问题。
[0006]为实现上述目的，根据本申请实施例的一个方面，提供了一种数据处理方法，包括：
[0007]接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句；
[0008]调用查询语句对应的数据库，以执行查询语句，得到待处理数据；
[0009]响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。
[0010]可选地，在生成对应各数据库类型的查询语句之前，方法还包括：
[0011]获取数据处理请求中的数据库标识；
[0012]根据各数据库标识确定待处理数据对应的各数据库类型。
[0013]可选地，在接收数据处理请求之前，方法还包括：
[0014]调用检索监控任务服务，以获取数据处理任务列表；
[0015]确定数据处理任务列表中的各数据处理任务的执行时间；
[0016]响应于确定当前时间到达各执行时间中的一个执行时间，根据到达的执行时间对应的数据处理任务生成数据处理请求。
[0017]可选地，生成对应各数据库类型的查询语句，包括：
[0018]获取数据处理请求对应的数据指标配置信息；
[0019]根据各数据库类型拆分数据指标配置信息，得到拆分信息；
[0020]根据各数据库类型对应的查询语法拼接拆分信息，生成对应各数据库类型的查询语句。
[0021]可选地，生成对应各数据库类型的查询语句，还包括：
[0022]响应于确定开启同环比监控，获取对应的同环比周期，进而基于同环比周期、拆分信息和各数据库类型，生成对应各数据库类型的查询语句。
[0023]可选地，基于同环比周期、拆分信息和各数据库类型，生成对应各数据库类型的查询语句，包括：
[0024]以同环比周期替换拆分信息中的查询时间周期，生成替换后的拆分信息；
[0025]根据各数据库类型对应的查询语法拼接替换后的拆分信息，生成对应各数据库类型的查询语句。
[0026]可选地，得到待处理数据，包括：
[0027]调用各查询语句对应的数据库，以对应执行各查询语句，得到各数据库对应的查询数据；
[0028]汇总各数据库对应的查询数据，以得到待处理数据。
[0029]可选地，响应于确定待处理数据与预设报警规则匹配，包括：
[0030]将待处理数据与预设报警阈值进行比较，响应于确定待处理数据大于预设报警阈值，确定待处理数据与预设报警规则匹配。
[0031]可选地，响应于确定待处理数据与预设报警规则匹配，包括：
[0032]基于预设的计算公式对待处理数据进行计算，进而将计算结果与预设报警阈值进行比较，响应于确定计算结果大于预设报警阈值，确定待处理数据与预设报警规则匹配。
[0033]另外，本申请还提供了一种数据处理装置，包括：
[0034]接收单元，被配置成接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句；
[0035]待处理数据获取单元，被配置成调用查询语句对应的数据库，以执行查询语句，得到待处理数据；
[0036]数据处理单元，被配置成响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。
[0037]可选地，数据处理装置还包括数据库类型确定单元，被配置成：
[0038]获取数据处理请求中的数据库标识；
[0039]根据各数据库标识确定待处理数据对应的各数据库类型。
[0040]可选地，数据处理装置还包括请求生成单元，被配置成：
[0041]调用检索监控任务服务，以获取数据处理任务列表；
[0042]确定数据处理任务列表中的各数据处理任务的执行时间；
[0043]响应于确定当前时间到达各执行时间中的一个执行时间，根据到达的执行时间对应的数据处理任务生成数据处理请求。
[0044]可选地，接收单元进一步被配置成：
[0045]获取数据处理请求对应的数据指标配置信息；
[0046]根据各数据库类型拆分数据指标配置信息，得到拆分信息；
[0047]根据各数据库类型对应的查询语法拼接拆分信息，生成对应各数据库类型的查询
语句。
[0048]可选地，接收单元进一步被配置成：
[0049]响应于确定开启同环比监控，获取对应的同环比周期，进而基于同环比周期、拆分信息和各数据库类型，生成对应各数据库类型的查询语句。
[0050]可选地，接收单元进一步被配置成：
[0051]以同环比周期替换拆分信息中的查询时间周期，生成替换后的拆分信息；
[0052]根据各数据库类型对应的查询语法拼接替换后的拆分信息，生成对应各数据库类型的查询语句。
[0053]可选地，待处理数据获取单元进一步被配置成：
[0054]调用各查询语句对应的数据库，以对应执行各查询语句，得到各数据库对应的查询数据；
[0055]汇总各数据库对应的查询数据，以得到待处理数据。
[0056]可选地，数据处理单元进一步被配置成：
[0057]将待处理数据与预设报警阈值进行比较，响应于确定待处理数据大于预设报警阈值，确定待处理数据与预设报警规则匹配。
[0058]可选地，数据处理单元进一步被配置成：
[0059]基于预设的计算公式对待处理数据进行计算，进而将计算结果与预设报警阈值进行比较，响应于确定计算结果大于预设报警阈值，确定待处理数据与预设报警规则匹配。
[0060]另外，本申请还提供了一种数据处理电子设备，包括：一个或多个处理器；存储装置，用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收数据处理请求，进而调用数据计算及分析程序，以根据所述数据处理请求，生成对应各数据库类型的查询语句；调用所述查询语句对应的数据库，以执行所述查询语句，得到待处理数据；响应于确定所述待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于所述报警任务对所述待处理数据进行处理。2.根据权利要求1所述的方法，其特征在于，在所述生成对应各数据库类型的查询语句之前，所述方法还包括：获取所述数据处理请求中的数据库标识；根据各所述数据库标识确定待处理数据对应的各数据库类型。3.根据权利要求1所述的方法，其特征在于，在所述接收数据处理请求之前，所述方法还包括：调用检索监控任务服务，以获取数据处理任务列表；确定所述数据处理任务列表中的各数据处理任务的执行时间；响应于确定当前时间到达各所述执行时间中的一个执行时间，根据到达的执行时间对应的数据处理任务生成数据处理请求。4.根据权利要求1所述的方法，其特征在于，所述生成对应各数据库类型的查询语句，包括：获取所述数据处理请求对应的数据指标配置信息；根据各数据库类型拆分所述数据指标配置信息，得到拆分信息；根据各数据库类型对应的查询语法拼接所述拆分信息，生成对应各数据库类型的查询语句。5.根据权利要求4所述的方法，其特征在于，所述生成对应各数据库类型的查询语句，还包括：响应于确定开启同环比监控，获取对应的同环比周期，进而基于所述同环比周期、所述拆分信息和各数据库类型，生成对应各数据库类型的查询语句。6.根据权利要求5所述的方法，其特征在于，所述基于所述同环比周期、所述拆分信息和各数据库类型，生成对应各数据库类型的查询语句，包括：以所述同环比周期替换所述拆分信息中的查询时间周期，生成替换后的拆分信息；根据各数据库类型对应的查询语法拼接所...

【专利技术属性】
技术研发人员：张爱芸，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：