数据处理方法及相关设备技术

本申请提供一种数据处理方法及相关设备，方法包括：采集业务数据库的审计日志，其中，业务数据库用于存储不同业务场景的业务数据，审计日志中包括用户对业务数据库执行的第一SQL语句，以及每条第一SQL语句对应的属性信息；将第一SQL语句中的所有变量值均替换为同一字符，得到第一SQL模板，其中，一个第一SQL模板对应一个业务场景；根据第一SQL模板和属性信息生成第一审计日志表，其中，第一审计日志表设置于运维数据库，运维数据库用于存储业务数据库的运维数据；根据第一审计日志表对业务场景中待分析的第一业务场景进行数据分析。本申请能够实现具体业务的数据分析，并提高数据分析的稳定性。

【技术实现步骤摘要】

本申请涉及大数据，尤其涉及一种数据处理方法及相关设备。

技术介绍

1、starrocks作为当前流行的olap数据库，广泛应用于bi报表，用户画像、行为分析等业务领域。随着业务量增加，业务场景复杂多样，条件查询、分组统计和关联分析混合，如何精细化的运营维护集群，是急需解决的问题。

2、当前starrocks集群主要基于prometheus+grafna的方式得到集群的监控信息，查看集群运行状态。但监控信息只显示了集群整体的运行指标，并不能精细化的反应到具体的业务上，也即无法对具体的业务进行数据分析。

技术实现思路

1、有鉴于此，本申请提供一种数据处理方法及相关设备，其能够实现具体业务的数据分析，并提高数据分析的稳定性。

2、本申请实施例的第一方面提供了一种数据处理方法，包括：采集业务数据库的审计日志，其中，所述业务数据库用于存储不同业务场景的业务数据，所述审计日志中包括所述业务数据库执行的第一sql语句，以及所述第一sql语句对应的属性信息；将所述第一sql语句中的变量值替换为同一字符本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，在所述将所述第一SQL语句中的变量值替换为同一字符之前，还包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述预设过滤规则包括以下之一或其任意组合：

4.根据权利要求2所述的数据处理方法，其特征在于，所述第二SQL语句中包括具有条件对比符号的第一特征SQL语句；

5.根据权利要求2所述的数据处理方法，其特征在于，所述第二SQL语句包括具有第一操作语句的第二特征SQL语句，所述第一操作语句用于表示给定值在指定集合的情况；</p>

6.根据...

【技术特征摘要】

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，在所述将所述第一sql语句中的变量值替换为同一字符之前，还包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述预设过滤规则包括以下之一或其任意组合：

4.根据权利要求2所述的数据处理方法，其特征在于，所述第二sql语句中包括具有条件对比符号的第一特征sql语句；

5.根据权利要求2所述的数据处理方法，其特征在于，所述第二sql语句包括具有第一操作语句的第二特征sql语句，所述第一操作语句用于表示给定值在指定集合的情况；

6.根据权利要求2所述的数据处理方法，其特征在于，所述第二sql语句包括具有第二操作语句的第三特征sql语句，所述第二操作语句用于表示字符与给定的模式匹配情况；

7.根据权利要求2所述的数据处理方法，其特征在于，所述第二sql语句中包括具有第三操作语句和第四操作语句的第四特征sql语句，所述第三操作语句和所述第四操作语句用于选取介于两个值之间的数据范围；

8.根据权利要求2所述的数据处理方法，其特征在于，所述第二...

【专利技术属性】
技术研发人员：杜旭，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：