数据处理方法、装置、设备、系统、存储介质及程序产品制造方法及图纸

本申请实施例提供一种数据处理方法、装置、设备、系统、存储介质及程序产品。该方法包括：针对预定义的至少一种异常问题，根据异常问题对应的数据类别，从数据库系统运行产生的数据中，获取分析对应异常问题所需的全部数据中的目标部分数据，作为待处理数据；根据异常问题对应的数据分析逻辑，对对应的待处理数据进行处理，以确定数据库系统中存在异常问题的疑似对象。本申请实施例能够减小对于数据库系统进行分析时所消耗的计算资源。统进行分析时所消耗的计算资源。统进行分析时所消耗的计算资源。

【技术实现步骤摘要】
数据处理方法、装置、设备、系统、存储介质及程序产品


[0001]本申请涉及数据库
，尤其涉及一种数据处理方法、装置、设备、系统、存储介质及程序产品。

技术介绍

[0002]数据库系统(Database System)，是由数据库及其管理软件组成的系统。数据库系统包括集中式数据库系统和分布式数据库系统。
[0003]通常，可以对数据库系统运行中存在的问题进行分析、定位甚至自动修复。具体的，可以采集数据库系统运行产生的全量查询请求数据、全量写入请求数据以及全量日志数据等，在对采集到的全量数据进行清洗、分析等处理的基础上，确定出数据库系统存在的问题。然而，这种方式存在对计算资源的消耗较大的问题。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、装置、设备、系统、存储介质及程序产品，用以解决现有技术中对于数据库系统进行分析时系统对计算资源的消耗较大的问题。
[0005]第一方面，本申请实施例提供一种数据处理方法，包括：
[0006]针对预定义的至少一种异常问题，根据所述异常问题对应的数据类别，从数据库系统运行产生的数据中，获取分析对应异常问题所需的全部数据中的目标部分数据，作为待处理数据；所述目标部分数据能够用于确定存在所述异常问题且对所述数据库系统运行的影响程度大的疑似对象，所述全部数据中的其他部分数据能够用于确定存在所述异常问题且对所述数据库系统运行的影响程度小的疑似对象；
[0007]根据所述异常问题对应的数据分析逻辑，对对应的待处理数据进行处理，以确定所述数据库系统中存在所述异常问题的疑似对象。
[0008]第二方面，本申请实施例提供一种数据处理装置，包括：
[0009]获取模块，用于针对预定义的至少一种异常问题，根据所述异常问题对应的数据类别，从数据库系统运行产生的数据中，获取分析对应异常问题所需的全部数据中的目标部分数据，作为待处理数据；所述目标部分数据能够用于确定存在所述异常问题且对所述数据库系统运行的影响程度大的疑似对象，所述全部数据中的其他部分数据能够用于确定存在所述异常问题且对所述数据库系统运行的影响程度小的疑似对象；
[0010]处理模块，用于根据所述异常问题对应的数据分析逻辑，对对应的待处理数据进行处理，以确定所述数据库系统中存在所述异常问题的疑似对象。
[0011]第三方面，本申请实施例提供一种数据处理装置，包括：
[0012]采集模块，用于针对预定义的至少一种异常问题，根据所述异常问题对应的数据类别，从数据库系统运行产生的数据中，采集分析对应异常问题所需的全部数据中的目标部分数据，作为待处理数据；所述目标部分数据能够用于确定存在所述异常问题且对所述数据库系统运行的影响程度大的疑似对象，所述全部数据中的其他部分数据能够用于确定
存在所述异常问题且对所述数据库系统运行的影响程度小的疑似对象；
[0013]处理模块，用于根据所述异常问题对应的数据分析逻辑，对对应的待处理数据进行处理，以确定所述数据库系统中存在所述异常问题的疑似对象。
[0014]第四方面，本申请实施例提供一种计算机设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如第一方面中任一项所述的方法。
[0015]第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序指令，当所述指令由处理器执行时，用于实现如第一方面中任一项所述的方法。
[0016]第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被执行时，实现如权利要求第一方面任一项所述的方法。
[0017]在本申请实施例中，从数据库的客户角度，预定义了与客户侧异常对应的至少一种异常问题，异常问题存在对应的数据类别以及数据分析逻辑，计算机设备根据数据类别从数据库系统运行产生的数据中获取分析对应异常问题所需的全部数据中的目标部分数据作为待处理数据，并根据数据分析逻辑对对应的待处理数据进行处理，以确定数据库系统中存在异常问题的疑似对象，由于全部数据中的目标部分数据能够用于确定存在异常问题且对数据库系统运行的影响程度大的疑似对象，而全部数据中的其他部分数据能够用于确定存在异常问题且对数据库系统运行的影响程度小的疑似对象，因此通过获取目标部分数据作为待处理数据，能够从需要确定出对数据库系统运行影响较大的疑似对象的目的出发，使得可以仅对全部数据中的部分数据进行数据采集，实现了轻量化的数据采集，进一步的，由于只需要对目标部分数据进行处理，因此实现了轻量化的数据处理，与重量化的数据采集和重量化的数据处理相比，节省了计算资源，减少了对于计算资源的消耗。另外，由于处理结果为确定出存在异常问题的疑似对象，使得对于数据库普通客户而言，能够获知是否存在疑似某一种或多种异常问题的疑似对象，从而能指导客户进一步进行问题处理。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本申请实施例的应用场景示意图；
[0020]图2为本申请一实施例提供的数据处理方法的流程示意图；
[0021]图3为本申请一实施例提供针对请求热点问题的框图；
[0022]图4为本申请一实施例提供针对流量热点问题的框图；
[0023]图5为本申请一实施例提供针对大查询请求问题的框图；
[0024]图6为本申请一实施例提供的数据处理装置的结构示意图；
[0025]图7为本申请一实施例提供的计算机设备的结构示意图。
具体实施方式
[0026]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例
中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
[0028]应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0029]取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：针对预定义的至少一种异常问题，根据所述异常问题对应的数据类别，从数据库系统运行产生的数据中，获取分析对应异常问题所需的全部数据中的目标部分数据，作为待处理数据；所述目标部分数据能够用于确定存在所述异常问题且对所述数据库系统运行的影响程度大的疑似对象，所述全部数据中的其他部分数据能够用于确定存在所述异常问题且对所述数据库系统运行的影响程度小的疑似对象；根据所述异常问题对应的数据分析逻辑，对对应的待处理数据进行处理，以确定所述数据库系统中存在所述异常问题的疑似对象。2.根据权利要求1所述的方法，所述至少一种异常问题包括下述中的一种或多种：请求热点问题、流量异常增长问题或大查询请求问题。3.根据权利要求2所述的方法，所述根据所述异常问题对应的数据类别，从数据库系统运行产生的数据中，获取分析对应异常问题所需的全部数据中的目标部分数据，作为待处理数据，包括：从所述数据库系统运行产生的分片流量数据中，周期性获取满足预设要求的多张表中的每张表内，流量排名靠前的多个分片的分片流量数据，作为所述请求热点问题对应的待处理数据，所述满足预设要求的多张表包括表流量排名靠前的多张表。4.根据权利要求3所述的方法，所述根据所述异常问题对应的数据分析逻辑，对对应的待处理数据进行处理，以确定所述数据库系统中存在所述异常问题的疑似对象，包括：根据每次获取到的每张表内流量排名靠前的多个分片的分片流量数据，对每张表内的分片流量进行均衡度分析，确定每张表的分片流量均衡度；根据每张表的分片流量均衡度，确定存在所述请求热点问题的疑似热点表及对应的疑似热点分片。5.根据权利要求2所述的方法，所述根据所述异常问题对应的数据类别，从数据库系统运行产生的数据中，获取分析对应异常问题所需的全部数据中的目标部分数据，作为待处理数据，包括：从所述数据库系统运行产生的表流量数据以及系统负载中，周期性获取所述数据库系统的系统负载以及流量排名靠前的多张表中每张表的表流量数据，作为所述流量异常增长问题对应的待处理数据。6.根据权利要求5所述的方法，所述根据所述异常问题对应的数据分析逻辑，对对应的待处理数据进行处理，以确定所述数据库系统中存在所述异常问题的疑似对象，包括：确定每次获取到的所述系统负载是否大于负载阈值，并在某次获取的所述系统负载大于所述负载阈值时，根据该次获取及之前多次获取的流量排名靠前的多张表中每张表的表流量，确定存在所述流量异常增长问题的疑似异常增长表。7.根据权利要求2所述的方法，所述根据所述异常问题对应的数据类别，从数据库系统运行产生的数据中，获取分析对应异常问题所需的全部数据中的目标部分数据，作为待处理数据，包括：从所述数据库系统运行产生的日志数据中，周期性获取最近一段时间内扫描块数量大于数量阈值的目标查询...

【专利技术属性】
技术研发人员：杨科，沈春辉，杨成虎，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：