数据处理方法、装置及系统制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置及系统，涉及大数据技术领域，其中，该方法包括：获取监控周期中的性能监控数据，并根据预定规则生成性能监控数据的性能指标图表；基于预先设置的阈值对获取的性能监控数据进行量化分析，并根据量化分析结果确定监控周期中的关键时段；基于图像分析技术对所述关键时段对应的关键性能指标图表进行分类处理，根据分类处理结果确定所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性；将所述关键时段、所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性关联存储，以便于后续的还原图表操作。通过本发明专利技术，可以提高后续的数据分析的效率。

【技术实现步骤摘要】
数据处理方法、装置及系统
本专利技术涉及大数据
，具体涉及一种数据处理方法、装置及系统。
技术介绍
随着银行业务的不断丰富，以及互联网金融带来的用户量的激增，银行系统的规模不断变大，特别是在分布式转型下，节点数量不断增长，海量节点产生的监控数据量急剧膨胀。现有的数据归档、存放、分析方式在成本控制下已无法满足需要，具体有如下三个方面的问题：1、数据量较大，历史数据的存放对于数据存储有较大的成本压力。2、由于存量数据较大，从大量数据中获取有价值信息的成本较高，包括解压、检索成本等。3、目前数据以图像存储为主，会忽略较多细节，且很难进行量化和定量分析。
技术实现思路
有鉴于此，本专利技术提供一种数据处理方法、装置及系统，以解决上述提及的至少一个问题。根据本专利技术的第一方面，提供一种数据处理方法，所述方法包括：获取监控周期中的性能监控数据，并根据预定规则生成性能监控数据的性能指标图表；基于预先设置的阈值对获取的性能监控数据进行量化分析，并根据量化分析结果确定监控周期中的关键时段；基于图像分析技术对所述关键时段对应的关键性能指标图表进行分类处理，根据分类处理结果确定所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性；将所述关键时段、所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性关联存储，以便于后续的还原图表操作。根据本专利技术的第二方面，提供一种数据处理装置，所述装置包括：数据获取单元，用于获取监控周期中的性能监控数据；图表生成单元，用于根据预定规则生成性能监控数据的性能指标图表；关键时段确定单元，用于基于预先设置的阈值对获取的性能监控数据进行量化分析，并根据量化分析结果确定监控周期中的关键时段；分类单元，用于基于图像分析技术对所述关键时段对应的关键性能指标图表进行分类处理；图表类型确定单元，根据分类处理结果确定所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性；存储单元，用于将所述关键时段、所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性关联存储，以便于后续的还原图表操作。根据本专利技术的第三方面，提供一种数据处理系统，所述系统包括上述的数据处理装置、以及数据库，所述数据库用于存储所述数据处理装置获取的性能监控数据、以及关联存储的关键时段、关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性。根据本专利技术的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。根据本专利技术的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。由上述技术方案可知，通过根据获取的性能监控数据生成性能指标图表，同时基于预设阈值对获取的性能监控数据进行量化分析确定关键时段，随后基于图像分析技术对关键时段对应的关键性能指标图表进行分类处理，并根据分类处理结果确定所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性，之后将关键时段、关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性关联存储，以便于后续的还原图表操作，如此，通过抽取出数据中的关键信息并关联存储，实现了对监控数据的提前分析，在降低数据存储压力的同时提高了后续的数据分析的效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的数据处理方法的流程图；图2是根据本专利技术实施例的数据处理方法的详细流程图；图3是根据本专利技术实施例的数据处理系统的结构框图；图4是根据本专利技术实施例的数据处理装置的结构框图；图5是根据本专利技术实施例的数据处理系统的示例结构框图；图6为本专利技术实施例的电子设备600的系统构成的示意框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。由于现有的系统监控数据量较大，导致了数据存储压力较大，同时存在数据分析效率较低的问题，基于此，本专利技术实施例提供一种数据处理方案，该方案通过抽取数据中的重要片段，记录关键特征值，实现了对监控数据的提前分析，在降低数据存储压力的同时为后续数据分析提供了准确的量化数据支撑，提高了数据分析的效率。以下结合附图来详细描述本专利技术实施例。图1是根据本专利技术实施例的数据处理方法的流程图，如图1所示，该方法包括：步骤101，获取监控周期中的性能监控数据，并根据预定规则生成性能监控数据的性能指标图表。这里的性能监控数据涉及CPU(CentralProcessingUnit，中央处理器)使用率、内存使用率、IOPS(Input/OutputOperationsPerSecond，每秒读写操作次数)等。在实际操作中，可以获取多个性能监控数据，并生成各自的性能指标图表。上述预定规则可以是使用预定的图表生成软件生成图表，图表生成软件可以依据实际操作情况来选择，本专利技术对此不作限制。步骤102，基于预先设置的阈值对获取的性能监控数据进行量化分析，并根据量化分析结果确定监控周期中的关键时段。步骤103，基于图像分析技术对所述关键时段对应的关键性能指标图表进行分类处理，根据分类处理结果确定所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性。这里的图表类型可以基于图表的形状来确定，例如，图表类型包括：平顶、波浪、毛刺、其他。平顶主要是指性能指标维持在某一水平一段时间的类型。波浪主要是指性能指标明显周期性缓慢变化的类型。毛刺主要是指性能指标上下起伏频率高幅度大的类型。在对图表进行分类处理中，可以先基于图像分析技术对所述关键性能指标图表进行初次分析处理；之后将初次分析处理后的关键性能指标图表结合所述量化分析结果对该关键性能指标图表进行分类处理。如此，可以提高图表分类的准确性。步骤104，将所述关键时段、所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性关联存储，以便于后续的还原图表操作。通过根据获取的性能监控数据生成性能指标图表，同时基于预设阈值对获取的性能监控数据进行量化分析确定关键时段，随后基于图像分析技术对关键时段对应的关键性能指标图表进行分类处理，并根据分类处理结果确定所述关键性能指标图表的图表类型以及与该图像类型相应的性能指本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取监控周期中的性能监控数据，并根据预定规则生成性能监控数据的性能指标图表；/n基于预先设置的阈值对获取的性能监控数据进行量化分析，并根据量化分析结果确定监控周期中的关键时段；/n基于图像分析技术对所述关键时段对应的关键性能指标图表进行分类处理，根据分类处理结果确定所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性；/n将所述关键时段、所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性关联存储，以便于后续的还原图表操作。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取监控周期中的性能监控数据，并根据预定规则生成性能监控数据的性能指标图表；
基于预先设置的阈值对获取的性能监控数据进行量化分析，并根据量化分析结果确定监控周期中的关键时段；
基于图像分析技术对所述关键时段对应的关键性能指标图表进行分类处理，根据分类处理结果确定所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性；
将所述关键时段、所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性关联存储，以便于后续的还原图表操作。


2.根据权利要求1所述的方法，其特征在于，基于图像分析技术对所述关键时段对应的关键性能指标图表进行分类处理包括：
基于图像分析技术对所述关键性能指标图表进行初次分析处理；
将初次分析处理后的关键性能指标图表结合所述量化分析结果对该关键性能指标图表进行分类处理。


3.根据权利要求1所述的方法，其特征在于，在获取监控周期中的性能监控数据之后，所述方法还包括：
将获取的性能监控数据基于数据所属节点和所属类型存储在数据库。


4.根据权利要求1所述的方法，其特征在于，所述还原图表操作包括：
获取关联存储的关键时段、关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性；
根据获取的关联存储的信息，基于与所述图表类型相应的图形模板进行图表还原操作。


5.根据权利要求4所述的方法，其特征在于，根据获取的关联存储的信息，基于与所述图表类型相应的图形模板进行图表还原操作包括：
根据获取的关联存储的信息，基于与所述图表类型相应的图形模板进行关键时段的图表还原操作；
根据预设的与图像类型相应的阈值，结合还原的关键时段的图表进行非关键时段的图表还原操作。


6.一种数据处理装置，其特征在于，所述装置包括：
数据获取单元，用于获取监控周期中的性能监控数据...

【专利技术属性】
技术研发人员：钟瑞，徐言，任清丽，鄂佳翔，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11