数据处理的方法及装置、电子设备及计算机可读存储介质制造方法及图纸

本申请提供了一种数据处理的方法装置、电子设备及计算机可读存储介质，包括：采集大数据集群的数据使用信息，数据使用容量信息，至少包括大数据集群中各个模式的数据使用量、以及各个数据表的数据使用量，分别确定各个模式以及各个数据表预设对应的应用系统，依据应用系统对应的模式的使用量，以及应用系统对应的数据表的使用量，得到应用系统在大数据集群的数据使用量。根据应用系统使用大数据集群的数据资源主要是使用大数据集群的模式和数据表的规律，所以，本申请中，通过确定应用系统对应的模式以及对应的数据表的数据使用量，可以得到应用系统在大数据集群的数据使用量。

【技术实现步骤摘要】
数据处理的方法及装置、电子设备及计算机可读存储介质
本申请涉及电子信息领域，尤其涉及一种数据处理的方法及装置、电子设备及计算机可读存储介质。
技术介绍
随着大数据的发展，到目前为止，产生了以Greenplum和HADOOP产品为主的很多大数据集群。大数据集群可用于为应用系统提供大量数据资源。目前，大数据集群的数据使用情况分析，现有的查询工具只查询得到大数据集群的数据使用率，研发人员一般是依据大数据集群的数据使用率，确定对大数据集群进行扩容的方案。但采用大数据集群的数据使用率作为对大数据集群进行扩容的数据依据，往往会出现大数据集群的数据资源浪费的问题，所以，如何得到一种更适合作为对大数据集群进行扩容的依据数据，成为了亟待解决的问题。
技术实现思路
专利技术人经研究发现，采用大数据集群的数据使用率作为对大数据集群进行扩容的依据数据，会导致大数据集群的数据资源浪费的原因在于，很多应用系统其实是公用同一个大数据集群，不同的应用系统对大数据集群的数据使用量不同，且数据使用量的增长趋势也不同。所以在只有大数据集群的数据使用率的情况下，研发人员对大数据集群进行扩容是无针对性的扩容(例如大数据集群中所有的数据表进行扩容)，无法根据各个应用系统对大数据集群的数据使用量的情况，针对性的对大数据集群数据进行扩容，所以往往导致数据资源浪费。所以，如何得到应用系统对大数据集群数据的使用量的情况，成为了亟待解决的问题。为了实现上述目的，本申请提供了以下技术方案：一种数据处理的方法，包括：采集大数据集群的预设的数据采集项，所述数据采集项，至少包括所述大数据集群中各个模式的数据使用量、以及各个数据表的数据使用量；分别确定各个所述模式以及各个所述数据表预设对应的应用系统；所述模式与所述应用系统对应为，所述应用系统预设使用所述模式，所述数据表与所述应用系统对应为，所述应用系统预设使用所述数据表；针对每个应用系统，依据所述应用系统对应的所述模式的数据使用量，以及所述应用系统对应的所述数据表的数据使用量，得到所述应用系统在所述大数据集群的数据使用量。上述的方法，可选的，所述大数据集群为多个大数据集群；所述采集大数据集群的预设的数据采集项，为所述采集所述多个大数据集群的预设的数据采集项；在采集所述多个大数据集群的所述数据采集项之前，还包括：获取每个所述大数据集群的大数据集群信息，所述大数据集群信息至少包括，所述大数据集群的使用高峰时段、以及连接所述大数据集群的连接配置信息；针对每个所述大数据集群，依据所述大数据集群的所述连接配置信息，连接至所述大数据集群；依据各个所述大数据集群的所述使用高峰时段，配置得到采集各个所述数据采集项的采集时段以及采集频率。上述的方法，可选的，针对每个所述大数据集群，采集所述大数据集群的预设的数据采集项，包括：获取所述数据采集项对应的预设的采集脚本；所述采集脚本中包括采集得到所述数据采集项的脚本执行语句；按照所述采集时段以及所述采集频率，执行所述采集脚本，采集得到所述数据采集项。上述的方法，可选的，所述分别确定各个所述模式以及各个所述数据表预设对应的应用系统，包括：获取预设的对应关系表，所述对应关系表中包括所述模式对应的所述应用系统，以及所述数据表对应的所述应用系统；依据所述对应关系表，得到各个所述模式以及各个所述数据表预设对应的所述应用系统。上述的方法，可选的，所述数据采集项还包括，所述大数据集群的集群数据使用量。上述的方法，可选的，还包括：将所述大数据集群的集群数据使用量，以及历史得到的所述大数据集群的历史集群数据使用量，输入预先建立的预测模型，得到所述大数据集群的未来时段的所述集群数据使用量；其中，所述预测模型依据线性回归算法建模得到。针对每个所述应用系统，将所述应用系统的所述数据使用量，以及历史得到的所述应用系统的历史数据使用量输入所述预测模型，得到所述应用系统的未来时段的所述数据使用量；所述大数据集群的未来时段的集群数据使用量，以及所述应用系统的未来时段的数据使用量，为所述大数据集群的扩容依据数据。上述的方法，可选的，还包括：响应于用户输入的所述数据采集项的查询请求，展示各个所述数据采集项；响应于用户输入的所述数据采集项的修改请求，展示所述各个所述数据采集项，并将所述用户输入的新的数据采集项，作为所述大数据集群的所述数据采集项。一种数据处理的装置，包括：采集单元，用于采集大数据集群的预设的数据采集项，所述数据采集项，至少包括所述大数据集群中各个模式的数据使用量、以及各个数据表的数据使用量；确定单元，用于分别确定各个所述模式以及各个所述数据表预设对应的应用系统；所述模式与所述应用系统对应为，所述应用系统预设使用所述模式，所述数据表与所述应用系统对应为，所述应用系统预设使用所述数据表；计算单元，用于针对每个应用系统，依据所述应用系统对应的所述模式的数据使用量，以及所述应用系统对应的所述数据表的数据使用量，得到所述应用系统在所述大数据集群的数据使用量。一种电子设备，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现上述的数据处理的方法。一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据处理的方法。本申请所述的方法及装置，采集大数据集群的数据使用信息，数据使用容量信息，至少包括大数据集群中各个模式(即大数据集群的schema)的数据使用量、以及各个数据表的数据使用量，分别确定各个模式以及各个数据表预设对应的应用系统，模式与应用系统对应为应用系统预设使用模式，数据表与应用系统对应为应用系统预设使用数据表，依据应用系统对应的模式的使用量，以及应用系统对应的数据表的使用量，得到应用系统在大数据集群的数据使用量。根据应用系统使用大数据集群的数据资源主要是使用大数据集群的模式和数据表的规律，所以，本申请中，通过确定应用系统对应的模式以及对应的数据表的数据使用量，可以得到应用系统在大数据集群的数据使用量。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种数据处理的方法的流程图；图2为本申请实施例提供的一种数据使用量的预测的方法的流程图；图3为本申请实施例提供的一种数据处理平台的架构图；图4为本申请实施例提供的一种数据处理的装置的结构示意图；图5为本申请实施例提供的一种电子设备的结构示意图。具体实施方式目前，现有的查询工具只查询得到大数据集群的数据使用率，研发人员一般是依据大数据集群的数据使用率，确定本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，其特征在于，包括：/n采集大数据集群的预设的数据采集项，所述数据采集项，至少包括所述大数据集群中各个模式的数据使用量、以及各个数据表的数据使用量；/n分别确定各个所述模式以及各个所述数据表预设对应的应用系统；所述模式与所述应用系统对应为，所述应用系统预设使用所述模式，所述数据表与所述应用系统对应为，所述应用系统预设使用所述数据表；/n针对每个应用系统，依据所述应用系统对应的所述模式的数据使用量，以及所述应用系统对应的所述数据表的数据使用量，得到所述应用系统在所述大数据集群的数据使用量。/n

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：
采集大数据集群的预设的数据采集项，所述数据采集项，至少包括所述大数据集群中各个模式的数据使用量、以及各个数据表的数据使用量；
分别确定各个所述模式以及各个所述数据表预设对应的应用系统；所述模式与所述应用系统对应为，所述应用系统预设使用所述模式，所述数据表与所述应用系统对应为，所述应用系统预设使用所述数据表；
针对每个应用系统，依据所述应用系统对应的所述模式的数据使用量，以及所述应用系统对应的所述数据表的数据使用量，得到所述应用系统在所述大数据集群的数据使用量。


2.根据权利要求1所述的方法，其特征在于，所述大数据集群为多个大数据集群；
所述采集大数据集群的预设的数据采集项，为所述采集所述多个大数据集群的预设的数据采集项；
在采集所述多个大数据集群的所述数据采集项之前，还包括：
获取每个所述大数据集群的大数据集群信息，所述大数据集群信息至少包括，所述大数据集群的使用高峰时段、以及连接所述大数据集群的连接配置信息；
针对每个所述大数据集群，依据所述大数据集群的所述连接配置信息，连接至所述大数据集群；
依据各个所述大数据集群的所述使用高峰时段，配置得到采集各个所述数据采集项的采集时段以及采集频率。


3.根据权利要求2所述的方法，其特征在于，针对每个所述大数据集群，采集所述大数据集群的预设的所述数据采集项，包括：
获取所述数据采集项对应的预设的采集脚本；所述采集脚本中包括采集得到所述数据采集项的脚本执行语句；
按照所述采集时段以及所述采集频率，执行所述采集脚本，采集得到所述数据采集项。


4.根据权利要求1所述的方法，其特征在于，所述分别确定各个所述模式以及各个所述数据表预设对应的应用系统，包括：
获取预设的对应关系表，所述对应关系表中包括所述模式对应的所述应用系统，以及所述数据表对应的所述应用系统；
依据所述对应关系表，得到各个所述模式以及各个所述数据表预设对应的所述应用系统。


5.根据权利要求1所述的方法，其特征在于，所述数据采集项...

【专利技术属性】
技术研发人员：刘煜，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京;11