【技术实现步骤摘要】
本专利技术涉及计算机，特别是涉及一种数据处理方法及装置、存储介质及电子设备。
技术介绍
1、随着我国信息科技发展，信息数据量和业务数据量均处于剧烈激增状态，大型商业银行所构建数据中心的规模也随之增加。mpp数据库集群的规模也越来越大，hbase(存储系统)数据量也在不断增加，而故障概率和运维风险也在随之增加。
2、region是hbase内数据表划分为多个子表进行并发计算和维护表分区。随着数据量的增加会在hbase内进行region分裂操作，但是在region进行分裂时，因为产品问题，概率性发生错误导致部分region出现了分区重叠现象，即，分裂后旧的region未及时删除，而新的region已经生成，新旧region之间存在部分数据重叠的情况。分区重叠现象持续时间较长的话，会增加响应时间使业务运行缓慢，更严重的还会导致hbase的故障。
技术实现思路
1、有鉴于此，本专利技术提供一种数据处理方法，通过该方法，可以在发现region发生分区重叠时，及时修正数据表，避免hbase发生异常。
2、本专利技术还提供了一种数据处理装置，用以保证上述方法在实际中的实现及应用。
3、一种数据处理方法，包括：
4、采集目标hbase对应的目标数据表中每个region对应的指标信息，所述指标信息包含其对应的region的多个指标参数；
5、将每个所述指标信息中的各个指标参数输入预先训练完成的指标分析模型，获得所述指标分析模型输出的每个所述
6、如果存在任一region对应的指标信息的目标分析结果表征该region发生分区重叠，修复所述目标数据表，使得修复后的目标数据表不包含分区重叠的region。
7、上述的方法，可选的，所述指标分析模型包含第一模型和第二模型；
8、其中，所述将每个所述指标信息对应的各个指标参数输入预先构建的指标分析模型，获得所述指标分析模型输出的每个所述指标信息的目标分析结果，包括：
9、将所述指标信息中的各个指标参数划分成第一类指标参数和第二类指标参数；
10、将第一类指标参数输入所述第一模型，获得所述第一模型输出的第一分析结果；
11、将第二类指标参数输入所述第二模型，获得所述第二模型输出的第二分析结果；
12、基于所述第一分析结果和第二分析结果，获得所述指标信息的目标分析结果。
13、上述的方法，可选的，所述将所述指标信息中的各个指标参数划分成第一类指标参数和第二类指标参数，包括：
14、对于每个所述指标参数，判断所述指标参数的参数值是否超出该指标参数对应基础参数范围；
15、如果所述指标参数的参数值未超出该指标参数对应的基础参数范围，划分所述指标参数为第一类指标参数；
16、如果所述指标参数的参数值超出该指标参数对应的基础参数范围，划分所述指标参数为第二类指标参数。
17、上述的方法，可选的，所述指标分析模型的训练过程，包括：
18、获取多个其他hbase的历史指标信息，所述历史指标信息为其所属的其他hbase在历史时刻发生异常的region的指标信息；
19、应用训练信息中的各个指标参数对所述指标分析模型进行训练，获得训练结果，所述训练信息为所述历史指标信息中的部分信息；
20、当所述训练结果表征所述训练信息所属的其他hbase中的region未发生异常时，调整所述指标分析模型中与所述训练信息的每个指标参数对应的数据权重，并重新应用所述训练信息中的各个指标参数对所述指标分析模型进行训练；
21、当所述训练结果表征所述训练信息所属的其他hbase中的region发生异常，应用验证信息中的各个指标参数对所述指标分析模型进行验证，获得所述验证信息对应验证结果，所述验证信息为所述历史指标信息中除所述训练信息之外的另一部分信息；
22、当所述验证结果不满足预先设置的验证条件时，调整所述指标分析模型中与所述验证信息的每个指标参数对应的数据权重，并重新应用所述验证信息中的各个指标参数对所述指标分析模型进行验证，直至所述验证结果满足所述验证条件或验证次数达到预设阈值时，完成对所述指标分析模型的训练。
23、上述的方法，可选的，所述应用训练信息中的各个指标参数对所述指标分析模型进行训练，获得训练结果，还包括：
24、对各个所述历史指标信息中的每个数据类型的各个指标参数进行关联，确定每个数据类型对应的关联值和离群值；
25、基于每个所述数据类型对应的关联值和离群值，确定每个所述历史指标信息的各个指标参数中的关联数据和离群数据；
26、应用所述训练信息中的关联数据对所述指标分析模型中的第一模型进行训练，获得第一训练结果；
27、应用所述训练信息中的离群数据对所述指标分析模型中的第二模型进行训练，获得第二训练结果；
28、基于所述第一训练结果和第二训练结果，获得所述训练信息的训练结果。
29、上述的方法，可选的，修复所述目标数据表之前，还包括：
30、发出所述目标hbase对应的告警消息。
31、上述的方法，可选的，所述修复所述目标数据表，包括：
32、构建所述目标hbase的新的数据表；
33、将所述目标数据表中的所有数据迁移至所述新的数据表中，以在所述新的数据表中构建多个新的region，并删除所述目标数据表。
34、一种数据处理装置，包括：
35、采集单元，用于采集目标hbase对应的目标数据表中每个region对应的指标信息，所述指标信息包含其对应的region的多个指标参数；
36、分析单元，用于将每个所述指标信息中的各个指标参数输入预先训练完成的指标分析模型，获得所述指标分析模型输出的每个所述指标信息的目标分析结果；
37、修复单元，用于如果存在任一region对应的指标信息的目标分析结果表征该region发生分区重叠，修复所述目标数据表，使得修复后的目标数据表不包含分区重叠的region。
38、一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的数据处理方法。
39、一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的数据处理方法。
40、与现有技术相比，本专利技术包括以下优点：
41、本专利技术提供一种数据处理方法，包括：采集目标hbase对应的目标数据表中每个region对应的指标信息，所述指标信息包含其对应的region的多个指标参数；将每个所述指标信息中的各个指标参数输入预先训练完成的指标分析模型，获得所述指标分析模型输出的每个所述指标信息的目标分析结果；如果存在任一regio本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述指标分析模型包含第一模型和第二模型；
3.根据权利要求1所述的方法，其特征在于，所述将所述指标信息中的各个指标参数划分成第一类指标参数和第二类指标参数，包括：
4.根据权利要求1～3任意一项所述的方法，其特征在于，所述指标分析模型的训练过程，包括：
5.根据权利要求4所述的方法，其特征在于，所述应用训练信息中的各个指标参数对所述指标分析模型进行训练，获得训练结果，还包括：
6.根据权利要求1所述的方法，其特征在于，修复所述目标数据表之前，还包括：
7.根据权利要求1所述的方法，其特征在于，所述修复所述目标数据表，包括：
8.一种数据处理装置，其特征在于，包括：
9.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1～7任意一项所述的数据处理方法。
10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述指标分析模型包含第一模型和第二模型；
3.根据权利要求1所述的方法，其特征在于，所述将所述指标信息中的各个指标参数划分成第一类指标参数和第二类指标参数，包括：
4.根据权利要求1～3任意一项所述的方法，其特征在于，所述指标分析模型的训练过程，包括：
5.根据权利要求4所述的方法，其特征在于，所述应用训练信息中的各个指标参数对所述指标分析模型进行训练，获得训练结果，还包括：
6.根据权利要求1所述的方法，其特...
【专利技术属性】
技术研发人员：李申浩，阳酉良，冯晓，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。