【技术实现步骤摘要】
本申请涉及大数据领域，特别是涉及一种大数据平台运维方法、装置、介质。
技术介绍
1、大数据平台是一种通过内容共享、资源共用、渠道共建和数据共通等形式来进行服务的网络平台，随着互联网技术的不断发展，大数据平台的规模和数据量不断增大，大数据集群的规模也在不断增加。为了保证大数据平台正常运行，需要对大数据平台进行运营和维护工作。
2、目前主要通过运维人员人工对大数据平台进行维护，当检测到大数据平台中存在故障时，运维人员根据异常运行数据定位故障原因，并对系统进行维护。但这一过程需要运维人员对系统十分熟悉。随着大数据平台框架的不停迭代，运维人员需要不间断的对技术框架进行学习，以在保留历史生态技术的同时熟悉新技术，导致运维工作过度依赖运维人员；同时运维人员学习新技术所需要的足够的时间，导致运维工作的人力成本和时间成本过大。
3、由此可见，如何提供一种新的大数据平台运维方法，以降低大数据平台运维工作对运维人员的依赖性和运维成本，是本领域技术人员亟需解决的问题。
技术实现思路
1、本申请的目的是为了解决现有技术中大数据平台运维工作量大且过度依赖运维人员的个人能力，导致运维工作的人力成本和时间成本过大的问题，因此，本申请提供一种大数据平台运维方法，从而提高大数据平台的稳定性和可靠性，维护过程无需运维人员参与，从而减少平台运维的人力成本和时间成本。
2、为了解决上述技术问题，本申请提供了一种大数据平台运维方法，包括：
3、获取大数据平台的当前运行数据，所
4、利用故障预测模型对所述当前运行数据进行处理，以预测所述大数据平台在检测周期内是否存在故障风险；其中，所述故障预测模型为根据历史运行数据确定的用于表征异常运行数据和故障类型间对应关系的逻辑回归模型；
5、若存在所述故障风险，则确定与故障风险类型对应的运维方式并执行。
6、优选的，获取所述历史运行数据包括：
7、通过监控系统获取所述平台运行数据和所述应用程序运行数据；所述平台运行数据包括硬件运行数据和系统负载信息，所述应用程序运行数据包括组件运行状态信息、性能指标数据和日志数据；
8、对所述平台运行数据和所述应用程序运行数据进行数据清洗和降噪处理，以去除脏数据和重复数据。
9、优选的，所述对所述平台运行数据和所述应用程序运行数据进行数据清洗包括：
10、确定待清洗数据的数据结构，以确定与所述数据结构对应的清洗规则；
11、对所述待清洗数据进行聚类操作，以获取聚类数据；
12、根据所述清洗规则对所述聚类数据进行清洗。
13、优选的，利用所述历史运行数据对所述故障预测模型进行训练包括：
14、利用卷积神经网络对所述历史运行数据进行处理，以获取特征信息；
15、根据所述特征信息和与所述特征信息对应的故障信息对初始逻辑回归模型进行训练，以确定使损失函数的值最小的所述故障预测模型的目标参数；其中，所述逻辑回归模型的损失函数为对数损失函数；
16、利用测试数据集判断所述目标参数对应的所述故障预测模型的准确率是否大于准确率阈值；
17、若大于所述准确率阈值，则根据所述目标参数确定所述故障预测模型。
18、优选的，所述利用故障预测模型对所述当前运行数据进行处理的步骤前，还包括：
19、根据所述当前运行数据判断所述大数据平台是否存在故障；
20、若存在故障，则确定所述故障类型，并执行与所述故障类型对应的运维方式。
21、优选的，所述与故障风险类型对应的运维方式并执行包括：
22、确定决策数据库中与所述故障风险类型对应的所述运维规则；其中，所述决策数据库为用于保存所述故障类型、异常运行数据与运维规则对应关系的数据库；
23、根据与所述运维规则对应的运维方式生成自动化脚本，以对所述大数据平台进行维护。
24、优选的，所述确定与故障风险类型对应的运维方式并执行的步骤后，还包括：
25、接收所述大数据平台发送的反馈信息，并根据所述反馈信息确定所述故障风险是否解除；
26、若所述故障风险未解除，则向管理人员发送告警信息；
27、若所述故障风险解除，则根据所述故障风险类型和所述运维方式生成维护日志，并向管理人员发送维护信息。
28、为了解决上述技术问题，本申请还提供了一种大数据平台运维装置，包括：
29、获取模块，用于获取大数据平台的当前运行数据，所述当前运行数据包括平台运行数据和应用程序运行数据；
30、处理模块，用于利用故障预测模型对所述当前运行数据进行处理，以预测所述大数据平台在检测周期内是否存在故障风险；其中，所述故障预测模型为根据历史运行数据确定的用于表征异常运行数据和故障类型间对应关系的逻辑回归模型；
31、确定模块，用于若存在所述故障风险，则确定与故障风险类型对应的运维方式并执行。
32、为了解决上述技术问题，本申请还提供了一种大数据平台运维装置，包括存储器，用于存储计算机程序；
33、处理器，用于执行所述计算机程序时实现所述的大数据平台运维方法的步骤。
34、为了解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的大数据平台运维方法的步骤。
35、本申请提供了一种大数据平台运维方法，包括：获取大数据平台的当前运行数据，当前运行数据包括平台运行数据和应用程序运行数据；利用故障预测模型对当前运行数据进行处理，以预测大数据平台在检测周期内是否存在故障风险；其中，故障预测模型为根据历史运行数据确定的用于表征异常运行数据和故障类型间对应关系的逻辑回归模型；若存在故障风险，则确定与故障风险类型对应的运维方式并执行。由此可见，本申请所提供的技术方案，通过表征异常运行数据和故障类型间对应关系的故障预测模型对大数据平台的当前运行数据进行处理，以预测大数据平台是否存在故障风险，以便于及时维护，从而提高大数据平台的稳定性和可靠性，维护过程无需运维人员参与，从而减少平台运维的人力成本。此外，本申请方案中同时结合平台运行数据和应用程序运行数据进行预测，进一步提高预测结果的准确性。
36、此外，本申请还提供了一种大数据平台运维装置和介质，与上述方法对应，效果同上。
本文档来自技高网...【技术保护点】
1.一种大数据平台运维方法，其特征在于，包括：
2.根据权利要求1所述的大数据平台运维方法，其特征在于，获取所述历史运行数据包括：
3.根据权利要求2所述的大数据平台运维方法，其特征在于，所述对所述平台运行数据和所述应用程序运行数据进行数据清洗包括：
4.根据权利要求1所述的大数据平台运维方法，其特征在于，利用所述历史运行数据对所述故障预测模型进行训练包括：
5.根据权利要求1所述的大数据平台运维方法，其特征在于，所述利用故障预测模型对所述当前运行数据进行处理的步骤前，还包括：
6.根据权利要求1所述的大数据平台运维方法，其特征在于，所述与故障风险类型对应的运维方式并执行包括：
7.根据权利要求1至6任一项所述的大数据平台运维方法，其特征在于，所述确定与故障风险类型对应的运维方式并执行的步骤后，还包括：
8.一种大数据平台运维装置，其特征在于，包括：
9.一种大数据平台运维装置，其特征在于，包括存储器，用于存储计算机程序；
10.一种计算机可读存储介质，其特征在于，所述计算
...【技术特征摘要】
1.一种大数据平台运维方法，其特征在于，包括：
2.根据权利要求1所述的大数据平台运维方法，其特征在于，获取所述历史运行数据包括：
3.根据权利要求2所述的大数据平台运维方法，其特征在于，所述对所述平台运行数据和所述应用程序运行数据进行数据清洗包括：
4.根据权利要求1所述的大数据平台运维方法，其特征在于，利用所述历史运行数据对所述故障预测模型进行训练包括：
5.根据权利要求1所述的大数据平台运维方法，其特征在于，所述利用故障预测模型对所述当前运行数据进行处理的步骤前，还包括：
6.根据权利要...
【专利技术属性】
技术研发人员：冯小虎，吴波，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。