【技术实现步骤摘要】
本专利技术涉及一种用于数据存储的容器管理平台中数据库性能监控及预测的系统和方法。
技术介绍
1、数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。
2、容器是软件的可执行单元，它采用通用方式封装了应用程序代码及其库和依赖项，因此可以随时随地运行容器(无论是在桌面、传统it还是云端)。为此，容器利用一种操作系统(os)虚拟化的形式，进而可以利用操作系统内核的功能(例如linux命名空间和cgroups、windows孤岛和作业对象)来隔离进程，并控制进程可以访问的cpu、内存和磁盘的数量。容器小巧轻便、速度快且可移植；与虚拟机不同，容器不需要在每个实例中都包含访客操作系统，只需利用主机操作系统的功能和资源。容器管理平台指的是容器应用管理系统，用于管理基于容器技术开发的应用的部署，扩展和管理。常见的容器管理平台有kubernetes，dockerswarm等。
3、目前存在一种容器mysql主从同步及性能采集实现方法及系统，该方法包括：在kubernetes平台上创建mysql主从数据库系统，可以实现对主备节点的性能参数进行采集和监控。
4、一个容器管理平台中可能同时部署了多种容器化数据库服务，包括mysql、redis等，每种数据库都存在对应的性能指标，这些性能指标可以反
技术实现思路
1、本专利技术的目的是为了克服现有技术的不足，提供一种容器管理平台中数据库性能监控及预测的系统和方法。
2、实现上述目的的一种技术方案是：一种容器管理平台中数据库性能监控及预测的系统，由主节点和若干个代理节点组成；
3、主节点由接收模块、分类模块、数据存储模块、告警模块和智能预测模块组成；数据接收模块接收来自数据发送模块的数据，并传递给分类模块；分类模块，将数据按照数据库类型分类并存入数据存储模块；数据存储模块根据分类模块提供的数据创建相应的数据表，存储所有接收到的数据，并自动清理n天之前的历史数据；告警模块预先设置各个参数的告警阈值，每隔一段时间读取所记录的所有容器性能指标和数据库性能指标，如果某个性能指标超过预设阈值，则发送告警至系统管理员；智能预测模块每隔一个周期，从数据存储模块中取去过去一段时间的性能指标数据，对自动回归长短期记忆模型进行训练，并使用训练后的模型对未来一段时间内的性能指标数据进行预测。
4、代理节点由通用监控模块和数据库性能监控模块组组成；通用监控模块每隔一段时间对所在容器平台计算节点上所有容器采集容器性能指标，并发送数据到主节点的接收模块；数据库性能监控模块组由多个相互独立的数据库监控子模块组成，每个数据监控子模块负责采集某一种数据库的性能指标，每隔一段时间每一个数据监控子模块采集当前计算节点上所有在运行的对应数据库的性能指标，并发送数据到主节点的数据接收模块。
5、进一步的，通用检测模块和数据库性能监控模块组监控的数据为时序数据。
6、进一步的，通用监控模块监控的时序数据包括cpu使用率和内存使用率。
7、进一步的，数据库性能监控模块组监控的时序数据包括当前时刻目标数据库的会话连接数量、当前时刻目标数据库的每秒处理的查询数。
8、采用上述监控及预测系统的监控及预测方法，包括如下步骤：
9、s1：在容器管理平台中，对于不同种类的数据库容器分别采用特定的命名规则进行命名；然后在容器平台某一个控制节点上部署主节点，在容器平台每一个计算节点上部署一个代理节点；
10、s2：在主节点的分类模块中，定义需要监控的数据库类型，根据定义的类型，对接收模块中接收到的数据进行分类，数据存储模块根据分类结果在本系统的数据库中创建相应的数据表，并插入分类之后的数据；
11、s3：在一个代理节点的数据库性能监控模块组每隔一段时间t对所在计算节点上的所有数据库容器中部署的数据库性能指标进行采样，并发送数据到主节点的接收模块；同时，通用监控模块每隔一段时间t对所在计算节点上的所有种类的数据库容器本身性能指标进行采样，并发送数据到主节点的接收模块；
12、s4：在告警模块中，定义通用监控告警阈值和每种数据库各项性能指标告警阈值以及系统管理员邮箱，每隔一段时间t读取数据存储模块中记录的最新性能指标，如果某个性能指标超过阈值，则发送告警邮件至系统管理员邮箱；
13、s5：在智能预测模块中，每隔一个周期t，从数据存储模块取去过去一段时间n的性能指标数据，对自动回归长短期记忆模型进行训练，然后使用训练后的模型将最近一段时间p对未来一段时间m内的性能指标数据进行预测。
14、进一步的，智能预测模块具体进行模型训练的具体方法包括：
15、原始数据拆分：对于某一项性能数据，以7:2:1的比例将某项性能数据集d划分为训练集d1、验证集d2和测试集d3；
16、数据标准化：对d1、d2和d3使用z-score标准化方法进行标准化，
17、
18、其中z为经过转换之后的z-score，μ为总体样本空间的分值均值，σ为总体样本空间的标准差；
19、数据窗口化：本方法基于数据的连续样本窗口来进行预测，某个样本窗口的主要特征有输入宽度w、偏移量δ、标签宽度l，其中
20、
21、要预测未来m个时间步的值，需要构造输入宽度为m个时间步，偏移量为m个时间步的连续样本窗口；
22、训练和测试自动回归长短期记忆模型：自动回归长短期记忆模型由输入层、lstm层、输出层组成,在第一个训练周期开始前，先使用d1中第1个样本窗口的数据xi∈{z1,…,zw}让模型初始化，产生第1个预测,相关公式如下：
23、it＝σ(wxixt+whiht-1+wcict-1+bi)
24、ft＝σ(wxfxt+whfht-1+wcfct-1+bf)
25、ot＝σ(wxoxt+whoht-1+wcoct+bo)
26、其中，it，ft，ot分别表示输入门、遗忘门和输出门的值；xt是当前时间步的输入；ht-1是上一个时间步的隐藏状态；ct-1是上一个时间步的细胞状态；w表示权重矩阵；b表示偏置项；
27、接着，计算细胞状态和隐藏状态的更新：
28、
29、ht＝ot⊙tanh(ct)
30、当前时间步的输出yt可以通过隐藏状态ht进行预测，通过全连接层进行转换和映射：
31、yt＝softmax(wyhht+by)...
【技术保护点】
1.一种容器管理平台中数据库性能监控及预测的系统，由主节点和若干个代理节点组成，其特征在于：
2.根据权利要求1所述的一种容器管理平台中数据库性能监控及预测的系统，其特征在于，通用检测模块和数据库性能监控模块组监控的数据为时序数据。
3.根据权利要求2所述的一种容器管理平台中数据库性能监控及预测的系统，其特征在于，通用监控模块监控的时序数据包括CPU使用率和内存使用率。
4.根据权利要求2所述的一种容器管理平台中数据库性能监控及预测的系统，其特征在于，数据库性能监控模块组监控的时序数据包括当前时刻目标数据库的会话连接数量、当前时刻目标数据库的每秒处理的查询数。
5.采用权利要求1至4中任意一项所述监控及预测系统的监控及预测方法，其特征在于，包括如下步骤：
6.根据权利要求5所述的一种监控及预测方法，其特征在于，智能预测模块具体进行模型训练的具体方法包括：
7.根据权利要求6所述的一种监控及预测方法，其特征在于，模型训练设置容忍限度：在构建模型时设置容忍限度P来防止过拟合，选择监测的指标为测试集的损失值val_
8.根据权利要求6所述的一种监控及预测方法，其特征在于，在得到未来Δ个时间步某项性能的值后，绘制出曲线图，管理员参考本系统生成的性能曲线图从而关注这项性能数据在未来一段时间内变动趋势，并针对变动趋势进行后续的必要操作，防止性能导致故障。
...【技术特征摘要】
1.一种容器管理平台中数据库性能监控及预测的系统，由主节点和若干个代理节点组成，其特征在于：
2.根据权利要求1所述的一种容器管理平台中数据库性能监控及预测的系统，其特征在于，通用检测模块和数据库性能监控模块组监控的数据为时序数据。
3.根据权利要求2所述的一种容器管理平台中数据库性能监控及预测的系统，其特征在于，通用监控模块监控的时序数据包括cpu使用率和内存使用率。
4.根据权利要求2所述的一种容器管理平台中数据库性能监控及预测的系统，其特征在于，数据库性能监控模块组监控的时序数据包括当前时刻目标数据库的会话连接数量、当前时刻目标数据库的每秒处理的查询数。
5.采用权利要求1至4中任意一项所述监控及预测系统的监控及预测方法，其特征在于，包括如下步骤...
【专利技术属性】
技术研发人员：陈翰林，陈魏魏，赵申，杨振超，诸嘉明，
申请(专利权)人：上海电气集团数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。