System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种存储性能监控方法、系统及存储介质技术方案_技高网

一种存储性能监控方法、系统及存储介质技术方案

技术编号:40352718 阅读:6 留言:0更新日期:2024-02-09 14:37
本发明专利技术公开了一种存储性能监控方法、系统及存储介质,其包括:采集存储系统的配置信息;对配置信息的完整性与规范性进行校验,得到校验通过的第一数据,并录入至数据库;从第一数据中获取样本数据,并输入至预训练得到的四元长短期记忆神经网络模型中,得到所述样本数据归一化后的预测值;所述四元长短期记忆神经网络模型用于对系统的IO性能数据进行分析,以获取产生异常波动的系统;基于预设规则,分析产生异常波动的原因以及范围,得到分析结果;基于配置信息与分析结果,可视化展示存储性能监控结果。本发明专利技术能够准确地反映业务系统的读写性能,结合可视化展示能够直观地反映业务系统的读写性能。

【技术实现步骤摘要】

本专利技术涉及信息,特别是一种存储性能监控方法、系统及存储介质


技术介绍

1、存储性能是指存储系统在处理数据时所表现出的速度和效率。存储性能通常以存储系统的iops(每秒输入/输出操作数)和吞吐量(数据传输速度)来衡量。iops是指存储系统每秒钟可以处理的输入/输出操作数,通常用于衡量存储系统的随机读写性能;而吞吐量是指存储系统每秒钟可以传输的数据量,通常用于衡量存储系统的顺序读写性能。

2、随着5g时代的成熟,移动支付、手机银行等场景已经逐步取代柜台,成为用户与银行进行沟通的主要渠道。提升移动客户端的用户体验是提升用户粘性的重要措施,而保证快速响应,是提高用户体验的重要措施。相对于cpu、内存以及程序软件处理,存储的访问是整个基础软硬件耗时最长的部分,经常是影响用户体验的主要因素。

3、目前数据中心使用的存储品牌众多,各品牌存储接口独立,现有的存储性能监控方法主要依赖于存储厂商自身提供的存储监控工具,由于缺少统一性能监控平台,无法直观、准确地反映业务系统的读写性能。


技术实现思路

1、本专利技术的主要目的在于提供了一种存储性能监控方法、系统及存储介质,旨在解决现有的存储性能监控方法无法直观、准确地反映业务系统的读写性能的技术问题。

2、为实现上述目的,本专利技术提供了一种存储性能监控方法,其包括以下步骤:采集存储系统的配置信息;对配置信息的完整性与规范性进行校验,得到校验通过的第一数据,并录入至数据库;从第一数据中获取样本数据,并输入至预训练得到的四元长短期记忆神经网络模型中,得到所述样本数据归一化后的预测值;所述四元长短期记忆神经网络模型用于对系统的io性能数据进行分析,以获取产生异常波动的系统;基于预设规则,分析产生异常波动的原因以及范围,得到分析结果;基于配置信息与分析结果,可视化展示存储性能监控结果。

3、可选的,采集存储系统的配置信息,至少包括以下步骤:通过rest api、ssh协议采集存储的卷名、卷id、端口wwn、存储系统的空间大小其中一种或两种以上;通过ssh协议采集光交换机运行信息,光交换机运行信息至少包括端口登录wwn、接口错误包信息其中一种或两种;通过sftp采集主机的存储访问信息和itsm服务台登记的系统信息、部署业务信息、责任人信息其中一种或两种以上。

4、可选的,对配置信息的完整性进行校验,具体为:获取it服务台记录的主机信息、存储系统数量,以及配置信息的历史数据,并与配置信息进行数据比对,对配置信息的完整性进行校验;对配置信息的规范性进行校验,具体为:对配置信息的格式与范围进行校验,并对缺失数据的配置信息和/或格式错误的配置信息生成对应的提示信息。

5、可选的,样本数据具体为一个四元组<anchor,positive1,positive2,negative>,其中,anchor表示目标样本,positive1表示与目标样本采集自同主机但不同san存储的样本,positive2表示与目标样本采集自不同主机但同san存储的样本,negative表示与目标样本采集自不同主机且不同san存储的样本;目标样本包含时间、读取速率与写入速率。

6、可选的,四元长短期记忆神经网络模型具体通过以下训练步骤得到:从第一数据中获取样本数据,并对样本数据进行数据归一化处理和移位处理,得到训练样本;以存储时间作为x轴,以样本数据中的每一元数据作为特征形成y轴,生成四元数据对比图;根据预设的数据集划分比例,将训练样本分为训练集和测试集,并进行升维处理,得到多个三维特征向量;将三维特征向量输入损失函数中进行计算,经反向传播更新超参数,并生成四元长短期记忆神经网络模型。

7、可选的,损失函数采用mse loss,即:

8、

9、其中,f(x)表示四元长短期记忆神经网络模型的预测值,y表示实际值,n表示样本数量。

10、可选的,在分析产生异常波动的原因以及范围的过程中,获取存储高延时卷信息与各系统读取速率信息,并根据存储高延时卷信息与各系统读取速率信息分析产生异常波动的原因以及范围;存储高延时卷信息至少包括延时产生时间、延时时长、存储卷名称其中一种或两种以上;各系统读取速率信息至少包括读取速率产生时间、读取速率大小、系统名称其中一种或两种以上。

11、可选的,可视化展示存储性能监控结果,至少包括:获取延时时长大于预设延时阈值或者读写速率大于预设读写速率阈值的系统列表,并进行展示;基于系统列表,获取系统选择指令,并展示所选系统在指定时间区间内的延时时长与读写速率;获取所有延时数据,进行聚合处理以生成聚类热图,并进行展示。

12、与所述存储性能监控方法相对应的,本专利技术提供一种存储性能监控系统,其包括:数据采集模块,用于采集存储系统的配置信息;数据处理模块,用于对配置信息的完整性与规范性进行校验,得到校验通过的第一数据,并录入至数据库;预测模块,用于从第一数据中获取样本数据,并输入至预训练得到的四元长短期记忆神经网络模型中,得到所述样本数据归一化后的预测值;所述四元长短期记忆神经网络模型用于对系统的io性能数据进行分析,以获取产生异常波动的系统;数据分析模块,用于基于预设规则,分析产生异常波动的原因以及范围,得到分析结果;可视化模块,用于基于配置信息与分析结果,可视化展示存储性能监控结果。

13、此外,为实现上述目的,本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有存储性能监控程序,所述存储性能监控程序被处理器执行时实现如上文所述的存储性能监控方法的步骤。

14、本专利技术的有益效果是:

15、(1)与现有技术相比,本专利技术通过采集存储系统的配置信息,利用四元长短期记忆神经网络模型对系统的io性能数据进行分析,以获取产生异常波动的系统,并采用智能分析的方式进行存储性能预警,能够准确地反映业务系统的读写性能,结合可视化展示能够直观地反映业务系统的读写性能;

16、(2)与现有技术相比,本专利技术通过采集存储配置数据、获取服务台业务数据,自动化将存储告警及预警信息与业务系统相关联,避免影响存储性能问题定位的效率;通过对配置信息的完整性与规范性进行校验,确保第一数据的完整性与规范性;

17、(3)与现有技术相比,本专利技术通过四元长短期记忆神经网络模型对系统的io性能数据进行分析,能够有效提高存储性能预测精度;

18、(4)与现有技术相比,本专利技术通过在分析产生异常波动的原因以及范围的过程中,获取存储高延时卷信息与各系统读取速率信息,并根据存储高延时卷信息与各系统读取速率信息分析产生异常波动的原因以及范围,能够快速定位存储性能问题源头系统;

19、(5)与现有技术相比,本专利技术通过可视化展示存储性能监控结果,能够快速生成图表,信息简洁,便于快速定位存储性能问题源头系统;还能够快速了解所选系统的变化趋势以及性能状态,并持续进行跟踪观察,以及一览在某一时间区间内,延时高的范围集中在了哪一本文档来自技高网...

【技术保护点】

1.一种存储性能监控方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的存储性能监控方法,其特征在于:采集存储系统的配置信息,至少包括以下步骤:

3.根据权利要求1所述的存储性能监控方法,其特征在于:对配置信息的完整性进行校验,具体为:获取IT服务台记录的主机信息、存储系统数量,以及配置信息的历史数据,并与配置信息进行数据比对,对配置信息的完整性进行校验;

4.根据权利要求1所述的存储性能监控方法,其特征在于:样本数据具体为一个四元组<anchor,positive1,positive2,negative>,其中,anchor表示目标样本,positive1表示与目标样本采集自同主机但不同SAN存储的样本,positive2表示与目标样本采集自不同主机但同SAN存储的样本,negative表示与目标样本采集自不同主机且不同SAN存储的样本;

5.根据权利要求4所述的存储性能监控方法,其特征在于:四元长短期记忆神经网络模型具体通过以下训练步骤得到:

6.根据权利要求5所述的存储性能监控方法,其特征在于:损失函数采用MSE loss,即:

7.根据权利要求1所述的存储性能监控方法,其特征在于:在分析产生异常波动的原因以及范围的过程中,获取存储高延时卷信息与各系统读取速率信息,并根据存储高延时卷信息与各系统读取速率信息分析产生异常波动的原因以及范围;

8.根据权利要求7所述的存储性能监控方法,其特征在于:可视化展示存储性能监控结果,至少包括:

9.一种存储性能监控系统,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有存储性能监控程序,所述存储性能监控程序被处理器执行时实现如权利要求1至8任一项所述的存储性能监控方法的步骤。

...

【技术特征摘要】

1.一种存储性能监控方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的存储性能监控方法,其特征在于:采集存储系统的配置信息,至少包括以下步骤:

3.根据权利要求1所述的存储性能监控方法,其特征在于:对配置信息的完整性进行校验,具体为:获取it服务台记录的主机信息、存储系统数量,以及配置信息的历史数据,并与配置信息进行数据比对,对配置信息的完整性进行校验;

4.根据权利要求1所述的存储性能监控方法,其特征在于:样本数据具体为一个四元组<anchor,positive1,positive2,negative>,其中,anchor表示目标样本,positive1表示与目标样本采集自同主机但不同san存储的样本,positive2表示与目标样本采集自不同主机但同san存储的样本,negative表示与目标样本采集自不同主机且不同san存储的样本;<...

【专利技术属性】
技术研发人员:俞登超施育颖左金龙
申请(专利权)人:厦门国际银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1