一种基于弹性存储的I/O模式分析方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于弹性存储的I/O模式分析方法、装置及存储介质，该方法包括：在存储后端捕获内核I/O模式；对I/O模式进行分析抽象，得到分析结果；将捕获的I/O模式和分析结果导入新存储场景进行重建与回放。通过实施本发明专利技术，从最底层截获I/O模式，解决了现有的追踪技术无法检测非文件业务的问题。同时，该分析方法提出了提取－分析－重新注入的完整系统性设计，结合当前热门的模式匹配与大数据分析预测技术，使传统技术在新兴的云计算场景发挥更大效能。此外，通过该分析方法，可以在分布式存储场景对云计算前端业务模式有更深地了解和对底层更针对性地优化，真正做到端到端的质量提升。提升。提升。

【技术实现步骤摘要】
一种基于弹性存储的I/O模式分析方法、装置及存储介质


[0001]本专利技术涉及分布式存储，操作系统内核、存储I/O栈及模式匹配预测
，具体涉及一种基于弹性存储的I/O模式分析方法、装置及存储介质。

技术介绍

[0002]自计算机问世以来，计算、存储、网络一直是其应用发展的三个主要方向。其中存储系统作为信息的载体，承担着数据持久化和提供高性能输入输出的重任。不同于计算、网络的字节访问模式，存储设备具有其天然的特殊性，例如512/4k字节的最小访问单元、性能随I/O模式而变化，以及近些年兴起的闪存型存储介质带来的写放大与有限介质寿命的特性等等。
[0003]为了提高存储系统对客户的友好程度，计算机软件提供了各种接口诸如文件、对象、块的抽象，以及为了改善存储性能和效率而在内核/用户态叠加的各种调度策略和软件扩展。这一系列软件方案在有效地提高存储的可靠性和可用性的同时，也极大地增加了软件结构和整个系统的复杂度。如图1所示为单机场景下一个标准的文件I/O从应用程序到达硬件存储介质所经历的各层级调用关系。
[0004]随着分布式技术的发展和云计算服务模式的逐渐兴起，存储也朝着高可用，高弹性，高性能的方向继续发展。但这也使得基于云架构的前端业务模式与后端底层的数据I/O模型不再一一对应。在以弹性存储为代表的分布式存储架构上，云上的客户端所发起的业务与物理存储系统的I/O模式可能天差地别。如图2所示云上客户端业务模型与底层物理节点的转换示意图。
[0005]这一巨大差异一方面使得从客户端角度设计的各种针对不同业务模式的优化方案，可能对底层不再有效。另一方面当这个庞大而复杂的系统发生偶发性问题时，很难在极小范围内稳定重现问题并分析定位。

技术实现思路

[0006]有鉴于此，本专利技术实施例提供了涉及一种基于弹性存储的I/O模式分析方法、装置及存储介质，以解决现有技术中从客户端设计的各种针对不同业务模式的优化方案，对底层不再有效的技术问题。
[0007]本专利技术提出的技术方案如下：
[0008]本专利技术实施例第一方面提供一种基于弹性存储的I/O模式分析方法，包括：在存储后端捕获内核I/O模式；对所述I/O模式进行分析抽象，得到分析结果；将捕获的I/O模式和分析结果导入新存储场景进行重建与回放。
[0009]可选地，在存储后端捕获内核I/O模式，包括：在存储后端基于内核追踪技术和工具捕获内核I/O模式；或者，在存储后端基于内核模块捕获内核I/O模式。
[0010]可选地，在存储后端基于内核模块捕获内核I/O模式，包括：监听内核块设备自身包含的预设事件；当I/O发送至底层硬件时捕获所述预设事件；将监听事件和捕获事件的操
作录制得到捕获的内核I/O模式。
[0011]可选地，在存储后端基于内核模块捕获内核I/O模式，包括：在内核底层驱动的I/O发送加入转发机制的预设函数；当所述内核底层驱动接收到I/O请求时将捕获的内核I/O模式转发。
[0012]可选地，对所述I/O模式进行分析抽象，得到分析结果，包括：基于Markov预测模型对I/O模式的多个访问模式进行I/O模式特征提取和预测，得到分析结果，所述多个访问模式包括空间模式、重复行为、请求大小、时间间隔和I/O操作类型。
[0013]可选地，基于Markov预测模型对I/O模式的多个访问模式进行I/O模式特征提取和预测，包括：基于贪心策略算法、路径预测算法或者分摊预测算法进行预测。
[0014]可选地，将捕获的I/O模式和分析结果导入新存储场景进行重建与回放，包括：将捕获的I/O模式和分析结果导入新存储场景的内核底层；根据捕获的I/O模式和分析结果进行适配优化，得到新I/O模式；将所述新I/O模式注入底层硬件模拟业务场景。
[0015]本专利技术实施例第二方面提供一种基于弹性存储的I/O模式分析装置，包括：捕获模块，用于在存储后端捕获内核I/O模式；分析模块，用于对所述I/O模式进行分析抽象，得到分析结果；重建回放模块，用于将捕获的I/O模式和分析结果导入新存储场景进行重建与回放。
[0016]本专利技术实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本专利技术实施例第一方面及第一方面任一项所述的基于弹性存储的I/O模式分析方法。
[0017]本专利技术实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本专利技术实施例第一方面及第一方面任一项所述的基于弹性存储的I/O模式分析方法。
[0018]本专利技术提供的技术方案，具有如下效果：
[0019]本专利技术实施例提供的基于弹性存储的I/O模式分析方法、装置及存储介质，从最底层截获I/O模式，解决了现有的追踪技术限制于运行平台以及使用场景，例如linux文件系统的inotify工具仅适用于某些类文件系统元数据修改的追踪，无法检测非文件业务的问题。同时，目前主流追踪技术仅用于定位分析问题，并未对采集的I/O模型进行分析总结以及深度提取。该分析方法提出了提取－分析－重新注入的完整系统性设计，结合当前热门的模式匹配与大数据分析预测技术，使传统技术在新兴的云计算场景发挥更大效能。此外，通过该分析方法，可以在分布式存储场景对云计算前端业务模式有更深地了解和对底层更针对性地优化，真正做到端到端的质量提升。
附图说明
[0020]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是单机文件I/O调用栈示意图；
[0022]图2是弹性存储架构I/O流示意图；
[0023]图3是根据本专利技术实施例的基于弹性存储的I/O模式分析方法的流程图；
[0024]图4是根据本专利技术实施例的基于弹性存储的I/O模式分析方法的内核I/O追踪工具原理图；
[0025]图5是根据本专利技术实施例的基于弹性存储的I/O模式分析方法的数据流监测示意图；
[0026]图6是根据本专利技术实施例的基于弹性存储的I/O模式分析方法的读写操作示意图；
[0027]图7是根据本专利技术实施例的基于弹性存储的I/O模式分析方法的blkparse命令分析结果示意图；
[0028]图8是根据本专利技术实施例的基于弹性存储的I/O模式分析方法的观测结果示意图；
[0029]图9是根据本专利技术实施例的基于弹性存储的I/O模式分析方法的前台捕获特征示意图；
[0030]图10是根据本专利技术实施例的基于弹性存储的I/O模式分析方法的场景一观测结果示意图；
[0031]图11是根据本专利技术实施例的基于弹性存储的I/O模式分析方法的场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于弹性存储的I/O模式分析方法，其特征在于，包括：在存储后端捕获内核I/O模式；对所述I/O模式进行分析抽象，得到分析结果；将捕获的I/O模式和分析结果导入新存储场景进行重建与回放。2.根据权利要求1所述的基于弹性存储的I/O模式分析方法，其特征在于，在存储后端捕获内核I/O模式，包括：在存储后端基于内核追踪技术和工具捕获内核I/O模式；或者，在存储后端基于内核模块捕获内核I/O模式。3.根据权利要求2所述的基于弹性存储的I/O模式分析方法，其特征在于，在存储后端基于内核模块捕获内核I/O模式，包括：监听内核块设备自身包含的预设事件；当I/O发送至底层硬件时捕获所述预设事件；将监听事件和捕获事件的操作录制得到捕获的内核I/O模式。4.根据权利要求2所述的基于弹性存储的I/O模式分析方法，其特征在于，在存储后端基于内核模块捕获内核I/O模式，包括：在内核底层驱动的I/O发送加入转发机制的预设函数；当所述内核底层驱动接收到I/O请求时将捕获的内核I/O模式转发。5.根据权利要求1所述的基于弹性存储的I/O模式分析方法，其特征在于，对所述I/O模式进行分析抽象，得到分析结果，包括：基于Markov预测模型对I/O模式的多个访问模式进行I/O模式特征提取和预测，得到分析结果，所述多个访问模式包括空间模式、重复行为、请求大小、时间间隔和I/O操作...

【专利技术属性】
技术研发人员：武昱，范哲豪，白艳春，姚永坤，吴淮，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：