一种基于大页内存的存储监控系统及方法技术方案

本申请涉及计算机技术领域，提供了一种基于大页内存的存储监控系统及方法，所述系统包括：周期管理器，用于生成原始数据的预设信息类型并发送给数据收集器，周期性地发送dump指令给数据生成器，且发送扫描指令给中间扫描器；数据收集器：附着在I/O上，用于收集原始收集数据；数据生成器，设置在每个polling core，用于接受原始收集数据，生成周期大页，且发送给中间扫描器；中间扫描器：扫描周期大页，生成监控数据；归档存储器，用于按照时间点生成时序数据链，提供数据存储接口和查询接口。本申请采用周期性的大页缓存作为监控数据，形成时序数据链，用以查询。因此，本公开实施例提高了监控运行的效率，从而保证了被监控系统运行流畅。畅。畅。

【技术实现步骤摘要】
一种基于大页内存的存储监控系统及方法


[0001]本申请属于计算机
，涉及一种基于大页内存的存储监控系统及方法。

技术介绍

[0002]存储系统中，对I/O的控制是核心功能，每时每刻存储系统都将处理大量的数据操作，发生在I/O路径上的所有过程，都将被视为核心过程，那么对I/O路径的实时监控，将是在存储系统开发、调试与安全运维过程中，成功掌控存储系统的关键工具。系统开发时，实时监控信息可为系统排错、性能优化提供有力的帮助;系统发布后，实时监控还将记录系统每天产生的大量信息，为系统的安全监测和运行维护提供数据。
[0003]当前流行的分布式存储系统，在传统存储基础上，增加了跨网络、跨节点、跨硬件的基本属性、不定时scale out的功能等，对分布式存储的实时监控提出了更加严苛的要求。最新一代的分布式存储为更有效的利用计算资源，会将线程绑定到固定核心core上，采用轮询polling方式，提升cpu利用率，那么线程在所绑定core上的运行情况，将是实时监控重点关注的方向。
[0004]现有技术中，最常采用的实时监控记录方式是通过日志记录，记录过程中将产生大量的系统调用，在用户空间和内核空间不断切换，影响记录效率，而且实时监控与业务处理串行，输出实时监控日志时，势必影响业务处理速度，这种方式的时间代价与日志条数几乎成正比，而且当日志记录过多时会引发业务处理延时，对于实时性较高的系统是不允许的。若信息量过于庞大，甚至会阻塞正常的业务处理。

技术实现思路

[0005]为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
[0006]为了解决相关技术中存在的问题，本公开实施例公开了一种基于大页内存的存储监控系统及方法，用以解决现有技术中的面对实时性较高的系统，监控会影响业务处理从而导致被监控系统运行不流畅的问题。
[0007]在一些实施例中，提供了一种基于大页内存的存储监控系统，系统包括：周期管理器、数据收集器、数据生成器、中间扫描器和归档存储器；周期管理器，包括控制器和定时器；所述控制器，与数据收集器相连接，被配置为接收原始数据的预设信息类型指令，生成原始数据的预设信息类型并发送给数据收集器；所述定时器，分别与中间扫描器和数据生成器，被配置为接收预设时间指令，根据预设时间，周期性地发送dump指令给数据生成器；接收大页生成完毕指令，发送扫描指令给中间扫描器；数据收集器，设置在附着在I/O上，被配置为接收原始数据的信息类型；根据原始数据的信息类型，收集对应的原始数据，获得原始收集数据；数据生成器，设置在每个polling core上，与数据收集器相连接，被配置为接收原始收集数据，实时生成临时大页；接收dump指令，生成周期大页，发送大页生成完毕指
令给定时器，且发送给中间扫描器；中间扫描器，被配置为接收扫描指令，扫描周期大页，生成监控数据，将监控数据发送给归档存储器；归档存储器，被配置为接收监控数据，将监控数据按照时间点生成时序数据链存入历史数据库，并提供监控数据的查询输出。
[0008]优选的，所述周期管理器为人机交互装置。
[0009]优选的，归档存储器包括数据存储接口和查询接口。
[0010]在一些实施例中，公开了一种基于大页内存的存储监控方法，应用于系统的数据收集器，所述方法包括：接收原始数据的信息类型；根据原始数据的信息类型，收集对应的原始数据，获得原始收集数据；发送原始收集数据给数据生成器。
[0011]在一些实施例中，公开了一种基于大页内存的存储监控方法，应用于系统的数据生成器，所述方法包括：接收原始收集数据，实时生成临时大页；接收dump指令，生成周期大页，发送大页生成完毕指令给定时器，且发送给中间扫描器。
[0012]优选的，生成临时大页和周期大页的过程为：根据数据类型进行分类，对同一种资源内部排序，按照存储需要申请大页内存进行缓存。
[0013]在一些实施例中，公开了一种基于大页内存的存储监控方法，应用于系统的周期管理器，所述方法包括：接收原始数据的预设信息类型指令，生成原始数据的预设信息类型并发送给数据收集器；接收入预设时间指令，根据预设时间，周期性地发送dump指令给数据生成器；接收大页生成完毕指令，发送扫描指令给中间扫描器。
[0014]在一些实施例中，公开了一种基于大页内存的存储监控方法，应用于系统的中间扫描器，所述方法包括：接收扫描指令；扫描周期大页，生成监控数据；将监控数据发送给归档存储器。
[0015]优选的，监控数据，包括：I/O在经过模块的硬件资源平均值，和/或硬件资源执行周期数据；其中，所述硬件资源包括cpu、mem、disk；所述硬件资源执行周期数据，包括处理的I/O总数和平均耗时。
[0016]在一些实施例中，公开了一种基于大页内存的存储监控方法，应用于系统的归档存储器，所述方法包括：接收监控数据；将监控数据按照时间点生成时序数据链存入历史数据库，并提供监控数据的查询输出。
[0017]本公开实施例提供的一种基于大页内存的存储监控系统及方法，可以实现以下技术效果：本公开实施例以每一个polling core所承担作业为依据，作业过程中所涉及到的逻辑上、物理上的资源为核心，采用周期性的大页缓存作为监控数据，形成时序数据链，用以查询。本公开实施例利用大页内存作为监控数据传输手段，提升内存使用效率。因此，本公开实施例面对实时性较高的系统时，能够提高了监控效率从而影响让被监控运行流畅。
[0018]以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
[0019]一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一种基于大页内存的存储监控系统的示意图；图2是本公开实施例提供的一种存储监控系统的接口连接示意图；图3是本公开实施例提供的一种基于大页内存的存储监控方法流程图；图4是本公开实施例提供的一种数据收集器作用于子模块的示意图；图5是本公开实施例提供的一种数据的流转示意图。
具体实施方式
[0020]为了能够更加详尽地了解本公开实施例的特点与
技术实现思路
，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
[0021]以下描述和附图充分地示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大页内存的存储监控系统，其特征在于，包括：周期管理器、数据收集器、数据生成器、中间扫描器和归档存储器；周期管理器，包括控制器和定时器；所述控制器，与数据收集器相连接，被配置为接收原始数据的预设信息类型指令，生成原始数据的预设信息类型并发送给数据收集器；所述定时器，分别与中间扫描器和数据生成器，被配置为接收预设时间指令，根据预设时间，周期性地发送dump指令给数据生成器；接收大页生成完毕指令，发送扫描指令给中间扫描器；数据收集器，设置在附着在I/O上，被配置为接收原始数据的信息类型；根据原始数据的信息类型，收集对应的原始数据，获得原始收集数据；数据生成器，设置在每个polling core上，与数据收集器相连接，被配置为接收原始收集数据，实时生成临时大页；接收dump指令，生成周期大页，发送大页生成完毕指令给定时器，且发送给中间扫描器；中间扫描器，被配置为接收扫描指令，扫描周期大页，生成监控数据，将监控数据发送给归档存储器；归档存储器，被配置为接收监控数据，将监控数据按照时间点生成时序数据链存入历史数据库，并提供监控数据的查询输出。2.根据权利要求1所述的系统，其特征在于，所述周期管理器为人机交互装置。3.根据权利要求1所述的系统，其特征在于，归档存储器包括数据存储接口和查询接口。4.一种基于大页内存的存储监控方法，其特征在于，应用于如权利要求1至3任一项的系统的数据收集器，所述方法包括：接收原始数据的信息类型；根据原始数据的信息类型，收集对应的原始数据，获得原始收集数据；发送原始收集数据给数据生成...

【专利技术属性】
技术研发人员：刘爱贵，王孝海，阮薛平，
申请(专利权)人：北京大道云行科技有限公司，
类型：发明
国别省市：