【技术实现步骤摘要】
本申请涉及虚拟化，具体而言，涉及一种基于底层资源虚拟化的一体化系统。
技术介绍
1、在当今信息技术飞速发展的时代，数据已成为企业和社会运转的核心要素。随着云计算、大数据分析、人工智能等应用的兴起，对数据存储和处理的需求呈指数级增长。集群存储产品作为应对海量数据存储和管理的重要解决方案，其性能和效率的提升至关重要。而在集群存储领域，系统底层资源的优化和虚拟化技术一直是研究的重点。关键技术涵盖了存储资源的分配、调度、管理以及数据的分布、冗余和保护等多个方面。传统的存储系统通常采用集中式的资源管理方式，这种方式在面对大规模、高并发的数据访问时，容易出现性能瓶颈和资源分配不均的问题。
2、随着技术的不断演进，分布式存储架构逐渐成为主流。在这种架构下，系统底层资源的虚拟化成为实现高效存储和灵活资源管理的关键。通过将物理存储资源抽象为逻辑资源，并进行统一的分配和管理，可以极大地提高资源的利用率和系统的可扩展性。
3、在现有技术中，集群存储产品中的资源虚拟化技术主要有以下几种常见的实现方式：第一、基于阈值的资源分配策略：系统设定一些资源使用的阈值，当资源使用率达到或超过这些阈值时，触发资源分配或调整操作。例如，当内存使用率超过80％时，为系统分配更多的内存资源。这种方式的优点是简单直观，易于实现。但缺点也很明显，阈值的设定往往是基于经验值，缺乏对业务负载变化的精确预测，容易导致资源分配不及时或过度分配。
4、第二、基于优先级的资源分配策略：为不同的业务或应用设定优先级，在资源紧张时，优先为高优先级的业务分配
5、第三、基于规则的资源分配策略：根据预先制定的一系列规则，如业务类型、数据访问模式等，来决定资源的分配。这种方式虽然具有一定的灵活性，但规则的制定往往需要对业务有深入的了解，且难以适应复杂多变的业务场景。
6、但是上述的资源虚拟化技术仍存在诸多挑战。例如，在资源分配方面，传统的静态分配策略无法适应业务负载的动态变化，导致资源浪费或性能下降；在数据分布方面，固定的数据分布模式难以保证数据的均衡存储和高效访问；在资源管理方面，缺乏有效的监控和预测机制，无法及时发现和解决潜在的性能问题。
技术实现思路
1、本申请提供了一种基于底层资源虚拟化的一体化系统，其目的在于解决现有集群存储产品中资源虚拟化技术存在的问题，实现系统底层资源的智能分配、动态优化和高效利用，以满足不断变化的业务需求，提高系统的性能、可靠性和可扩展性。
2、为了实现上述目的，本申请实施例采用的技术方案如下：
3、第一方面，本申请实施例提供了一种基于底层资源虚拟化的一体化系统，所述一体化系统包括依次连接的资源监测模块、数据分析模块、策略生成模块和资源分配模块；
4、资源监测模块，用于通过部署的传感器和监测工具采集系统底层硬件的各项性能指标，性能指标包括但不限于cpu利用率、内存使用率、磁盘i/o性能、网络带宽占用、数据访问量、并发请求数量以及请求响应时间；
5、数据分析模块，用于对资源监测模块采集到的各项性能指标进行深度处理和分析，运用机器学习算法构建预测模型预测资源需求趋势，对历史数据进行学习和挖掘，识别出数据的规律和模式；
6、策略生成模块，用于依据数据分析模块的输出结果，结合预先设定的优化目标和约束条件，运用智能优化算法生成资源分配策略；
7、资源分配模块，用于按照资源分配策略对系统底层资源进行分配和调整，通过与底层硬件的交互对cpu核心、内存空间、磁盘存储、网络带宽进行资源合理配置，确保资源的分配与业务的需求实时匹配。
8、在一种可能的实施方式中，资源分配模块还与系统底层的硬件资源管理器和操作系统内核紧密耦合，通过硬件访问接口和系统api对资源进行控制，在执行资源分配操作时实时反馈操作结果至策略生成模块，对资源分配策略进行动态调整和优化。
9、在一种可能的实施方式中，资源监测模块还采用周期性采样方法或基于事件触发的检测方法对各项性能指标进行采集。
10、在一种可能的实施方式中，资源监测模块还利用操作系统提供的性能接口和api来获取各项性能指标。
11、在一种可能的实施方式中，数据分析模块，还用于采用数据清洗技术去除各项性能指标的噪声和异常值，之后特征工程技术提取出有价值的特征和模式。
12、在一种可能的实施方式中，策略生成模块在生成资源分配策略时结合不同业务的优先级、资源的可用性、系统的性能要求。
13、在一种可能的实施方式中，资源监测模块与数据分析模块通过数据接口连接，数据分析模块与策略生成模块通过高速内部通信总线连接，策略生成模块与资源分配模块通过专用控制通道连接。
14、在一种可能的实施方式中，智能优化算法包括遗传算法、模拟退火算法、粒子群优化算法以及蚁群算法。
15、在一种可能的实施方式中，资源分配模块，用于对底层资源进行操作，以及采用中间件或代理的方式来进行资源分配。
16、在一种可能的实施方式中，优化目标包括资源利用率最大化、系统响应时间最小化、成本控制最优化，约束条件包括硬件资源的上限、业务优先级的限制、法规合规性要求。
17、相对现有技术，本申请实施例提供了一种基于底层资源虚拟化的一体化系统，资源监测模块通过传感器和监测工具采集系统底层硬件的各项性能指标，数据分析模块进行深度处理和分析，运用机器学习算法构建预测模型预测资源需求趋势，对历史数据进行学习和挖掘，识别出数据的规律和模式，策略生成模块依据数据分析模块的输出结果，结合预先设定的优化目标和约束条件，运用智能优化算法生成资源分配策略，资源分配模块对系统底层资源进行分配和调整，通过进行资源合理配置，确保资源的分配与业务的需求实时匹配，实现系统底层资源的智能分配、动态优化和高效利用，以满足不断变化的业务需求，提高系统的性能、可靠性和可扩展性。
本文档来自技高网...【技术保护点】
1.一种基于底层资源虚拟化的一体化系统，其特征在于，所述一体化系统包括依次连接的资源监测模块、数据分析模块、策略生成模块和资源分配模块；
2.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，资源分配模块还与系统底层的硬件资源管理器和操作系统内核紧密耦合，通过硬件访问接口和系统API对资源进行控制，在执行资源分配操作时实时反馈操作结果至策略生成模块，对资源分配策略进行动态调整和优化。
3.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，资源监测模块还采用周期性采样方法或基于事件触发的检测方法对各项性能指标进行采集。
4.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，资源监测模块还利用操作系统提供的性能接口和API来获取各项性能指标。
5.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，数据分析模块，还用于采用数据清洗技术去除各项性能指标的噪声和异常值，之后特征工程技术提取出有价值的特征和模式。
6.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在
7.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，资源监测模块与数据分析模块通过数据接口连接，数据分析模块与策略生成模块通过高速内部通信总线连接，策略生成模块与资源分配模块通过专用控制通道连接。
8.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，智能优化算法包括遗传算法、模拟退火算法、粒子群优化算法以及蚁群算法。
9.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，资源分配模块，用于对底层资源进行操作，以及采用中间件或代理的方式来进行资源分配。
10.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，优化目标包括资源利用率最大化、系统响应时间最小化、成本控制最优化，约束条件包括硬件资源的上限、业务优先级的限制、法规合规性要求。
...【技术特征摘要】
1.一种基于底层资源虚拟化的一体化系统，其特征在于，所述一体化系统包括依次连接的资源监测模块、数据分析模块、策略生成模块和资源分配模块；
2.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，资源分配模块还与系统底层的硬件资源管理器和操作系统内核紧密耦合，通过硬件访问接口和系统api对资源进行控制，在执行资源分配操作时实时反馈操作结果至策略生成模块，对资源分配策略进行动态调整和优化。
3.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，资源监测模块还采用周期性采样方法或基于事件触发的检测方法对各项性能指标进行采集。
4.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，资源监测模块还利用操作系统提供的性能接口和api来获取各项性能指标。
5.根据权利要求1所述的基于底层资源虚拟化的一体化系统，其特征在于，数据分析模块，还用于采用数据清洗技术去除各项性能指标的噪声和异常值，之后特征工程技术提取出有价值的特征和模式。...
【专利技术属性】
技术研发人员：王以强，蔡艳方，李忠诚，
申请(专利权)人：北京融讯光通科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。