一种业务系统的数据读写方法和装置制造方法及图纸

本发明专利技术公开了一种业务系统的数据读写方法和装置，该方法包括：在业务系统尝试写入数据时，使用上层缓存的一个控制器接收写入数据，并使用潜在语义分析算法为写入数据生成缓存数据，使用控制器将缓存数据镜像到上层缓存中的所有控制器，并向业务系统反馈写入完成信息，将缓存数据从上层缓存传输到下层缓存，并使用压缩算法将缓存数据压缩为条带化数据，将条带化数据从下层缓存传输到存储阵列来落盘，并将条带化数据的元数据缓存到下层缓存中。本发明专利技术能够优化业务系统的大数据读写，提升读写性能和响应速度，并且具有良好的可用性和整体稳定性。

A data reading and writing method and device of business system

【技术实现步骤摘要】
一种业务系统的数据读写方法和装置
本专利技术涉及存储领域，更具体地，特别是指一种业务系统的数据读写方法和装置。
技术介绍
随着云计算、大数据等新型技术的发展，大量数据的产生，对于存储的要求也越来越高，存储的性能、时延、可靠性也成为了关注的焦点，尤其针对固态阵列存储(SSA)，存储的时延要求更高，为了支撑更多的业务系统，存储必须有更多的优化方法，提高整体的性能。为了保证存储的时延能够达到要求，现有技术有很多种对存储的内部系统进行优化的方法，但是普遍效果差、效率低、可用性低、影响业务系统的整体稳定性。针对现有技术中数据存储优化效果差、效率低、可用性低、影响业务系统的整体稳定性的问题，目前尚无有效的解决方案。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种业务系统的数据读写方法和装置，能够优化业务系统的大数据读写，提升读写性能和响应速度，并且具有良好的可用性和整体稳定性。基于上述目的，本专利技术实施例的第一方面提供了一种业务系统的数据读写方法，包括：在业务系统尝试写入数据时执行以下步骤：使用上层缓存的一个控制器接收写入数据，并使用潜在语义分析算法为写入数据生成缓存数据；使用控制器将缓存数据镜像到上层缓存中的所有控制器，并向业务系统反馈写入完成信息；将缓存数据从上层缓存传输到下层缓存，并使用压缩算法将缓存数据压缩为条带化数据；将条带化数据从下层缓存传输到存储阵列来落盘，并将条带化数据的元数据缓存到下层缓存中。在一些实施方式中，在业务系统尝试读取数据时执行以下步骤：确定读取数据为第一热点数据、第二热点数据或冷数据；响应于读取数据为第一热点数据，而从上层缓存的热点数据预读信息中提取读取数据并直接反馈到业务系统；响应于读取数据为第二热点数据，而从下层缓存的热点数据预读信息中提取读取数据并通过上层缓存而反馈到业务系统；响应于读取数据为冷数据，而根据下层缓存的元数据缓存在存储阵列中提取读取数据并通过上层缓存和下层缓存而反馈到业务系统。在一些实施方式中，为上层缓存和下层缓存分别分配独立工作的运算资源和存储资源，以使上层缓存和下层缓存中的一个因运算资源和存储资源问题而发生故障时不影响另一个的工作。在一些实施方式中，还包括：额外地使用性能监控模块来监控上层缓存、下层缓存、和存储阵列的工作状态，工作状态包括以下至少之一：上层缓存运行、下层缓存运行、缓存预读命中率、元数据缓存、访盘效率、数据隔离、整体系统稳定性、性能提升、时延降低。在一些实施方式中，确定读取数据为第一热点数据、第二热点数据或冷数据包括：基于业务系统在预定时间内对读取数据的读取次数或读取频率来将读取数据确定为第一热点数据、第二热点数据或冷数据。在一些实施方式中，存储阵列为使用固态硬盘作为基本存储单元的独立磁盘冗余阵列或固态磁盘阵列。本专利技术实施例的第二方面提供了一种业务系统的数据读写装置，包括：处理器；和存储器，存储有处理器可运行的程序代码，程序代码在业务系统尝试写入数据时执行以下步骤：使用上层缓存的一个控制器接收写入数据，并使用潜在语义分析算法为写入数据生成缓存数据；使用控制器将缓存数据镜像到上层缓存中的所有控制器，并向业务系统反馈写入完成信息；将缓存数据从上层缓存传输到下层缓存，并使用压缩算法将缓存数据压缩为条带化数据；将条带化数据从下层缓存传输到存储阵列来落盘，并将条带化数据的元数据缓存到下层缓存中。在一些实施方式中，程序代码还在业务系统尝试读取数据时执行以下步骤：确定读取数据为第一热点数据、第二热点数据或冷数据；响应于读取数据为第一热点数据，而从上层缓存的热点数据预读信息中提取读取数据并直接反馈到业务系统；响应于读取数据为第二热点数据，而从下层缓存的热点数据预读信息中提取读取数据并通过上层缓存而反馈到业务系统；响应于读取数据为冷数据，而根据下层缓存的元数据缓存在存储阵列中提取读取数据并通过上层缓存和下层缓存而反馈到业务系统。在一些实施方式中，为上层缓存和下层缓存分别分配独立工作的运算资源和存储资源，以使上层缓存和下层缓存中的一个因运算资源和存储资源问题而发生故障时不影响另一个的工作。在一些实施方式中，步骤还包括：还额外地使用性能监控模块来监控上层缓存、下层缓存、和存储阵列的工作状态，工作状态包括以下至少之一：上层缓存运行、下层缓存运行、缓存预读命中率、元数据缓存、访盘效率、数据隔离、整体系统稳定性、性能提升、时延降低。在一些实施方式中，确定读取数据为第一热点数据、第二热点数据或冷数据包括：基于业务系统在预定时间内对读取数据的读取次数或读取频率来将读取数据确定为第一热点数据、第二热点数据或冷数据。在一些实施方式中，存储阵列为使用固态硬盘作为基本存储单元的独立磁盘冗余阵列或固态磁盘阵列。本专利技术具有以下有益技术效果：本专利技术实施例提供的业务系统的数据读写方法和装置，通过在业务系统尝试写入数据时，使用上层缓存的一个控制器接收写入数据，并使用潜在语义分析算法为写入数据生成缓存数据，使用控制器将缓存数据镜像到上层缓存中的所有控制器，并向业务系统反馈写入完成信息，将缓存数据从上层缓存传输到下层缓存，并使用压缩算法将缓存数据压缩为条带化数据，将条带化数据从下层缓存传输到存储阵列来落盘，并将条带化数据的元数据缓存到下层缓存中的技术方案，能够优化业务系统的大数据读写，提升读写性能和响应速度，并且具有良好的可用性和整体稳定性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的业务系统的数据读写方法的数据写入方法的流程示意图；图2为本专利技术提供的业务系统的数据读写方法的数据读取方法的流程示意图；图3为本专利技术提供的业务系统的数据读写方法的整体结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种够优化业务系统的大数据读写的业务系统的数据读写方法的一个实施例。图1示出的是本专利技术提供的业务系统的数据读写方法的流程示意图。所述的业务系统的数据读写方法包括：如图1所示，在业务系统尝试写入数据时执行以下步骤：步骤S101：使用上层缓存的一个控制器接收写入数据，并使用潜在语义分析算法为写入数据生成本文档来自技高网...

【技术保护点】
1.一种业务系统的数据读写方法，其特征在于，包括：/n在业务系统尝试写入数据时执行以下步骤：/n使用上层缓存的一个控制器接收写入数据，并使用潜在语义分析算法为所述写入数据生成缓存数据；/n使用所述控制器将所述缓存数据镜像到所述上层缓存中的所有控制器，并向业务系统反馈写入完成信息；/n将所述缓存数据从所述上层缓存传输到下层缓存，并使用压缩算法将所述缓存数据压缩为条带化数据；/n将所述条带化数据从所述下层缓存传输到存储阵列来落盘，并将所述条带化数据的元数据缓存到所述下层缓存中。/n

【技术特征摘要】
1.一种业务系统的数据读写方法，其特征在于，包括：
在业务系统尝试写入数据时执行以下步骤：
使用上层缓存的一个控制器接收写入数据，并使用潜在语义分析算法为所述写入数据生成缓存数据；
使用所述控制器将所述缓存数据镜像到所述上层缓存中的所有控制器，并向业务系统反馈写入完成信息；
将所述缓存数据从所述上层缓存传输到下层缓存，并使用压缩算法将所述缓存数据压缩为条带化数据；
将所述条带化数据从所述下层缓存传输到存储阵列来落盘，并将所述条带化数据的元数据缓存到所述下层缓存中。


2.根据权利要求1所述的方法，其特征在于，还包括：
在业务系统尝试读取数据时执行以下步骤：
确定所述读取数据为第一热点数据、第二热点数据或冷数据；
响应于所述读取数据为第一热点数据，而从所述上层缓存的热点数据预读信息中提取所述读取数据并直接反馈到业务系统；
响应于所述读取数据为第二热点数据，而从所述下层缓存的热点数据预读信息中提取所述读取数据并通过所述上层缓存而反馈到业务系统；
响应于所述读取数据为冷数据，而根据所述下层缓存的所述元数据缓存在所述存储阵列中提取所述读取数据并通过所述上层缓存和所述下层缓存而反馈到业务系统。


3.根据权利要求1所述的方法，其特征在于，为所述上层缓存和所述下层缓存分别分配独立工作的运算资源和存储资源，以使所述上层缓存和所述下层缓存中的一个因运算资源和存储资源问题而发生故障时不影响另一个的工作。


4.根据权利要求1所述的方法，其特征在于，还包括：额外地使用性能监控模块来监控所述上层缓存、所述下层缓存、和所述存储阵列的工作状态，所述工作状态包括以下至少之一：上层缓存运行、下层缓存运行、缓存预读命中率、元数据缓存、访盘效率、数据隔离、整体系统稳定性、性能提升、时延降低。


5.根据权利要求2所述的方法，其特征在于，确定所述读取数据为第一热点数据、第二热点数据或冷数据包括：基于所述业务系统在预定时间内对所述读取数据的读取次数或读取频率来将所述读取数据确定为第一热点数据、第二热点数据或冷数据。


6.一种业务系统的数据读写...

【专利技术属性】
技术研发人员：闫涛，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32