一种数据IO的处理方法、装置、存储介质及设备制造方法及图纸

本发明专利技术提供了一种数据IO的处理方法、装置、存储介质及设备，方法包括以下步骤：获取请求操作处理的由若干基础数据块顺序组成的数据；将数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；响应于有分割数据块中有时延统计记录，根据时延统计记录设置等待时间段；将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并；将合并的基础数据块发送并进行操作处理。本发明专利技术有效减少了数据IO的时间，提高了存储系统的性能。

【技术实现步骤摘要】
一种数据IO的处理方法、装置、存储介质及设备
本专利技术涉及数据处理
，尤其涉及一种数据IO的处理方法、装置、存储介质及设备。
技术介绍
基于分布式存储对接场景的不断丰富，针对不同的业务模型，对产品性能也有不同的要求。在分布式存储系统中，根据我们的数据离散算法，随机数据可以分散到不同节点的不同磁盘上并发地进行操作。在数据顺序IO场景下，由于我们的算法有最小的分割单元，当数据块大小小于最小的分割单元时，连续的数据块需要操作同一个分割单元，即对应底层的同一块磁盘，因此无法并发进行操作，导致系统性能不能充分地发挥，影响用户体验。目前分布式块存储普遍承载的是客户虚拟机系统盘资源，系统延迟过高，可能会造成操作系统不稳定，影响客户业务，因此，加快系统响应速度，对于提高系统性能、增强系统稳定性以及提高产品竞争力具有重要意义。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种数据IO的处理方法、装置、存储介质及设备，用以提高分布式块存储系统的性能。基于上述目的，本专利技术提供了一种数据IO的处理方法，包括如下步骤：获取请求操作处理的由若干基础数据块顺序组成的数据；将数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；响应于有分割数据块中有时延统计记录，根据时延统计记录设置等待时间段；将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并；将合并的基础数据块发送并进行操作处理。在一些实施例中，依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录包括：判断第一个分割数据块中是否有基于前若干个基础数据块操作处理完成的时间的时延统计记录；判断第n个分割数据块中是否有基于第n个分割数据块和/或前n-1个分割数据块中的基础数据块操作处理完成的时间的时延统计记录，其中，n为大于1的整数。在一些实施例中，时延统计记录为若干前序基础数据块操作处理完成的平均时间。在一些实施例中，将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并包括：若分割数据块是第一个分割数据块，将第一个分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束，停止合并；若分割数据块是第n个分割数据块，将第n个分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并，其中，n为大于1的整数。在一些实施例中，方法还包括：响应于有分割数据块中没有时延统计记录，将分割数据块中的所有基础数据块直接发送并进行操作处理。在一些实施例中，将合并的基础数据块发送并进行操作处理包括：将合并的基础数据块发送到与其分割数据块对应的存储区进行操作处理。在一些实施例中，方法还包括：获取请求操作处理的数据后，判断是否有与数据的偏移量和长度都相同的其他数据正在进行操作处理；响应于有其他数据正在进行操作处理，将数据放入阻塞队列；响应于没有其他数据在进行操作处理，前进到对数据以预设的分割单元为单位依次进行分割的步骤。本专利技术的另一方面，还提供了一种数据IO的处理装置，包括：数据获取模块，配置用于获取请求操作处理的由若干基础数据块顺序组成的数据；数据分组模块，配置用于将数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；时延统计记录判断模块，配置用于依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；等待时间段设置模块，配置用于响应于有分割数据块中有时延统计记录，根据时延统计记录设置等待时间段；合并模块，配置用于将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并；以及发送模块，配置用于将合并的基础数据块发送并进行操作处理。本专利技术的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项方法。本专利技术的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。本专利技术至少具有以下有益技术效果：本专利技术通过采集数据IO过程中的时延统计记录，根据时延统计记录设置合理的等待时间段，在将数据发送前等待一段时间并在此期间进行连续数据的合并，以有效减少数据IO的时间，进一步提高了存储系统的吞吐量，在数据连续IO场景下使存储系统性能大大提高，提升了用户体验。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为根据本专利技术提供的数据IO的处理方法的实施例的示意图；图2为根据本专利技术提供的数据IO的处理装置的实施例的示意图；图3为本专利技术提供的执行数据IO的处理方法的计算机设备的一个实施例的硬件结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。基于上述目的，本专利技术实施例的第一个方面，提出了一种数据IO的处理方法的实施例。图1示出的是本专利技术提供的数据IO的处理方法的实施例的示意图。如图1所示，本专利技术实施例包括如下步骤：步骤S10、获取请求操作处理的由若干基础数据块顺序组成的数据；步骤S20、将数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；步骤S30、依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；步骤S40、响应于有分割数据块中有时延统计记录，根据时延统计记录设置等待时间段；步骤S50、将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并；本文档来自技高网...

【技术保护点】
1.一种数据IO的处理方法，其特征在于，包括以下步骤：/n获取请求操作处理的由若干基础数据块顺序组成的数据；/n将所述数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；/n依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；/n响应于有分割数据块中有时延统计记录，根据所述时延统计记录设置等待时间段；/n将所述分割数据块中未进行操作处理的基础数据块在所述等待时间段内依次合并，直到所述等待时间段结束或所述等待时间段未结束但合并的基础数据块达到了所述分割单元大小，停止合并；/n将合并的基础数据块发送并进行操作处理。/n

【技术特征摘要】
1.一种数据IO的处理方法，其特征在于，包括以下步骤：
获取请求操作处理的由若干基础数据块顺序组成的数据；
将所述数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；
依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；
响应于有分割数据块中有时延统计记录，根据所述时延统计记录设置等待时间段；
将所述分割数据块中未进行操作处理的基础数据块在所述等待时间段内依次合并，直到所述等待时间段结束或所述等待时间段未结束但合并的基础数据块达到了所述分割单元大小，停止合并；
将合并的基础数据块发送并进行操作处理。


2.根据权利要求1所述的方法，其特征在于，依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录包括：
判断第一个分割数据块中是否有基于前若干个基础数据块操作处理完成的时间的时延统计记录；
判断第n个分割数据块中是否有基于所述第n个分割数据块和/或前n-1个分割数据块中的基础数据块操作处理完成的时间的时延统计记录，其中，n为大于1的整数。


3.根据权利要求1或2所述的方法，其特征在于，所述时延统计记录为若干前序基础数据块操作处理完成的平均时间。


4.根据权利要求1所述的方法，其特征在于，将所述分割数据块中未进行操作处理的基础数据块在所述等待时间段内依次合并，直到所述等待时间段结束或所述等待时间段未结束但合并的基础数据块达到了所述分割单元大小，停止合并包括：
若所述分割数据块是第一个分割数据块，将所述第一个分割数据块中未进行操作处理的基础数据块在所述等待时间段内依次合并，直到所述等待时间段结束，停止合并；
若所述分割数据块是第n个分割数据块，将所述第n个分割数据块中未进行操作处理的基础数据块在所述等待时间段内依次合并，直到所述等待时间段结束或所述等待时间段未结束但合并的基础数据块达到了所述分割单元大小，停止合并，其中，n为大于1的整数。

【专利技术属性】
技术研发人员：杨鸿洁，胡永刚，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32