数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例涉及一种数据处理方法、装置、计算机设备及存储介质，包括：获取待存储的应用数据，以及将应用数据按照预设数据结构缓存在缓存盘对应的第一存储空间中；实时检测缓存盘的全部第一存储空间的数据存储状态；在所述数据存储状态为第一状态时，将第一状态对应的第一存储空间中存储的数据转存到主存盘对应的第二存储空间中；在所述数据存储状态为第二状态时，控制垃圾回收程序对所述第二状态对应的第一存储空间中存储的数据进行清除，由此，通过允许垃圾回收程序执行，但不允许垃圾回收过程中改变存储空间的数据存储状态，可以避免垃圾回收过程中出现缓存盘对数据存储不做处理引发业务中断以及时延较大的问题，提高数据处理效率。数据处理效率。数据处理效率。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及存储介质


[0001]本专利技术实施例涉及计算机数据存储领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]“数字化转型”近来成为各行各业的热词，它对业务(流程、场景、关系、参与人)进行重新定义，涉及到计算、存储、传输、交互等IT技术。其中，存储作为数字化转型的IT基座，数字化转型对存储的需求巨大，国际数据公司预计到2025年全球数据总量将达175ZB，因此，高性能、高可靠、低单位容量价格的存储系统成为存储业界的追求。IT系统中的性能瓶颈大部分来自于存储，但目前SSD的单位价格是HDD单位价格的10倍以上，大部分业务系统的IO模型都满足局部性原理，从而使用小容量的SSD作为大容量HDD的缓存(cache)，成为一部分业务系统的低成本加速存储的解决方案，满足高性能和低单位容量价格的要求。
[0003]块缓存(block cache，Bcache)是业界使用比较普遍的HDD加速解决方案，但Bcache中空间管理bucket状态机目前存在如下设计缺陷：bucket状态机为层次状态机，在进入第二层状态机后，会改变所有bucket状态，此时要求bucket不可淘汰重复使用，此时可用的bucket可能很多也可能很少。在出现大量随机小IO写情况下，进入第二层状态机时，在元数据垃圾回收(GarbageCollection，GC)过程中出现缓存空间淘汰流程无法启动，在无缓存盘空间时hang住写IO，在业务上表现为业务性能归零的情况，归零时间较长导致业务IO长时间不返回，有引发业务中断的风险。如图1所示，为现有的使用3节点ceph存储测试128并发8K随机写780秒，业务端统计有长达30s以上的归零时间。

技术实现思路

[0004]鉴于此，为解决上述技术问题或部分技术问题，本专利技术实施例提供一种数据处理方法、装置、计算机设备及存储介质。
[0005]第一方面，本专利技术实施例提供一种数据处理方法，包括：
[0006]获取待存储的应用数据，以及将所述应用数据按照预设数据结构缓存在缓存盘对应的第一存储空间中；
[0007]实时检测所述缓存盘的全部第一存储空间的数据存储状态；
[0008]在所述数据存储状态为第一状态时，将第一状态对应的第一存储空间中存储的数据转存到主存盘对应的第二存储空间中；
[0009]在所述数据存储状态为第二状态时，控制垃圾回收程序对所述第二状态对应的第一存储空间中存储的数据进行清除。
[0010]在一个可能的实施方式中，所述方法还包括：
[0011]在所述垃圾回收程序对全部第一存储空间进行巡检时，控制全部第一存储空间的数据存储状态不变。
[0012]在一个可能的实施方式中，所述方法还包括：
[0013]基于第一存储空间中存储数据对应的数据结构，确定所述缓存盘的全部第一存储空间的数据存储状态。
[0014]在一个可能的实施方式中，所述方法还包括：
[0015]获取所述数据结构中标识的数据存储位置；
[0016]若当前第一存储空间中存储的数据未存在于所述主存盘中，则确定当前第一存储空间的数据存储状态为第一状态；
[0017]若当前第一存储空间中存储的数据存在于所述主存盘中，则确定当前第一存储空间的数据存储状态为第二状态。
[0018]在一个可能的实施方式中，所述方法还包括：
[0019]将数据清除后的第一存储空间释放，以用于重新缓存数据。
[0020]在一个可能的实施方式中，所述缓存盘为一个，所述主存盘为多个；
[0021]所述缓存盘与多个主存盘之间数据全映射。
[0022]第二方面，本专利技术实施例提供一种数据处理装置，包括：
[0023]获取模块，用于获取待存储的应用数据，以及将所述应用数据按照预设数据结构缓存在缓存盘对应的第一存储空间中；
[0024]检测模块，用于实时检测所述缓存盘的全部第一存储空间的数据存储状态；
[0025]存储模块，用于在所述数据存储状态为第一状态时，将第一状态对应的第一存储空间中存储的数据转存到主存盘对应的第二存储空间中；
[0026]垃圾回收模块，用于在所述数据存储状态为第二状态时，控制垃圾回收程序对所述第二状态对应的第一存储空间中存储的数据进行清除。
[0027]在一个可能的实施方式中，所述装置还包括：
[0028]控制模块，用于在所述垃圾回收程序对全部第一存储空间进行巡检时，控制全部第一存储空间的数据存储状态不变。
[0029]第三方面，本专利技术实施例提供一种计算机设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的数据处理程序，以实现上述第一方面中所述的数据处理方法。
[0030]第四方面，本专利技术实施例提供一种存储介质，包括：所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中所述的数据处理方法。
[0031]本专利技术实施例提供的数据处理方案，通过获取待存储的应用数据，以及将所述应用数据按照预设数据结构缓存在缓存盘对应的第一存储空间中；实时检测所述缓存盘的全部第一存储空间的数据存储状态；在所述数据存储状态为第一状态时，将第一状态对应的第一存储空间中存储的数据转存到主存盘对应的第二存储空间中；在所述数据存储状态为第二状态时，控制垃圾回收程序对所述第二状态对应的第一存储空间中存储的数据进行清除，相比于现有技术中元数据垃圾回收过程中出现缓存盘对数据存储不做处理，在业务上表现为业务性能归零的情况，由本方案，通过允许垃圾回收程序执行，但不允许垃圾回收过程中改变存储空间的数据存储状态，可以避免垃圾回收过程中出现缓存盘对数据存储不做处理引发业务中断以及时延较大的问题，提高数据处理效率。
附图说明
[0032]图1为现有技术的缓存盘数据存储的性能曲线图；
[0033]图2为本专利技术实施例提供的一种数据处理方法的流程示意图；
[0034]图3为本专利技术实施例提供的另一种数据处理方法的流程示意图；
[0035]图4为本专利技术实施例提供的一种缓存盘与多个主存盘的数据映射架构图；
[0036]图5为本专利技术实施例提供的一种数据结构图；
[0037]图6为本专利技术实施例提供的一种bucket空间管理结构图；
[0038]图7为现有技术的状态机示意图；
[0039]图8为本专利技术实施例提供的一种状态机示意图；
[0040]图9为现有技术和本专利技术实施例的缓存盘数据存储的性能对比曲线图；
[0041]图10为本专利技术实施例提供的一种数据处理装置的结构示意图；
[0042]图11为本专利技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0043]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待存储的应用数据，以及将所述应用数据按照预设数据结构缓存在缓存盘对应的第一存储空间中；实时检测所述缓存盘的全部第一存储空间的数据存储状态；在所述数据存储状态为第一状态时，将第一状态对应的第一存储空间中存储的数据转存到主存盘对应的第二存储空间中；在所述数据存储状态为第二状态时，控制垃圾回收程序对所述第二状态对应的第一存储空间中存储的数据进行清除。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述垃圾回收程序对全部第一存储空间进行巡检时，控制全部第一存储空间的数据存储状态不变。3.根据权利要求2所述的方法，其特征在于，所述实时检测所述缓存盘的全部第一存储空间的数据存储状态，包括：基于第一存储空间中存储数据对应的数据结构，确定所述缓存盘的全部第一存储空间的数据存储状态。4.根据权利要求3所述的方法，其特征在于，所述基于第一存储空间中存储数据对应的数据结构，确定所述缓存盘的全部第一存储空间的数据存储状态，包括：获取所述数据结构中标识的数据存储位置；若当前第一存储空间中存储的数据未存在于所述主存盘中，则确定当前第一存储空间的数据存储状态为第一状态；若当前第一存储空间中存储的数据存在于所述主存盘中，则确定当前第一存储空间的数据存储状态为第二状态。5.根据权利要求4所述的方法，其特征在于，所述在所述数据存储状态为第二状态时，控制垃圾回收程序...

【专利技术属性】
技术研发人员：代怀刚，姬莹莹，何福平，白亚文，刘啸滨，白杨，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：