一种数据处理方法及系统技术方案

本申请公开了一种数据处理方法及系统，方法包括：绑定多节点计算系统中的多个NVDIMM，形成一个扩展的缓存块设备，将缓存块设备作为读写缓存与系统中的存储设备绑定，判断计算节点读写缓存是否命中，当计算节点读写缓存未命中且所述缓存NVDIMM内有空闲空间时，判断近端NVDIMM是否有空间，当近端NVDIMM有空间时，将缓存部署到近端NVDIMM。本申请能够实现CPU对NVDIMM访问延时的动态平衡。

A Data Processing Method and System

This application discloses a data processing method and system, which includes: binding multiple NVDIMMs in a multi-node computing system to form an extended buffer block device, binding the buffer block device as a read-write buffer to the storage device in the system, judging whether the read-write cache of the computing node is hit or not, when the read-write cache of the computing node is not hit and there is free space in the buffer NVDIMM. When there is space in the near-end NVDIMM, the cache is deployed to the near-end NVDIMM when there is space in the near-end NVDIMM. This application can achieve the dynamic balance of CPU access delay to NVDIMM.

【技术实现步骤摘要】
一种数据处理方法及系统
本申请涉及数据处理
，尤其涉及一种数据处理方法及系统。
技术介绍
目前，为了保证服务器存储子系统中数据的可靠性，同时又能获得比较理想的CPU(CentralProcessingUnit，中央处理器)的访存性能，可以考虑在服务器中使用NVDIMM(None-VolatileDIMM，非易失内存)。此类存储设备可以保证在系统突然断电或者异常的情况下，存储在其中的数据不会立即丢失。借助一定的软固件恢复机制，可以在系统重新上电后，将保存在非易失存储介质中的数据快速恢复，以实现关键数据持久化存储或压缩系统启动时间的目的。现代计算系统多处理器架构通常会采用物理上分离的计算节点和内存簇设计来更好的实现多任务计算，但是在跨节点访问内存簇时由于电气特性因素其访问速度会有所区别。NUMA(NonUniformMemoryAccessArchitecture，非统一内存访问架构)的特点是被共享的存储器是分布在系统各个节点上的，各节点CPU对分布式存储器的读写带宽并不一致。CPU对本节点存储器访问带宽较高，对远端(其它节点)存储器访问带宽相对较低。当基于NUMA的多节点计算系统为了保证数据的可靠性与可恢复性而采用了NVDIMM作为存储器件时，由于非易失内存与易失性内存在使用方法上有一定的区别，因此如何实现CPU对NVDIMM访问延时的动态平衡是一项亟待解决的问题。
技术实现思路
有鉴于此，本申请提供一种数据处理方法，能够实现CPU对NVDIMM访问延时的动态平衡。本申请提供了一种数据处理方法，包括：绑定多节点计算系统中的多个NVDIMM，形成一个扩展的缓存块设备；将所述缓存块设备作为读写缓存与系统中的存储设备绑定；判断计算节点读写缓存是否命中；当计算节点读写缓存未命中且所述缓存NVDIMM内有空闲空间时，判断近端NVDIMM是否有空间；当近端NVDIMM有空间时，将缓存部署到近端NVDIMM。优选地，所述方法还包括：当近端NVDIMM无空间时，将缓存部署到远端NVDIMM。优选地，所述方法还包括：当计算节点读写缓存未命中且所述缓存NVDIMM内无空闲空间时，配置成替换本地缓存或全局替换缓存；判断是否为全局替换缓存，若是，则在全节点NVDIMM上替换缓存，若否，则：在本节点NVDIMM上替换缓存。优选地，所述方法还包括：当计算节点读写缓存命中时，更新缓存元数据；判断命中缓存是否位于本地NVDIMM，若是，则更新元数据减少远程命中计数器数值，若否，则：更新元数据增加远程命中计数器数值；判断远程命中计数器中的计数是否达到预设阈值，若是，则交换远程中的缓存至本地。优选地，所述绑定多节点计算系统中的多个NVDIMM，形成一个扩展的缓存块设备前还包括：在系统中的存储设备上部署业务和数据。一种数据处理系统，包括：存储器，用于存储应用程序与应用程序运行所产生的数据；处理器，用于运行所述应用程序以绑定多节点计算系统中的多个NVDIMM，形成一个扩展的缓存块设备，将所述缓存块设备作为读写缓存与系统中的存储设备绑定，判断计算节点读写缓存是否命中，当计算节点读写缓存未命中且所述缓存NVDIMM内有空闲空间时，判断近端NVDIMM是否有空间，当近端NVDIMM有空间时，将缓存部署到近端NVDIMM。优选地，所述处理器还用于：运行所述应用程序以当近端NVDIMM无空间时，将缓存部署到远端NVDIMM。优选地，所述处理器还用于：运行所述应用程序以当计算节点读写缓存未命中且所述缓存NVDIMM内无空闲空间时，配置成替换本地缓存或全局替换缓存，判断是否为全局替换缓存，若是，则在全节点NVDIMM上替换缓存，若否，则：在本节点NVDIMM上替换缓存。优选地，所述处理器还用于：运行所述应用程序以当计算节点读写缓存命中时，更新缓存元数据，判断命中缓存是否位于本地NVDIMM，若是，则更新元数据减少远程命中计数器数值，若否，则：更新元数据增加远程命中计数器数值，判断远程命中计数器中的计数是否达到预设阈值，若是，则交换远程中的缓存至本地。优选地，所述处理器还用于：在绑定多节点计算系统中的多个NVDIMM，形成一个扩展的缓存块设备前，在系统中的存储设备上部署业务和数据。从上述技术方案可以看出，本申请公开的一种数据处理方法，首先通过绑定多节点计算系统中的多个NVDIMM，形成一个扩展的缓存块设备，然后将缓存块设备作为读写缓存与系统中的存储设备绑定，并判断计算节点读写缓存是否命中，当计算节点读写缓存未命中且缓存NVDIMM内有空闲空间时，判断近端NVDIMM是否有空间，当近端NVDIMM有空间时，将缓存部署到近端NVDIMM，实现了CPU对NVDIMM访问延时的动态平衡。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请公开的一种数据处理方法实施例1的方法流程图；图2为本申请公开的一种数据处理方法实施例2的方法流程图；图3为本申请公开的一种数据处理方法实施例3的方法流程图；图4为本申请公开的一种数据处理方法实施例4的方法流程图；图5为本申请公开的一种数据处理系统实施例1的结构示意图；图6为本申请公开的一种数据处理系统实施例2的结构示意图；图7为本申请公开的一种数据处理系统实施例3的结构示意图；图8为本申请公开的一种数据处理系统实施例4的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。如图1所示，为本申请公开的一种数据处理方法实施例1的方法流程图，所述方法可以包括以下步骤：S101、绑定多节点计算系统中的多个NVDIMM，形成一个扩展的缓存块设备；当需要实现CPU对NVDIMM访问延时的动态平衡时，首先将多节点计算系统中的多个NVDIMM做扩展模式绑定，使其扩展成一个统一的块设备。其中，在绑定时，由于Linux内核包含devicemapper架构，通过该架构可以实现线性映射，已达到把两个独立的物理块设备映射成一个连续的逻辑块设备。S102、将缓存块设备作为读写缓存与系统中的存储设备绑定；当形成一个扩展的缓存块设备后，将新构造的块设备作为读写缓存与系统中的存储设备绑定。例如，将块设备作为读写缓存与NVMe或HDD结合。S103、判断计算节点读写缓存是否命中；然后，判断计算节点读写缓存是否命中，在判断时是通过读取cache中相应缓存数据的元数据来完成，元数据中记录了cache中缓存数据对应于源设备上的块号，通过该块号是否存在于元数据中就可以判断命中与否。S104、当计算节点读写缓存未命中且缓存NVDIMM内有空闲空间时，判断近端NVDIMM是否有空间；当计算节点读写缓存未命中且缓存NVDIMM内有空闲空间时，进一步判断近端NVDIMM是否有空间。S105、当近端NVDIMM有空间时，将缓本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：绑定多节点计算系统中的多个NVDIMM，形成一个扩展的缓存块设备；将所述缓存块设备作为读写缓存与系统中的存储设备绑定；判断计算节点读写缓存是否命中；当计算节点读写缓存未命中且所述缓存NVDIMM内有空闲空间时，判断近端NVDIMM是否有空间；当近端NVDIMM有空间时，将缓存部署到近端NVDIMM。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：绑定多节点计算系统中的多个NVDIMM，形成一个扩展的缓存块设备；将所述缓存块设备作为读写缓存与系统中的存储设备绑定；判断计算节点读写缓存是否命中；当计算节点读写缓存未命中且所述缓存NVDIMM内有空闲空间时，判断近端NVDIMM是否有空间；当近端NVDIMM有空间时，将缓存部署到近端NVDIMM。2.根据权利要求1所述的方法，其特征在于，还包括：当近端NVDIMM无空间时，将缓存部署到远端NVDIMM。3.根据权利要求1所述的方法，其特征在于，还包括：当计算节点读写缓存未命中且所述缓存NVDIMM内无空闲空间时，配置成替换本地缓存或全局替换缓存；判断是否为全局替换缓存，若是，则在全节点NVDIMM上替换缓存，若否，则：在本节点NVDIMM上替换缓存。4.根据权利要求1所述的方法，其特征在于，还包括：当计算节点读写缓存命中时，更新缓存元数据；判断命中缓存是否位于本地NVDIMM，若是，则更新元数据减少远程命中计数器数值，若否，则：更新元数据增加远程命中计数器数值；判断远程命中计数器中的计数是否达到预设阈值，若是，则交换远程中的缓存至本地。5.根据权利要求1所述的方法，其特征在于，所述绑定多节点计算系统中的多个NVDIMM，形成一个扩展的缓存块设备前还包括：在系统中的存储设备上部署业务和数据。6.一种数据处理系统，其特征在于，包括：存储器，用于存储应用程序与应用程序运行所产生的数...

【专利技术属性】
技术研发人员：叶怀胜，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京,11