使用中间设备对数据处理的方法、计算机系统、及中间设备技术方案

本申请实施例提供一种计算机系统、数据处理方法和中间设备，所述系统包括计算节点、存储节点、校验节点和中间设备，所述计算节点通过中间设备访问存储节点和校验节点；计算节点上运行业务；中间设备用于基于预设的分片长度对写入所述业务对应的逻辑存储空间的待写数据进行切分得到多个数据，根据所述逻辑存储空间的元数据确定写入所述切分得到的数据的存储节点及写入所述待写数据的校验数据的校验节点，将切分得到的数据写入存储节点中与所述逻辑存储空间对应的物理存储空间中，并将所述校验数据写入校验节点与所述逻辑存储空间对应的物理存储空间中。本申请实施例提供的计算机系统有效减少了计算节点的负载，且减少了数据写入的时延。据写入的时延。据写入的时延。

【技术实现步骤摘要】
使用中间设备对数据处理的方法、计算机系统、及中间设备


[0001]本申请涉及计算机
，具体涉及一种使用中间设备对数据处理的方法、计算机系统、及中间设备。

技术介绍

[0002]在多节点的计算机系统中，通常包括多个计算节点和多个存储节点。为了实现由多个计算节点并发地对应用的存储空间进行访问，相关技术中通过存储节点对应用的存储空间进行管理，而通过存储节点对应用的存储空间进行管理时，在计算节点对存储节点中存储的应用的数据访问时，会增加计算节点的负载，并影响数据处理的时延。例如，计算节点在基于数据分片存储方式对多个存储节点进行多分片写入的场景中，当计算节点需要将应用的数据写入应用对应的存储空间时，计算节点首先请求多个存储节点中的主存储节点在应用对应的存储空间中为所述数据分配写入地址，在获取写入地址后根据该写入地址对所述数据进行切分，再向所述写入地址对应的至少一个存储节点分别发送写入数据的各个部分的写请求。这样，在写入数据时，计算节点首先需要向所述主存储节点申请分配写入地址，在分配了写入地址之后，然后再向各个存储节点发送写入数据的一部分的写请求，即本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机系统，其特征在于，包括计算节点、存储节点、校验节点和中间设备，所述计算节点通过所述中间设备访问所述存储节点和所述校验节点；所述计算节点上运行业务；所述中间设备用于基于预设的分片长度对写入所述业务对应的逻辑存储空间的待写数据进行切分得到多个数据，根据所述逻辑存储空间的元数据确定写入所述切分得到的数据的存储节点及写入所述待写数据的校验数据的校验节点，将所述切分得到的数据写入存储节点中与所述逻辑存储空间对应的物理存储空间中，并将所述校验数据写入校验节点与所述逻辑存储空间对应的物理存储空间中。2.根据权利要求1所述的系统，其特征在于，所述逻辑存储空间的元数据包括所述逻辑存储空间的标识，所述逻辑存储空间的地址信息，所述逻辑存储空间对应的N个存储节点中的N个第一物理存储空间的地址信息、以及所述逻辑存储空间对应的M个校验节点中的M个第二物理存储空间的地址信息，其中，所述第一物理存储空间的长度等于所述分片长度，所述逻辑存储空间的长度等于N个所述分片长度之和。3.根据权利要求1或2所述的系统，其特征在于，所述第二物理存储空间的长度等于所述分片长度，当写入所述逻辑存储空间的待写数据的量等于所述逻辑存储空间的长度时，所述切分得到的多个数据为N个数据分片,所述中间设备还用于计算所述N个数据分片的M个校验分片，所述中间设备用于将所述切分得到的数据写入存储节点中与所述逻辑存储空间对应的物理存储空间中，并将所述校验数据写入校验节点与所述逻辑存储空间对应的物理存储空间中包括，所述中间设备用于将所述N个数据分片分别写入所述N个存储节点中的所述第一物理存储空间中，将所述M个校验分片分别写入所述M个校验节点中的所述第二物理存储空间中。4.根据权利要求1或2所述的系统，其特征在于，所述第二物理存储空间的长度等于N个所述分片长度之和，当写入所述逻辑存储空间的待写数据的量小于所述逻辑存储空间的长度时，所述中间设备用于将所述切分得到的数据写入存储节点中与所述逻辑存储空间对应的物理存储空间中，并将所述校验数据写入校验节点与所述逻辑存储空间对应的物理存储空间中包括，所述中间设备用于将切分获取的多个数据分别写入对应的存储节点中的第一物理存储空间中，将所述待写数据写入每个校验节点中的第二物理存储空间中。5.一种数据处理方法，其特征在于，所述方法由中间设备执行，所述中间设备连接计算节点、N个存储节点和M个校验节点，所述计算节点上运行业务，所述方法包括：接收所述计算节点发送的对所述业务的数据的写请求；基于预设的分片长度对所述写请求的待写数据进行切分得到多个数据；根据所述业务对应的逻辑存储空间的元数据，确定所述N个存储节点中的分别写入所述多个数据的多个存储节点及写入所述待写数据的校验数据的M个校验节点；请求所述多个存储节点将所述多个数据分别写入其与所述逻辑存储空间对应的物理存储空间中；请求所述M个校验节点分别将所述待写数据的校验数据写入其与所述逻辑存储空间对应的物理存储空间中。6.根据权利要求5所述的方法，其特征在于，所述逻辑存储空间的元数据包括所述逻辑
存储空间的标识，所述逻辑存储空间的地址信息，所述逻辑存储空间对应的所述N个存储节点中的N个第一物理存储空间的地址信息、以及所述逻辑存储空间对应的所述M个校验节点中的M个第二物理存储空间的地址信息，其中，所述第一物理存储空间的长度等于所述分片长度，所述逻辑存储空间的长度等于N个所述分片长度之和。7.根据权利要求5或6所述的方法，其特征在于，还包括：从计算节点接收所述逻辑存储空间的信息；对所述N个存储节点分别发送第一物理存储空间分配请求，所述第一存储空间分配请求用于请求对所述逻辑存储空间中的一个分片长度的空间分配第一物理存储空间；对所述M个校验节点分别发送第二物理存储空间分配请求，所述第二存储空间分配请求用于请求对所述逻辑存储空间分配第二物...

【专利技术属性】
技术研发人员：蔡昕辰，林钦亮，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：