数据处理装置、方法和计算机设备制造方法及图纸

本申请涉及一种数据处理装置、方法、计算机设备、存储介质和计算机程序产品。所述数据处理装置包括：数据划分模块，将待处理数据划分为多个数据块；多个计算存储节点，从数据划分模块获取至少一个数据块，并存储；多个纠删码校验节点，从各计算存储节点获取待处理数据，并基于待处理数据生成校验码数据并存储，后端驻守进程模块用于判断是否存在异常的计算存储节点；当检测到存在异常的计算存储节点时，获取正常的计算存储节点中存储的待处理数据，基于待处理数据及校验码数据生成恢复数据并存储于正常的计算存储节点。通过该种设置，保障了计算存储节点中数据的有效性，降低了处理器响应异常概率，能够节约消耗的网络带宽，增加网络的利用率。

【技术实现步骤摘要】

本申请涉及计算机存储，特别是涉及一种数据处理装置、方法、计算机设备、存储介质和计算机程序产品。

技术介绍

1、随着计算机技术的快速发展，分布式存储系统的应用已越来越广泛。但分布式存储系统中的硬件存储设备容易发生故障，如主机故障、硬盘故障等等。一旦发生故障，其中存储的数据必然受到影响，这就需要分布式存储系统具有容错机制。

2、目前常用的一种容错方法是通过纠删码方式存储数据，然而，若通过纠删码方式存储数据，一般只有在接收到计算请求时才会进行数据故障检测，且在检测到数据故障并进行数据修复的过程需要跨越多个不同的主机，这将使得存储系统的请求响应时长产生部分延迟。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够加快分布式存储系统响应速度的数据处理装置、方法、计算机设备、存储介质和计算机程序产品。

2、第一方面，本申请提供了一种数据处理装置，包括：

3、数据划分模块，用于将待处理数据划分为多个数据块；

4、多个计算存储节点，用于从所述数据划分模块获取至少一个本文档来自技高网...

【技术保护点】

1.一种数据处理装置，其特征在于，包括：

2.根据权利要求1所述的数据处理装置，其特征在于，所述数据处理装置还包括：

3.根据权利要求2所述的数据处理装置，其特征在于，所述客户端还用于向存储有所述恢复数据的计算存储节点发送恢复数据计算指令；以使存储有所述恢复数据的计算存储节点基于恢复数据计算指令对所述恢复数据进行计算处理，在得到恢复数据计算结果后将所述恢复数据计算结果回传至所述客户端。

4.根据权利要求1所述的数据处理装置，其特征在于，所述计算存储节点还包括加速卡，所述后端驻守进程模块设置于所述加速卡内。

5.根据权利要求1-4中任一项所述...

【技术特征摘要】

1.一种数据处理装置，其特征在于，包括：

2.根据权利要求1所述的数据处理装置，其特征在于，所述数据处理装置还包括：

3.根据权利要求2所述的数据处理装置，其特征在于，所述客户端还用于向存储有所述恢复数据的计算存储节点发送恢复数据计算指令；以使存储有所述恢复数据的计算存储节点基于恢复数据计算指令对所述恢复数据进行计算处理，在得到恢复数据计算结果后将所述恢复数据计算结果回传至所述客户端。

4.根据权利要求1所述的数据处理装置，其特征在于，所述计算存储节点还包括加速卡，所述后端驻守进程模块设置于所述加速卡内。

5.根据权利要求1-4中任一项所述的数据处理装置，其特征在于，各所述计算存储节点还包括：计算存储模块及驱动器，所述驱动器与位于同一所述计算存储节点内的所述计算存储模块相连接；所述后端驻守进程模块的数量为一个，所述后端驻守进程模块位于所述计算存储节点内或位于所述纠删码校验节点内，并与各所述计算存储节点中的所述驱动器均相连接。

6.根据权利要求1-4中任一项所述的数据处理装置，其特征在于，各所述计算存储节点还包括：计算存储模块及驱动器；各所述计算存储节点内均设有所述后端驻守进程模块，所述后端驻守进程模块与位于同一所述计算存储节点内的所述计...

【专利技术属性】
技术研发人员：戴瑾，张凯，张云森，
申请(专利权)人：北京超弦存储器研究院，
类型：发明
国别省市：