一种智能存储设备及其数据处理方法技术

本发明专利技术提供了一种智能存储设备及其数据处理方法，所述智能存储设备包括访问接口模块、与所述访问接口模块连接的若干数据处理单元；还包括存储单元阵列以及数据互连网络，所述数据互连网络提供数据处理单元之间以及数据处理单元与存储单元之间的数据互连。本发明专利技术在存储设备中增加数据处理单元，将部分数据处理负载从计算设备转移到存储设备进行，从而减少计算设备的内存访问存储设备的带宽需求；进一步的，本发明专利技术的存储设备对于不同的数据处理需求具有可扩展的数据处理的能力，以适应集群计算系统的功能。

【技术实现步骤摘要】

本专利技术涉及计算系统的存储设备，特别涉及一种应用于集群计算系统的智能存储设备及其数据处理方法。
技术介绍
宇宙物理、石油勘探、气候分析等传统高性能计算领域，以及物联网、面向对象数据库、网页索引、在线网络服务等网络计算领域，越来越多地呈现出数据密集型的集群计算的特点，数据规模呈指数性的增长，对接口带宽和处理延迟的压力越来越大。图I是传统的计算系统的架构示意图，如图I所示，由于计算主机(包括处理器、 前端总线、南北桥芯片以及内存等常规部件)与存储设备(包括接口模块以及存储单元)是相互分离的，且存储设备只用于数据存储，在进行数据处理时，首先需要将数据从外部存储设备读取到主机的内存中，再由处理器对内存中的数据进行处理，最后再将处理完的数据写回外部存储器中去。存储设备只负责数据的接收、存储以及发送，不对数据进行任何的处理，所有的数据处理均有计算设备的处理器完成。由于所有需要访问的数据都必须先搬移到内存中，因此在集群计算系统的数据密集型应用中，数据量巨大，主机与存储设备的访问接口将面临较大的带宽压力，成为制约整个集群计算系统性能的瓶颈。目前另一种典型的存储设备，如移动磁盘、安全U盘、存储卡等，将部分计算部件和永久性存储部件耦合在一起，为主机设备提供透明的文件访问，同时将某些数据处理过程从主机转移到存储设备中去，例如文件的加解密、密钥计算以及解压缩等。但是上述存储设备只能支持固定的数据处理功能，并且用户无法为不同的源文件指定相应的处理方式，只支持从主机文件到该类型存储设备的文件写或者是从存储设备中读取文件到主机。
技术实现思路
本专利技术解决的问题是提供一种应用于集群计算系统的智能存储设备，具有较高性能以及可扩展的数据处理能力。为解决上述问题，本专利技术提供了一种智能存储设备，包括访问接口模块、与所述访问接口模块连接的若干数据处理单元；还包括存储单元阵列以及数据互连网络，所述数据互连网络提供数据处理单元之间以及数据处理单元与存储单元之间的数据互连。可选的，所述访问接口模块包括IDE、PCI/PCI-E、SCSI、USB、SATA接口。所述数据处理单元包括嵌入式微处理器以及相集成的扩展计算模块；所述扩展计算模块辅助嵌入式微处理器进行数据处理，且具有可编程接口，通过所述可编程接口扩展数据处理单元所支持的数据处理操作类型。可选的，所述扩展计算模块包括ASIC、FPGA/CPLD计算模块。所述数据处理操作类型包括数据压缩/解压缩、建立索引、滤波、筛选、坐标变换、加解密以及将处理后数据打包成文件。可选的，所述存储单元包括NAND Flash、NOR Flash、相变存储器。可选的，所述数据互连网络包括数据处理互连网络以及存储网络；所述数据处理互连网络提供数据处理单元之间的数据互连，所述存储网络提供数据处理单元与存储单元之间的数据互连。基于上述智能存储设备，本专利技术还提供了一种数据处理方法，包括外部主机通过访问接口模块管理数据处理单元，指定数据处理模式以及数据处理操作类型，再经由数据处理单元在所述存储单元阵列中进行数据的存储或读取操作；所述数据处理模式包括透明文件访问模式以及扩展智能存储模式；当指定透明文件访问模式时，所述数据处理单元转发外部主机与存储单元阵列之间的数据流；当指定扩展智能存储模式时，所述数据处理单元对外部主机与存储单元阵列之间的数据流进行扩展处理。扩展智能存储模式下的数据存储步骤包括访问接口模块接收来自于外部主机的待存储的源文件数据以及数据存储请求，并将其转发给数据处理单元；所述数据存储请求包括指定的数据存储路径以及数据处理操作类型信息；所述数据处理单元根据数据存储请求对所述源文件进行相应的数据处理操作形成目标文件，并将目标文件通过数据互连网络存储至指定路径的存储单元。 扩展智能存储模式下的数据读取步骤包括访问接口模块接收来自于外部主机的数据读取请求，并将其转发给数据处理单元；所述数据读取请求包括指定的数据读取路径以及数据处理操作类型信息；所述数据处理单元根据数据读取请求，通过数据互连网络从指定路径的存储单元中获取源文件，并对所述源文件进行相应的数据处理操作形成目标文件，并将所述目标文件通过访问接口模块传输给外部主机。可选的，所述各数据处理单元根据数据处理操作类型，并行执行数据处理操作，同时通过数据互连网络相互通信，进行集群式数据处理。与现有技术相比，本专利技术具有以下优点在存储设备中增加数据处理单元，将部分数据处理负载从计算设备转移到存储设备进行，从而减少计算设备的内存访问存储设备的带宽需求；进一步的，本专利技术的存储设备对于不同的数据处理需求具有可扩展的数据处理的能力，以适应集群计算系统的功能。附图说明图I是现有计算系统的架构示意图；图2是本专利技术所述智能存储设备的结构示意图；图3是应用本专利技术智能存储设备的计算系统的功能架构图；图4是用于支持本专利技术智能存储设备的主机软件架构图；图5是本专利技术智能存储设备所述透明文件访问模式的功能示意图；图6是本专利技术智能存储设备所述扩展智能存储模式的功能示意图；图7是在扩展智能存储模式下计算系统的数据存储以及读取流程图。具体实施例方式现有的计算系统中，存储设备仅提供数据的存储功能，计算主机在进行数据处理时，需要将数据从外部存储设备读取到计算设备的内存中，再由处理器对内存中的数据进行处理，最后再将处理完的数据写回外部存储器中去。面对集群计算系统的数据密集型应用中，主机与存储设备的访问接口将面临较大的带宽压力，从而成为制约集群计算系统性能的瓶颈。本专利技术提供一种智能存储设备，在存储设备中增加数据处理单元，将部分数据处理负载从计算设备转移到存储设备进行，从而减少计算设备的内存访问存储设备的带宽需求。图2是本专利技术所述智能存储设备的结构示意图，具体包括访问接口模块、与所述访问接口模块连接的若干数据处理单元；还包括存储单元阵列以及数据互连网络，所述数据互连网络用于提供数据处理单元之间以及数据处理单元与存储单元之间的数据互连。其中，所述访问接口模块可以采用标准的文件传输接口，例如IDE、PCI/PCI-E、SCSI、USB、SATA接口等，以便于在上述接口驱动程序的基础上进行编程，实现软件功能的扩展，使得现有的计算主机与本专利技术智能存储设备相兼容，而无需在主机端上作硬件的改动。 所述数据处理单元包括嵌入式微处理器以及扩展计算模块，所述扩展计算模块与嵌入式微处理器相集成，辅助嵌入式微处理器进行数据处理。其中，嵌入式微处理器能够提供较强的整数计算能力，所述扩展计算模块具有可编程接口，通过所述可编程接口能够扩展数据处理单元所支持的数据处理操作类型，使得数据处理单元能够适应不同的数据处理应用。可选的，所述扩展计算模块包括ASIC、FPGA/CPLD等计算模块。在集群计算系统中，常见的数据处理操作包括数据压缩/解压缩、建立索引、滤波、筛选、坐标变换、加解密以及将处理后数据打包成文件等。当数据处理单元具备了可扩展的数据处理能力，本专利技术的智能存储设备便能够根据集群计算系统的计算应用领域，而优化其专项的计算性能，将主机的部分计算负载转移至智能存储设备上。进一步的，在单个智能存储设备中，包括多个数据处理单元，各数据处理单元可以根据数据处理操作类型，并行执行各种数据处理操作，同时通过智能存储设备内置的数据互连网络进行数据处理本文档来自技高网...

【技术保护点】
一种智能存储设备，其特征在于，包括访问接口模块、与所述访问接口模块连接的若干数据处理单元；还包括存储单元阵列以及数据互连网络，所述数据互连网络提供数据处理单元之间以及数据处理单元与存储单元之间的数据互连。

【技术特征摘要】

【专利技术属性】
技术研发人员：方兴，谢向辉，吴东，原昊，张昆，
申请(专利权)人：无锡江南计算技术研究所，
类型：发明
国别省市：