基于NVME-oF可模块化的智能计算存储系统及方法技术方案

本发明专利技术公开一种基于NVMe

【技术实现步骤摘要】
基于NVMe-oF可模块化的智能计算存储系统及方法


[0001]本专利技术涉及存储
，具体涉及一种基于NVMe-oF可模块化的智能计算存储系统及方法。

技术介绍

[0002]随着5G技术，人工智能及物联网技术的不断发展，应用场环境中需要使用大量数据的场景越来越多。对于企业而言，如何采集与利用海量数据成为构建竞争优势的新维度。然而大量收集的原始数据往往是不能被直接使用的，在很多情况下，这些数据都被存储在冷存储介质中，很难发现其有效信息，因此数据的价值无法体现。
[0003]目前，为了实现数据价值，采用的方法是通过人工智能技术，把需要处理的数据读取到系统内存中，使用系统自带的通用硬件设备如CPU/GPU对数据进行处理，提取有效信息。但是上述方法需要进行数据迁移，即为将数据从存储介质中读取到内存，造成计算资源的浪费，降低了人工智能系统的效率。

技术实现思路

[0004]本专利技术提供一种基于NVMe-oF可模块化的智能计算存储系统及方法，用以在数据的存储入口处对数据进行分析处理，减少不必要的读写操作及网络传输，以提高系统的数据处理效率。
[0005]为实现上述目的，本专利技术的技术方案如下：一种基于NVMe-oF可模块化的智能计算存储系统，包括：计算存储器，存储介质，计算存储控制器，及通信组件；其中，
[0006]所述计算存储器，用于对待处理数据进行数据处理；
[0007]所述存储介质，用于进行数据存储；
[0008]所述通信组件，用于所述计算存储器、存储介质及所述计算存储控制器间的通信，且基于NVMe-oF协议与外部设备通信；
[0009]所述计算存储控制器，用于获取待处理数据的行为空间；其中所述行为空间用于标示出待处理数据的数据处理流程；
[0010]当所述待处理数据的行为空间合法时，根据所述待处理数据的行为空间确定出所述待处理数据的数据处理步骤，及每个所述数据处理步骤对应的命名空间；所述命名空间用于标示出计算存储器或存储介质；一个命名空间对应一个计算存储器或存储介质，每个命名空间均有对应的一个计算存储器或存储介质；
[0011]按照所述待处理数据的数据处理步骤，利用命名空间对应的计算存储器或存储介质，对所述待处理数据进行数据处理或数据存储。
[0012]可选地，所述计算存储控制器，具体用于当所述待处理数据的数据处理步骤包含非存储步骤时，所述非存储步骤的命名空间对应计算存储器；
[0013]所述按照所述待处理数据的数据处理步骤，利用空间对应的计算存储器或存储介质，对所述待处理数据进行数据处理或数据存储包括：
[0014]当执行到所述非存储步骤时，利用命名空间对应的计算存储器对所述待处理数据进行数据处理，并将数据处理结果作为新的待处理数据，发送至下一步的数据处理步骤的命名空间对应的计算存储器或存储介质。
[0015]可选地，所述计算存储控制器，具体用于当所述待处理数据的数据处理步骤包含存储步骤时，所述存储步骤的命名空间对应存储介质；
[0016]所述按照所述待处理数据的数据处理步骤，利用命名空间对应的计算存储器或存储介质，对所述待处理数据进行数据处理或数据存储包括：
[0017]当执行到存储步骤时，利用命名空间对应的存储介质将所述待处理数据进行数据存储。
[0018]可选地，所述通信组件包括：网卡及PCIe交换设备；
[0019]所述网卡，用于基于NVMe-oF协议与外部设备通信；
[0020]所述PCIe交换设备，用于所述计算存储器、存储介质及所述计算存储控制器间的通信。
[0021]可选地，所述网卡内设置有远程直接数据读取RDMA；
[0022]所述计算存储控制器，具体用于将所述数据结果作为新的待处理数据，并通过所述RDMA发送至下一步的数据处理步骤的命名空间对应的计算存储器或存储介质中。
[0023]可选地，所述计算存储器为符合NVMe标准的器件；且所述存储介质为符合NVMe标准的存储器件。
[0024]可选地，所述计算存储器为可插拔器件，且其尺寸为符合EDSFF或U.2规格的尺寸。
[0025]可选地，所述存储介质包括符合NVMe标准的固态硬盘SSD。
[0026]进一步地，本专利技术实施例还提供了一种数据处理的方法，应用于基于NVMe-oF可模块化的智能计算存储系统，所述智能计算存储系统包括：计算存储器，存储介质，计算存储控制器，及通信组件；所述方法包括：
[0027]获取待处理数据的行为空间；其中所述行为空间用于标示出待处理数据的数据处理流程；
[0028]当所述待处理数据的行为空间合法时，根据所述待处理数据的行为空间确定出所述待处理数据的数据处理步骤，及每个所述数据处理步骤对应的命名空间；所述命名空间用于标示计算存储器或存储介质；一个命名空间对应一个计算存储器或存储介质，每个命名空间均有对应的一个计算存储器或存储介质；
[0029]按照所述待处理数据的数据处理步骤，利用命名空间对应的计算存储器或存储介质，对所述待处理数据进行数据处理或数据存储。
[0030]可选地，当所述待处理数据的数据处理步骤包含非存储步骤时，所述非存储步骤的命名空间对应计算存储器；
[0031]所述按照所述待处理数据的数据处理步骤，利用命名空间对应的计算存储器或存储介质，对所述待处理数据进行数据处理或数据存储包括：
[0032]当执行到所述非存储步骤时，利用命名空间对应的计算存储器对所述待处理数据进行数据处理，并将数据处理结果作为新的待处理数据，发送至下一步的数据处理步骤的命名空间对应的计算存储器或存储介质。
[0033]可选地，当所述待处理数据的数据处理步骤包含存储步骤时，所述存储步骤的命
名空间对应存储介质；
[0034]所述按照所述待处理数据的数据处理步骤，利用命名空间对应的计算存储器或存储介质，对所述待处理数据进行数据处理或数据存储包括：
[0035]当执行到存储步骤时，利用命名空间对应的存储介质将所述待处理数据进行数据存储。
[0036]可选地，在所述通信组件包括：网卡，且所述网卡内设置有远程直接数据读取RDMA时，所述将数据处理结果作为新的待处理数据，发送至下一步的数据处理步骤的命名空间对应的计算存储器或存储介质包括：
[0037]将所述数据结果作为新的待处理数据，并通过所述RDMA发送至下一步的数据处理步骤的命名空间对应的计算存储器或存储介质中。
[0038]通过上述技术方案，本申请公开了一种基于NVMe-oF可模块化的智能计算存储系统及方法，所述智能计算存储系统包括：计算存储器，存储介质，计算存储控制器，及通信组件；其中，所述计算存储器，用于对待处理数据进行数据处理；所述存储介质，用于进行数据存储；所述通信组件，用于所述计算存储器、存储介质及所述计算存储控制器间的通信，且基于NVMe-oF协议与外部设备通信；所述计算存储控制器，用于获取待处理数据的行为空间；其中所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于NVMe-oF可模块化的智能计算存储系统，其特征在于，包括：计算存储器，存储介质，计算存储控制器，及通信组件；其中，所述计算存储器，用于对待处理数据进行数据处理；所述存储介质，用于进行数据存储；所述通信组件，用于所述计算存储器、存储介质及所述计算存储控制器间的通信，且基于NVMe-oF协议与外部设备通信；所述计算存储控制器，用于获取待处理数据的行为空间；其中所述行为空间用于标示出待处理数据的数据处理流程；当所述待处理数据的行为空间合法时，根据所述待处理数据的行为空间确定出所述待处理数据的数据处理步骤，及每个所述数据处理步骤对应的命名空间；所述命名空间用于标示出计算存储器或存储介质；一个命名空间对应一个计算存储器或存储介质，每个命名空间均有对应的一个计算存储器或存储介质；按照所述待处理数据的数据处理步骤，利用命名空间对应的计算存储器或存储介质，对所述待处理数据进行数据处理或数据存储。2.根据权利要求1所述的智能计算存储系统，其特征在于，所述计算存储控制器，具体用于当所述待处理数据的数据处理步骤包含非存储步骤时，所述非存储步骤的命名空间对应计算存储器；所述按照所述待处理数据的数据处理步骤，利用空间对应的计算存储器或存储介质，对所述待处理数据进行数据处理或数据存储包括：当执行到所述非存储步骤时，利用命名空间对应的计算存储器对所述待处理数据进行数据处理，并将数据处理结果作为新的待处理数据，发送至下一步的数据处理步骤的命名空间对应的计算存储器或存储介质。3.根据权利要求1所述的智能计算存储系统，其特征在于，所述计算存储控制器，具体用于当所述待处理数据的数据处理步骤包含存储步骤时，所述存储步骤的命名空间对应存储介质；所述按照所述待处理数据的数据处理步骤，利用命名空间对应的计算存储器或存储介质，对所述待处理数据进行数据处理或数据存储包括：当执行到存储步骤时，利用命名空间对应的存储介质将所述待处理数据进行数据存储。4.根据权利要求2所述的智能计算存储系统，其特征在于，所述通信组件包括：网卡及PCIe交换设备；所述网卡，用于基于NVMe-oF协议与外部设备通信；所述PCIe交换设备，用于所述计算存储器、存储介质及所述计算存储控制器间的通信。5.根据权利要求4所述的智能计算存储系统，其特征在于，所述网卡内设置有远程直接数据读取RDMA；所述计算存储控制器，具体用于将所述数据结果作为新的待处理数据，并通过所述RDMA发送至下一步的数据处理步骤的命名空间对应的计算存储器或存储介质中。6.根据权利要求1-5任...

【专利技术属性】
技术研发人员：朱承高，徐林，
申请(专利权)人：济南华芯算古信息科技有限公司，
类型：发明
国别省市：