基于计算存储设备的数据处理方法、设备及存储介质技术

本申请提供一种基于计算存储设备的数据处理方法、设备及计算机可读存储介质，所述方法基于待存储数据中各数据的使用参数，将所述待存储数据进行分类；将分类后的所述待存储数据分别存储至SSD板载主存模块和/或NAND闪存模块。本发明专利技术基于使用参数进行数据分类，并将分类后的数据按照使用需求，分别存储至存取速率快但存储空间较小的SSD板载主存模块和/或存取速率较慢但存储空间较大的NAND闪存模块。实现在存储控制器中部署神经网络运算任务时，可降低大量数据读取带来的功耗和时间损失。由此，可跨过SSD板载主存模块等存储设备本身固有的ECC对于计算数据无效或收益低的处理步骤，提高了数据存取效率，降低了数据存取花销。

【技术实现步骤摘要】

本专利技术涉及数据处理，尤其涉及一种基于计算存储设备的数据处理方法、设备及计算机可读存储介质。

技术介绍

1、随着电子信息技术的发展以及人工智能应用的普及，对于数据高效处理和存取手段的要求也不断提高。在解决“数据墙”问题(即大量数据的搬运产生了难以忽视的能量损耗以及数据的多次存储及读取的耗时，大大降低整个系统的数据处理效率的问题)的解决方案中，有一种名为csd(computational storage device，计算存储设备)的解决方案。该方案的核心思路是：作为目前各个数据中心或计算中心采用的主要大型数据存储设备ssd(固态驱动器，solid state driver)，其内部有着类似soc的结构和较为丰富的计算及存储资源。可将卸载主机应用到ssd内部，也就是在存储控制器内部完成计算，可减少数据搬运损耗。csd的解决方案，可从本质上避免了大量数据的搬运，由此有效地解决“数据墙”问题。

2、在csd上可以搭载的应用种类众多，其中机器学习相关应用，如推荐系统、神经网络训练、图像识别处理等方面的应用，在csd上实现时，可以通过使用软硬件配合和避本文档来自技高网...

【技术保护点】

1.一种基于计算存储设备的数据处理方法，其特征在于，所述数据处理方法包括：

2.如权利要求1所述的数据处理方法，其特征在于，所述基于待存储数据中各数据的使用参数，将所述待存储数据进行分类，包括：

3.如权利要求2所述的数据处理方法，其特征在于，所述将分类后的所述待存储数据分别存储至SSD板载主存模块和/或NAND闪存模块，包括：

4.如权利要求1所述的数据处理方法，其特征在于，所述基于待存储数据中各数据的使用参数，将所述待存储数据进行分类，包括：

5.如权利要求4所述的数据处理方法，其特征在于，所述将分类后的所述待存储数据分别存储至SSD板...

【技术特征摘要】

1.一种基于计算存储设备的数据处理方法，其特征在于，所述数据处理方法包括：

2.如权利要求1所述的数据处理方法，其特征在于，所述基于待存储数据中各数据的使用参数，将所述待存储数据进行分类，包括：

3.如权利要求2所述的数据处理方法，其特征在于，所述将分类后的所述待存储数据分别存储至ssd板载主存模块和/或nand闪存模块，包括：

4.如权利要求1所述的数据处理方法，其特征在于，所述基于待存储数据中各数据的使用参数，将所述待存储数据进行分类，包括：

5.如权利要求4所述的数据处理方法，其特征在于，所述将分类后的所述待存储数据分别存储至ssd板载主存模块和/或nand闪存模块，包括：

6.如权利要求5所述的数据处理方法，其特征在于，所述将所述模型参数存储至所述ssd板载主存模块，包括：

7.如权利要求...

【专利技术属性】
技术研发人员：田海东，薛晓勇，王飞，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：