一种面向异构计算的固态硬盘数据访问方法、电子设备、存储介质和程序产品技术

本发明专利技术提供一种面向异构计算的固态硬盘数据访问方法、电子设备、存储介质和程序产品，涉及计算机技术领域，所述方法包括：收到数据访问请求后，获得用户库中的固态硬盘参数；将数据访问请求生成多个I/O请求，将多个I/O请求放入CPU核对应的软件队列中；查看该CPU核对应的软件队列中I/O请求的拥堵情况，并确定固态硬盘中用于接收I/O请求的目标I/O提交队列，将I/O请求发送至目标I/O提交队列中；在固态硬盘处理完I/O请求后，接收固态硬盘返回的响应结果并返回至用户。本发明专利技术充分发挥固态硬盘多个I/O提交队列并发工作机制的优势，以提升异构加速设备或主机与固态硬盘的数据传输性能。

【技术实现步骤摘要】

本专利技术涉及计算机，尤其涉及一种面向异构计算的固态硬盘数据访问方法、电子设备、存储介质和程序产品。

技术介绍

1、异构计算加速可以充分利用不同类型处理器的优势，通过将任务分配给不同的处理器并行执行可以提高计算效率。随着高性能硬件加速器的出现，算法和框架的不断优化，使得系统的计算能力和计算速度迅速提高，其性能瓶颈逐渐转移至i/o。以人工智能与大模型等异构计算场景为例，数据加载和保存检查点涉及大量i/o操作，训练数据集规模的快速增长模型参数量的不断增加，进一步加重了i/o系统的任务，数据加载的效率将取代算力成为人工智能与大模型等系统性能的决定性因素。

2、现有技术中，为了提升固态硬盘数据访问性能，异构加速设备采用pcie peer topeer技术，绕过cpu和系统内存与固态硬盘直接通信。该方法不仅可以减少对系统内存资源，并且在大数据量传输的条件下可以有效提高数据传输性能。

3、但是现有技术存在缺陷：文件的读写请求往往由一个cpu核发起，一个cpu核只用一个固态硬盘的i/o队列来服务。当访问大文件的时候，即使在固态硬盘nvme ssd本文档来自技高网...

【技术保护点】

1.一种面向异构计算的固态硬盘数据访问方法，其特征在于，用于异构计算系统访问固态硬盘数据，所述方法包括：

2.根据权利要求1所述的面向异构计算的固态硬盘数据访问方法，其特征在于，所述异构计算系统包括软件队列管理单元；

3.根据权利要求2所述的面向异构计算的固态硬盘数据访问方法，其特征在于，根据所述硬盘参数和单次I/O请求的最大数据访问量，将所述数据访问请求拆成多个I/O请求，包括：

4.根据权利要求2所述的面向异构计算的固态硬盘数据访问方法，其特征在于，在接收到数据访问请求之前，所述方法还包括初始化的步骤，具体包括：

5.根据权利要求4所述...

【技术特征摘要】

1.一种面向异构计算的固态硬盘数据访问方法，其特征在于，用于异构计算系统访问固态硬盘数据，所述方法包括：

2.根据权利要求1所述的面向异构计算的固态硬盘数据访问方法，其特征在于，所述异构计算系统包括软件队列管理单元；

3.根据权利要求2所述的面向异构计算的固态硬盘数据访问方法，其特征在于，根据所述硬盘参数和单次i/o请求的最大数据访问量，将所述数据访问请求拆成多个i/o请求，包括：

4.根据权利要求2所述的面向异构计算的固态硬盘数据访问方法，其特征在于，在接收到数据访问请求之前，所述方法还包括初始化的步骤，具体包括：

5.根据权利要求4所述的面向异构计算的固态硬盘数据访问方法，其特征在于，建立m个所述软件队列与n个i/o提交队列的对应关系，包括：

6.根据权利要求4所述的面向异构计算的固态硬盘数据访问方法，其特征在于，所述异构计算系统包括i/o提交队列管理单元；

7.根据权利要求6所述的面向异构计算的固态硬盘数据访问方法，其特征在于，通过i/o提交队列管理单元将该软件队列对应的i/o提交队列确定为目标i/o提交队列，并从该软件队列中取出i/o请求，将所述i/o请求发送至目标i/o提交队列中，包括：

8.根据权利要求6所述的面向异构计算的固态硬盘数据访问方法，其特征在于，通过i/o提交队列管理单元将该软件队列对应的i/o提交队列以及所述固态硬盘中与其他软件队列...

【专利技术属性】
技术研发人员：谢志勇，李仁刚，张闯，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：