一种基于IDM的数据传输方法及系统技术方案

本发明专利技术提供一种基于IDM的数据传输方法及系统，所述方法应用于IDM驱动的数据传输系统，所述数据传输系统包括User、Kernel、NIC、SSD；所述User为用户层数据；所述Kernel为Linux内核；所述NIC为网卡，网卡含有DDR；所述SSD为固态存储器，固态存储器包含DDR和flash；所述方法包括：IDM传输元数据；IDM直接传输网卡数据；IDM传输用户态libaio数据。本发明专利技术采用IDM驱动技术减少数据传输过程中的拷贝次数，提高了数据传输效率。据传输效率。据传输效率。

【技术实现步骤摘要】
一种基于IDM的数据传输方法及系统


[0001]本专利技术涉及一种数据存储技术、数据传输
，尤其涉及一种基于IDM的数据传输方法及系统。

技术介绍

[0002]IDM(Intelligence Data Manager)，是一个数据传输中间件,其目的是尽可能减少数据传输过程中的拷贝次数,提供多输入多输出的数据平台，用于智能网卡驱动和智能存储卡驱动等数据接收模块与数据存储模块之间的解耦。
[0003]传统bio直接携带数据，该数据需要从用户态传输到内核态，而IDM构造的bio只携带元数据(ba信息)，如图2所示。
[0004]落盘方式上，传统bio数据从host ddr直接到flash，而IDM构造的bio数据从存储卡DDR到Falsh。存储卡DDR上的数据由网卡通过P2P的方式写入。传统落盘步骤如图6所示，具体如下：
[0005]1)数据从网卡传输到内核态，获取文件lba地址；
[0006]2)将lba地址保存到host ddr；
[0007]3)将用户空间host ddr映射到内核态；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于IDM的数据传输方法，其特征在于，应用于IDM驱动的数据传输系统，所述数据传输系统包括User、Kernel、NIC、SSD；所述User为用户层数据；所述Kernel为Linux内核；所述NIC为网卡，网卡包含DDR；所述SSD为固态存储器，固态存储器包含DDR和flash；所述方法包括：IDM传输元数据；IDM直接传输网卡数据；IDM传输用户态libaio数据。2.根据权利要求1所述的基于IDM的数据传输方法，其特征在于，所述IDM传输元数据，步骤如下：A1：获取文件lba地址；A2：将lba地址保存到IDM内部lba list中；A3：NIC通过P2P的方式将数据从NIC DDR传输到SSD DDR；A4：NIC将数据所在SSD DDR的地址sddr_addr传入IDM；A5：IDM根据lba list和sddr_addr list构造bio；并标记bio.flag为IDM_BIO_P2P；A6：bio通过系统API传入SSD；A7：SSD根据flag,sddr_addr，lba，data_len信息将数据写入SSD Flash。3.根据权利要求2所述的基于IDM的数据传输方法，其特征在于，所述IDM传输元数据，元数据存储在网卡DDR上。4.根据权利要求2所述的基于IDM的数据传输方法，其特征在于，所述IDM传输元数据，需要P2P支持。5.根据权利要求1所述的基于IDM的数据传输方法，其特征在于，所述IDM直接传输网卡数据步骤如下：B1：获取文件lba地址；B2：将lba地址保存到IDM内部lba list中；B3：NIC将数据传输到Host DDR；B4：NIC将数...

【专利技术属性】
技术研发人员：张向前，
申请(专利权)人：方一信息科技上海有限公司，
类型：发明
国别省市：