【技术实现步骤摘要】
数据处理方法及装置
[0001]本说明书实施例涉及数据处理
，特别涉及一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种数据处理系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序。
技术介绍
[0002]近年来随着存储硬件技术的不断发展，硬盘的性能已经大幅提升，从最初的HDD(Hard Disk Drive，硬盘驱动器)机械盘到基于SATA(Serial ATA，串口硬盘)接口的SSD(Solid State Disk，固态硬盘)固态硬盘，再到基于PCIe(PCI
‑
Express)接口的Nvme SSD硬盘，裸盘最高可以提供*(百)万级IOPS(Input/Output Operations Per Second，每秒的输入输出量)以及GB级别的吞吐性能。
[0003]目前，主流的单机文件系统(EXT4)以inode(索引节点)为中心设计I/O流程，这种设计模式对CPU比较友好，但是对存储设备不友好，例如，多个进程并发对同一个文件读写操作，文件系统会对文件的...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，包括：确定多个进程中每个进程对应的文件句柄，并基于所述文件句柄下发文件的多个数据处理请求，其中，每个数据处理请求中均携带有数据处理类型以及针对所述文件进行数据处理的数据区间；基于所述数据处理类型以及所述数据区间从所述多个数据处理请求中确定至少两个目标数据处理请求；将所述至少两个目标数据处理请求发送至队列适配装置，通过所述队列适配装置对所述目标数据处理请求进行并行处理。2.根据权利要求1所述的数据处理方法，所述确定多个进程中每个进程对应的文件句柄之前，还包括：基于多个进程下发的针对同一文件的文件操作请求打开所述文件，并为所述多个进程中的每个进程分配与所述文件对应的文件句柄。3.根据权利要求1或2所述的数据处理方法，所述数据处理类型包括数据写入类型和数据读取类型；相应地，所述基于所述数据处理类型以及所述数据区间从所述多个数据处理请求中确定目标数据处理请求，包括：将所述多个数据处理请求中数据处理类型为所述数据写入类型的数据处理请求，确定为第一数据处理请求；将所述多个数据处理请求中数据处理类型为所述数据读取类型的数据处理请求，确定为第二数据处理请求；基于所述第一数据处理请求和所述第二数据处理请求确定至少两个目标数据处理请求。4.根据权利要求3所述的数据处理方法，所述基于所述第一数据处理请求和所述第二数据处理请求确定至少两个目标数据处理请求，包括：确定所述第一数据处理请求对应的数据区间，以及所述第二数据处理请求对应的数据区间；基于所述第一数据处理请求对应的数据区间和所述第二数据处理请求对应的数据区间，确定所述至少两个目标数据处理请求。5.根据权利要求4所述的数据处理方法，所述基于所述第一数据处理请求对应的数据区间和所述第二数据处理请求对应的数据区间，确定所述目标数据处理请求，包括：将数据区间不存在交叉的第一数据处理请求和第二数据处理请求，作为第一初始数据处理请求；将数据区间存在交叉的第一数据处理请求或第二数据处理请求，作为第二初始数据处理请求；将所述第一数据处理请求中数据区间不存在交叉的第一数据处理请求，作为第三初始数据处理请求；将所述第一数据处理请求中数据区间存在交叉的一个第一数据处理请求，作为第四初始数据处理请求；其中，所述至少两个目标数据处理请求包括所述第一初始数据处理请求、第二初始数
据处理请求、第三初始数据处理请求和/或所述第四初始数据处理请求。6.根据权利要求1所述的数据处理方法，所述将所述至少两个目标数据处理请求发送至队列适配装置，通过所述队列适配装置对所述至少两个目标数据处理请求进行并行处理，包括：将所述至少两个目标数据处理请求发送至队列适配装置，通过所述队列适配装置将所述目标数据处理请求发送至对应的硬件队列，完成对所述至少两个目标数据处理请求的并行处理。7.根据权利要求1所述的数据处理方法，所述基于所述数据处理类型以及所述数据区间从所述多个数据处理请求中确定至少两个目标数据处理请求之后，还包括：确定下发所述目标数据处理请求的进程的文件句柄，以及确定所述目标数据处理请求对应的数据区间；基于所述目标数据处理请求对应的数据区间，确定下发所述目标数据处理请求的进程的文件句柄的读写区间；获取所述文件对应的句柄区间树，确定所述句柄区间树中每个文件句柄当前的读写区间；基于下发所述目标数据处理请求的进程的文件句柄的读写区间，与所述句柄区间树中对应的文件句柄的当前读写区间的关联关系，从所述目标数据处理请求中确定阻塞数据处...
【专利技术属性】
技术研发人员：朴君，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。