文件并发处理方法、系统及电子设备技术方案

本发明专利技术提供一种文件并发处理方法、系统及电子设备，属于文件传输技术领域，包括：根据设备的可用处理核心数量确定目标并发级别；根据目标并发级别初始化控制并发任务的信号量；为待并发的每个待处理文件分别运行一虚拟线程，以获取信号量的许可，并在持有许可期间将待处理文件从源存储位置传输到目标存储位置，得到目标文件；在检测到结构化任务域内全部虚拟线程运行完成后，输出全部目标文件的处理结果。本发明专利技术通过基于虚拟线程与信号量控制的文件并发处理方法，从而提升大规模文件并发处理的整体效率和系统稳定性。

【技术实现步骤摘要】

本专利技术涉及文件传输，尤其涉及一种文件并发处理方法、系统及电子设备。

技术介绍

1、随着分布式系统与数据密集型业务的广泛应用，涉及大量文件的并发处理任务日益普遍，典型应用如日志归档、数据同步、批量传输等。在此类场景中，系统通常需同时处理成百上千个待传输文件，对并发能力与资源调度提出了更高要求。

2、现有技术方案包括采用静态配置的线程池来控制并发数量，当线程数量远低于设备可承载上限时，硬件资源闲置；当线程数量超过设备处理能力时，cpu利用率急剧下降并伴随频繁的内存拷贝和上下文切换，从而引发系统性能瓶颈。此外，基于用户态缓冲区的文件复制方式需要将数据从磁盘读入用户缓冲后再写回内核，造成双向拷贝带来的额外cpu开销与内存占用，进一步加剧了性能退化。由此可见，现有方案既无法实现硬件感知的动态并发控制，也无法提供高效的i/o传输手段，从而制约了大规模文件并发处理的整体效率和系统稳定性。

技术实现思路

1、本专利技术提供一种文件并发处理方法、系统、电子设备、存储介质及计算机程序产品，用以解决现有技术中的缺陷本文档来自技高网...

【技术保护点】

1.一种文件并发处理方法，其特征在于，包括：

2.根据权利要求1所述的文件并发处理方法，其特征在于，所述为待并发的每个待处理文件分别运行一虚拟线程，以获取所述信号量的许可，并在持有所述许可期间将所述待处理文件从源存储位置传输到目标存储位置，得到目标文件，包括：

3.根据权利要求2所述的文件并发处理方法，其特征在于，所述通过内核零拷贝方式将所述待处理文件从源存储位置传输到目标存储位置，得到所述目标文件，包括：

4.根据权利要求2所述的文件并发处理方法，其特征在于，所述在持有所述许可期间将所述待处理文件从源存储位置传输到目标存储位置，得到目标文件之后，还包...

【技术特征摘要】

1.一种文件并发处理方法，其特征在于，包括：

2.根据权利要求1所述的文件并发处理方法，其特征在于，所述为待并发的每个待处理文件分别运行一虚拟线程，以获取所述信号量的许可，并在持有所述许可期间将所述待处理文件从源存储位置传输到目标存储位置，得到目标文件，包括：

3.根据权利要求2所述的文件并发处理方法，其特征在于，所述通过内核零拷贝方式将所述待处理文件从源存储位置传输到目标存储位置，得到所述目标文件，包括：

4.根据权利要求2所述的文件并发处理方法，其特征在于，所述在持有所述许可期间将所述待处理文件从源存储位置传输到目标存储位置，得到目标文件之后，还包括：

5.根据权利要...

【专利技术属性】
技术研发人员：袁智博，王炳亮，孙丰杰，张文龙，张京辉，
申请(专利权)人：浪潮通信信息系统有限公司，
类型：发明
国别省市：