一种基于AI训练平台的文件传输方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种基于AI训练平台的文件传输方法，包括：通过AI训练平台下载并配置实现基于DMA的文件传输的文件传输客户端；响应于接收到文件传输命令，通过文件传输客户端检测开发环境的配置信息；根据配置信息获取CPU核数，并根据CPU核数确定文件传输的线程数量；根据配置信息获取开发环境内存的大小，根据开发环境内存的大小确定文件块的空间值，并根据空间值将传输的文件划分为文件块；根据线程数量以及文件块对文件进行文件传输。本发明专利技术还公开了一种装置、设备和介质。本发明专利技术可以保证AI训练平台高效稳定运行，有效缩短了模型训练的时间，提高了AI训练平台的性能，解决了AI训练平台的文件传输的快速传输痛点，增强了AI训练平台的竞争力。

【技术实现步骤摘要】
一种基于AI训练平台的文件传输方法、装置、设备和介质
本专利技术涉及通信
，更具体地，特别是指一种基于AI训练平台的文件传输方法、装置、设备和介质。
技术介绍
随着人工智能相关产业的快速发展，越来越多的研究机构，企业对计算力要求越来越高，与此同时，如何高效提升企业机构里算法研究人员高效的使用资源，提高工作效率，也是目前所有AI训练平台(管理并调度cpu、gpu等资源，模型训练，任务管理的平台)追求的目标。同时在对AI训练时，会使用大量的数据集文件，产生较大模型数据文件，如何高效对文件进行上传下载快速传输，提供传输性能，目前业界还是比较传统，并未针对大数据集，特别AI(artificialintelligence，人工智能)训练平台的相关数据集有急需性能的优化提升。目前涉及AI训练平台的一个重要模块，也是一个基础模块，就是属于AI训练平台的文件管理模块。此模块一般是对算法人员的模型，脚本已经数据集等文件的管理。传统文件管理模块，大多数基于web，xftp等基于http网络的传输工具，此类传输工具共有的特点是，特别依赖于网络带宽，同时本文档来自技高网...

【技术保护点】
1.一种基于AI训练平台的文件传输方法，其特征在于，所述方法包括：/n通过AI训练平台下载并配置实现基于DMA的文件传输的文件传输客户端；/n响应于接收到文件传输命令，通过所述文件传输客户端检测开发环境的配置信息；/n根据所述配置信息获取CPU核数，并根据所述CPU核数确定所述文件传输的线程数量；/n根据所述配置信息获取开发环境内存的大小，根据所述开发环境内存的大小确定文件块的空间值，并根据所述空间值将传输的文件划分为所述文件块；/n根据所述线程数量以及所述文件块对所述文件进行所述文件传输。/n

【技术特征摘要】
1.一种基于AI训练平台的文件传输方法，其特征在于，所述方法包括：
通过AI训练平台下载并配置实现基于DMA的文件传输的文件传输客户端；
响应于接收到文件传输命令，通过所述文件传输客户端检测开发环境的配置信息；
根据所述配置信息获取CPU核数，并根据所述CPU核数确定所述文件传输的线程数量；
根据所述配置信息获取开发环境内存的大小，根据所述开发环境内存的大小确定文件块的空间值，并根据所述空间值将传输的文件划分为所述文件块；
根据所述线程数量以及所述文件块对所述文件进行所述文件传输。


2.根据权利要求1所述的基于AI训练平台的文件传输方法，其特征在于，所述方法还包括：
根据所述配置信息获取网络信息，根据所述网络信息监控网络环境。


3.根据权利要求1所述的基于AI训练平台的文件传输方法，其特征在于，所述根据所述配置信息获取CPU核数，并根据所述CPU核数确定所述文件传输的线程数量还包括：
对所述线程数量配置上限数量阈值，响应于根据所述CPU核数获取的所述线程数量超过所述上限数量阈值，根据所述上限数量阈值配置所述线程数量。


4.根据权利要求1所述的基于AI训练平台的文件传输方法，其特征在于，所述根据所述配置信息获取开发环境内存的大小，根据所述开发环境内存的大小确定文件块的空间值，并根据所述空间值将传输的文件划分为所述文件块还包括：
对所述空间值配置最大空间阈值，响应于根据所述开发环境内存的大小确定的所述空间值超过所述最大空间阈值，根据所述最大空间阈值配置所述空间值。


5.根据权利要求1所述的基于AI训练平台的文件传输方法，其特征在于，所述方法还包括：
通过所述文件传输客户端显示所述文件传输的传输信息以及异常报警信息。


6.一种基于AI训练平台的...

【专利技术属性】
技术研发人员：姬贵阳，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32