一种AI平台的存储统计方法、装置及设备制造方法及图纸

本申请公开了一种AI平台的存储统计方法，基于独立于平台业务模块的存储统计微服务实现，首先，该方法将存储统计与AI平台核心业务解耦，解决资源抢占问题，此外，该方法采用文件监听器的方式主动监听用户家目录文件变化，只有监听到文件变化时才触发一次存储统计任务，避免定时触发存储统计任务做无用功，最后，该方法调用linux内核函数进行存储统计，以减少用户态和内核态的切换，减少CPU和内存占用率，提高存储统计的效率。本申请还提供了一种AI平台的存储统计装置、设备及计算机可读存储介质，其技术效果与上述方法的技术效果相对应。其技术效果与上述方法的技术效果相对应。其技术效果与上述方法的技术效果相对应。

【技术实现步骤摘要】
一种AI平台的存储统计方法、装置及设备


[0001]本申请涉及计算机
，特别涉及一种AI平台的存储统计方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]随着AI(Artificial Intelligence，人工智能)训练平台的广泛推广，企业级应用越来越多，用户的业务量逐步增大，对于平台的存储统计性能要求越来越高。现有AI平台中用户磁盘空间的存储统计已经很难满足用户的需求，如何快速、高效、稳定的统计AI平台中所有用户的磁盘空间，使用最小的资源代价快速的进行存储统计，保证其他业务模块的正常运行，是目前急需解决的问题。
[0003]目前AI训练平台的存储统计模块，采用定时任务的方法，无论底层用户家目录更新与否，按照一定频率触发定时任务后，针对AI平台所有的用户家目录，重新进行存储空间统计。该方案的使用apache
‑
common
‑
io包中的sizeOf(Apache File工具类中的一个java方法)方法，该方法逐层遍历各个目录，累加各文件大小。当文件数量达到TB级别以上时，该方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AI平台的存储统计方法，其特征在于，基于独立于平台业务模块的存储统计微服务实现，包括：利用文件监听器监听所述平台业务模块的用户家目录，在监听到文件变化时，下发存储统计任务；在接收到所述存储统计任务时，调用liunx内核函数进行存储统计，得到存储统计结果。2.如权利要求1所述的方法，其特征在于，所述调用liunx内核函数进行存储统计，得到存储统计结果，包括：调用liunx内核函数按照预设buffer大小读取文件流，得到存储统计结果。3.如权利要求2所述的方法，其特征在于，所述调用liunx内核函数按照预设buffer大小读取文件流，得到存储统计结果之前，还包括：根据目标条件设置预设buffer大小，其中所述目标条件包括用户家目录的文件数量。4.如权利要求1所述的方法，其特征在于，所述调用liunx内核函数进行存储统计，得到存储统计结果，包括：采用C语言调用linux内核函数readdir进行存储统计，得到存储统计结果。5.如权利要求1所述的方法，其特征在于，在所述调用liunx内核函数进行存储统计，得到存储统计结果之后，还包括：将所述存储统计结果以消息的方式发送至所述平台业务模块。...

【专利技术属性】
技术研发人员：郑玉会，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：