【技术实现步骤摘要】
一种基于AI训练平台的海量文件检索方法、装置及设备
本专利技术属于文件检索
，具体涉及一种基于AI训练平台的海量文件检索方法、装置及设备。
技术介绍
AI训练平台，即人工智能训练平台，管理并调度CPU和GPU等资源，模型训练，任务管理的平台。随着人工智能相关产业的蓬勃发展，越来越多的科研企业和高校的研究人员对计算力的要求也是越来越高，AI训练平台有效解决了企业或科研机构对计算力的要求，AI训练平台的一项重要的也是最基本的功能就是文件的相关操作，如何在海量的文件中检索出有效信息，成为算法研究人员的常用基础功能，在数据集中或者在用户目录下进行具体文件以及模糊文件的检索，海量文件检索的性能关乎于AI训练平台使用研究人员的工作效率，如何提升检索性能是亟需解决的问题。目前涉及文件检索的现有技术主要用于各个系统的文件管理等，文件数量大小与AI训练平台的文件数量级别差别很大，而且现有技术也无外乎循环递归遍历所有文件，进行模糊匹配比对；利用操作系统linux的相关命令find进行模糊匹配查找；再者搭建文件分布式存储进行...
【技术保护点】
1.一种基于AI训练平台的海量文件检索方法，其特征在于，包括如下步骤：/nS1.AI训练平台获取用户下发的检索任务；/nS2.AI训练平台根据检索任务生成检索线程流，并根据检索线程流控制检索过程的业务逻辑；/nS3.AI训练平台将数据库中文件以文件夹为单位进行顺序编码，生成有序队列文件夹，并从检索任务中提取出检索关键字，再通过二分查找与深度优先遍历结合方式对每个有序队列文件夹进行关键字检索。/n
【技术特征摘要】
1.一种基于AI训练平台的海量文件检索方法，其特征在于，包括如下步骤：
S1.AI训练平台获取用户下发的检索任务；
S2.AI训练平台根据检索任务生成检索线程流，并根据检索线程流控制检索过程的业务逻辑；
S3.AI训练平台将数据库中文件以文件夹为单位进行顺序编码，生成有序队列文件夹，并从检索任务中提取出检索关键字，再通过二分查找与深度优先遍历结合方式对每个有序队列文件夹进行关键字检索。
2.如权利要求1所述的基于AI训练平台的海量文件检索方法，其特征在于，步骤S1具体步骤如下：
S11.AI训练平台获取用户登录的令牌；
S12.AI训练平台根据令牌接收用户下发的检索任务。
3.如权利要求2所述的基于AI训练平台的海量文件检索方法，其特征在于，步骤S2具体步骤如下：
S21.AI训练平台启动检索线程；
S22.每完成一次检索，判断是否满足检索次数阈值；
若是，进入步骤S23；
若否，进入步骤S24；
S23.判断检索任务是否完成；
若是，进入步骤S28；
若否，进入步骤S25；
S24.继续检索，返回步骤S22；
S25.返回检索内容，暂停检索，判断检索总时长是否超过检索时长阈值；
若是，进入步骤S26；
若否，进入步骤S27；
S26.检索超时，检索结束；
S27.检索唤醒，返回步骤S24；
S28.返回检索内容，检索结束。
4.如权利要求3所述的基于AI训练平台的海量文件检索方法，其特征在于，步骤S22具体步骤如下：
S221.每完成一次检索，判断是否有同一令牌的用户下发的下一检索任务；
若有，进入步骤S222；
若否，进入步骤S224；
S222.中断当前检索任务线程，根据下一检索任务类型进行操作；
S223.判断当前检索线程任务中断是否超时；
若超时，则判定检索中断超时，检索结束；
若未超时，等待下一检索任务完成，返回步骤S223；
S224.判断是否满足检索次数阈值；
若是，进入步骤S23；
若否，进入步骤S24。
5.如权利要求4所述的基于AI训练平台的海量文件检索方法，其特征在于，步骤S222中，判断下一检索任务类型；
若下一检索任务类型为覆盖检索，则将下一检索任务作为新的检索任务，返回步骤S21；
若下一检索任务类型为排队检索，则将下一检索任务设定到等待队列，进入步骤S24；
若下一检索任务类型为暂停检索，则进入步骤S25；
若下一检索任务类型为继续检索，则进入步骤S24；
若下一检索任务类型为终止检索，则进入步骤S28。
6.如权利要求1所述的基于AI训练平台的海量文件检索方法，其特征在于，步骤S3具体步骤如下：
S31.AI训练平台将数据库中文件以文件夹为单位...
【专利技术属性】
技术研发人员：姬贵阳，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。