【技术实现步骤摘要】
一种训练数据处理方法、装置、设备及计算机可读存储介质
[0001]本申请涉及计算机
，尤其涉及一种训练数据处理方法、装置、设备及计算机可读存储介质。
技术介绍
[0002]在人工智能训练场景中，通过分布式文件系统对训练数据进行存储。为了确保分布式文件系统中训练数据的数据一致性，目前采用的技术方案为：在某个客户端向文件系统上传训练数据的情况下，对文件系统进行写锁定，以阻止其他客户端向文件系统上传训练数据，来避免训练数据的数据不一致问题。然而，这种方案逻辑复杂，导致训练数据的读写效率低下，以及增加训练数据的读取时延。此外，这种方案需要大量部署存储逻辑设备，增加分布式文件系统整体的设备成本。
技术实现思路
[0003]本申请提供了一种训练数据处理方法、装置、设备及计算机可读存储介质，至少可以提高训练数据的处理效率，降低训练数据处理的成本。
[0004]本申请提供了一种训练数据处理方法，上述方法包括：
[0005]响应于目标训练任务对应的训练数据上传指令，获取所述目标训练任务对应的目标训练数据和
【技术保护点】
【技术特征摘要】
1.一种训练数据处理方法，其特征在于，所述方法包括：响应于目标训练任务对应的训练数据上传指令，获取所述目标训练任务对应的目标训练数据和目标存储信息；查询本地的预设写操作锁，所述预设写操作锁表征本地数据的写操作权限信息；在查询到所述预设写操作锁的情况下，占用所述预设写操作锁；根据所述目标存储信息，将所述目标训练数据上传至第一存储系统的目标存储单元；其中，所述第一存储系统用于同时接收多个第一客户端上传的训练数据，所述多个第一客户端包括第一目标客户端；在所述目标训练数据上传完成之后，释放所述预设写操作锁。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在上传所述目标训练数据的情况下，向训练服务器发送所述目标训练任务对应的处于第一状态的任务状态信息，以使所述训练服务器将所述第一状态的任务状态信息转储于第二存储系统；其中，所述第一状态的任务状态信息表征所述目标训练任务不可执行；其中，所述第二存储系统用于存储多个训练任务对应的任务状态信息，所述多个训练任务包括所述目标训练任务。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述目标训练数据上传完成之后，向所述第二存储系统发送所述目标训练任务对应的任务状态修改指令，以使所述第二存储系统将所述第一状态的任务状态信息更新为第二状态的任务状态信息；其中，所述第二状态的任务状态信息表征所述目标训练任务可执行。4.一种训练数据处理方法，其特征在于，所述方法包括：第一目标客户端响应于目标训练任务对应的训练数据上传指令，获取所述目标训练任务对应的目标训练数据和目标存储信息；所述第一目标客户端查询本地的预设写操作锁，所述预设写操作锁表征本地数据的写操作权限信息；所述第一目标客户端在查询到所述预设写操作锁的情况下，占用所述预设写操作锁；所述第一目标客户端根据所述目标存储信息，将所述目标训练数据上传至第一存储系统的目标存储单元；其中，所述第一存储系统用于同时接收多个第一客户端上传的训练数据，所述多个第一客户端包括所述第一目标客户端；所述第一目标客户端在所述目标训练数据上传完成之后，释放所述预设写操作锁。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：所述第一目标客户端在上传所述目标训练数据的情况下，向训练服务器发送所述目标训练任务对应的处于第一状态的任务状态信息；其中，所述第一状态的任务状态信息表征所述目标训练任务不可执行；所述训练服务器确定将所述第一状态的任务状态信息转储于第二存储系统；其中，所述第二存储系统用于存储多个训练任务对应的任务状态信息，所述多个训练任务包括所述目标训练任务。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：所述第一目标客户端在所述目标训练数据上传完成之后，向所述第二存储系统发送所述目标训练任务对应的任务状态修改指令；
所述第二存储系统将所述第一状态的任务状态信息更新为第二状态的任务状态信息；其中，所述第二状态的任务状态信息表征所述目标训练任务可执行。7.根据权利要求6所述的方法，其特征在于，所述方法还包括...
【专利技术属性】
技术研发人员：查冲，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。