数据处理方法、系统、电子设备、存储介质和产品技术方案

本申请提供了一种数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品，涉及人工智能技术领域。其中，数据处理方法包括：确定目标容器执行模型训练任务所需的目标数据集；在数据缓存层中确定存储目标数据集的目标存储卷；将目标存储卷挂载至目标容器，以使目标容器访问目标存储卷并利用目标数据集执行模型训练任务。本申请的数据处理方法有别于将数据集部署于云端或本地存储，直接将数据集部署为集群的缓存资源，以将数据集对应的存储卷直接挂载于集群容器，突破了网络速度和硬盘速度所带来的传输瓶颈，避免了多次硬盘文件下载导致的数据传输延迟，大大提高了数据的访问速度和模型训练效率。

【技术实现步骤摘要】

本申请涉及人工智能，尤其涉及一种数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

1、云原生是一种在云环境中构建和运行应用程序的方法，目前越来越多的企业开始利用云原生架构原理构建模型训练环境，以运行训练和推理任务。而利用云原生架构运行模型训练任务，虽然可以享受弹性计算的优势，但同时也会遇到多样化存储适配复杂的问题，以及数据访问延迟和远程拉取数据带宽开销大的挑战。比如，在深度学习训练场景中，需要远程读取大量训练数据，会严重拖慢计算效率；在大模型推理部署时，由于模型体积普遍较大，可选模型也比较多，当需要对比多种大模型差异时，也会存在需要多次下载和存储大量数据的问题。

技术实现思路

1、本申请实施例提供一种数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品，以缓解或解决现有技术中存在的一项或多项技术问题。

2、第一方面，本申请实施例提供了一种数据处理方法，包括：

3、确定目标容器执行模型训练任务所需的目标数据集；

4、在数据缓存层中确定存本文档来自技高网...

【技术保护点】

1.一种数据处理方法，包括：

2.根据权利要求1所述的方法，其中，在数据缓存层中确定存储所述目标数据集的目标存储卷，包括：

3.根据权利要求2所述的方法，其中，在数据缓存层中确定存储所述目标数据集的目标存储卷，还包括：

4.根据权利要求3所述的方法，其中，将所述目标数据集下载至所述目标存储卷之后，还包括：

5.根据权利要求3所述的方法，其中，将所述目标数据集下载至所述目标存储卷，包括：

6.根据权利要求1-5中任一项所述的方法，其中，所述目标存储卷为持久卷PV，所述将所述目标存储卷挂载至所述目标容器，包括：</p>

7.一种...

【技术特征摘要】

1.一种数据处理方法，包括：

2.根据权利要求1所述的方法，其中，在数据缓存层中确定存储所述目标数据集的目标存储卷，包括：

3.根据权利要求2所述的方法，其中，在数据缓存层中确定存储所述目标数据集的目标存储卷，还包括：

4.根据权利要求3所述的方法，其中，将所述目标数据集下载至所述目标存储卷之后，还包括：

5.根据权利要求3所述的方法，其中，将所述目标数据集下载至所述目标存储卷，包括：

6.根据权利要求1-5中任一项所述的方法，其中，所述目标存储卷为持久卷pv，所述将所述目标存储卷挂载至所述目标容器，包括：

7.一种数据处理系统，包括...

【专利技术属性】
技术研发人员：李竺皓，崔衡，左志浩，雷涛，
申请(专利权)人：杭州阿里云飞天信息技术有限公司，
类型：发明
国别省市：