【技术实现步骤摘要】
本申请实施例涉及人工智能领域，尤其涉及一种应用于模型训练的数据处理方法及装置。
技术介绍
1、人工智能(artificial intelligence，ai)正在各行各业中普及落地，包括计算机视觉(computer vision，cv)、自然语言处理、语音语义、多模态等各个领域，都已经从学术界逐渐走向了工业界。而在落地过程中，人员能力偏弱、算力成本预算，都是工业界的核心矛盾。数据量巨大，训练时长久、消耗资源多往往困扰着绝大多数的用户。尤其是在数据维度扩展(如多模态数据同时训练)、数据预处理算法日益复杂(例如图像变换、特征提取、数据增强等)的情况下，在磁盘、cpu、内存等硬件资源有限的情况下，数据迭代速度逐渐开始成为了训练的瓶颈。如何有效地在生产环境上减少不同场景、模型的数据预处理时间，成为了急需攻克的难题。
技术实现思路
1、本申请提供一种应用于模型训练的数据处理方法及装置，能够在一定程度上提高数据迭代效率。
2、为达到上述目的，本申请采用如下技术方案：
3、第一方...
【技术保护点】
1.一种应用于模型训练的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述数据处理信息包括以下至少之一：数据处理所需时长、输入数据量、输出数据量、数据存储与读取所需时长。
3.根据权利要求1所述的方法，其特征在于，所述第一缓存策略包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述第二缓存策略与所述第一缓存策略的不同包括：
6.一种应用于模型训练的数据处理装置，其特征在于，包括：
7.根据权利要求6所述的装...
【技术特征摘要】
1.一种应用于模型训练的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述数据处理信息包括以下至少之一：数据处理所需时长、输入数据量、输出数据量、数据存储与读取所需时长。
3.根据权利要求1所述的方法，其特征在于，所述第一缓存策略包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述第二缓存策略与所述第一缓存策略的不同包括：
6.一种应用于模型训练的数据处理装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述数据处理信息包括以下至少之一：数据处理所需时长、输入数据量、输出数据量、数据存储与读取所需时长。
8.根据权利要求6所述的装置，其特征在于，所述第一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。