当前位置: 首页 > 专利查询>南京大学专利>正文

面向Serverless机器学习模型训练的动态可伸缩数据共享系统技术方案

技术编号:41251406 阅读:19 留言:0更新日期:2024-05-09 23:59
本发明专利技术公开一种面向Serverless机器学习模型训练的动态可伸缩数据共享系统,通过共享数据集描述API、协调服务装置、数据分片路由装置、数据分片共享装置和数据共享SDK等关键组件,实现对机器学习模型训练任务中数据共享的高效和灵活管理。用户可利用共享数据集描述API创建和管理数据集,协调服务装置负责整个数据集的生命周期管理,数据分片路由装置为训练任务提供数据共享服务,同时通过动态分片树结构实现分片范围和实例数量的动态调整。数据分片共享装置结合领域特定的缓存淘汰策略—最长采样距离(LSD)优化数据缓存,以提高共享效率。数据共享SDK通过并行异步预取机制,在不影响正常训练过程的情况下,提升数据访问速度。

【技术实现步骤摘要】

本专利技术涉及一种面向serverless 机器学习模型训练的动态可伸缩数据共享系统,属于软件维护。


技术介绍

1、serverless计算,又称服务器无感知计算,是一种新兴的云计算模型,通过将函数作为计算的基本单元,这种模型为开发者提供了一种高效、简洁的业务逻辑实现方式。其核心的优势在于按需使用和无需运维的特性。开发者只需要专注于代码逻辑部分,而无需担心底层资源的配置和管理。正是这些特点,使得serverless计算成为未来云应用开发的一个关键趋势。

2、serverless 机器学习模型训练是serverless 计算模式上的一个自然应用,它指的是在 serverless 环境中进行机器学习模型的训练任务。这种模式与传统的机器学习模型训练服务集群相比,主要优势在于能够按需使用gpu计算资源,这不仅降低了前期的服务器和显卡购置成本,还能够随着业务需求的增长而灵活扩展。针对于资源有限或希望敏捷应当市场变化的中小企业而言,是一个极具吸引力的解决方案。

3、然而,将机器学习模型训练任务迁移到serverless环境也带来了若干挑战。其中本文档来自技高网...

【技术保护点】

1. 一种面向Serverless 机器学习模型训练的动态可伸缩数据共享系统,其特征在于,包括以下内容:

2. 根据权利要求1所述的面向Serverless 机器学习模型训练的动态可伸缩数据共享系统,其特征在于,所述(1)中,共享数据集描述 API具体包括:

3. 根据权利要求1所述的面向Serverless 机器学习模型训练的动态可伸缩数据共享系统,其特征在于,所述(2)中,具体包括:

4. 根据权利要求1所述的面向Serverless 机器学习模型训练的动态可伸缩数据共享系统,其特征在于,所述(3)中,具体包括:

5. 根据权利要求1所...

【技术特征摘要】

1. 一种面向serverless 机器学习模型训练的动态可伸缩数据共享系统,其特征在于,包括以下内容:

2. 根据权利要求1所述的面向serverless 机器学习模型训练的动态可伸缩数据共享系统,其特征在于,所述(1)中,共享数据集描述 api具体包括:

3. 根据权利要求1所述的面向serverless 机器学习模型训练的动态可伸缩数据共享系统,其特征在于,所述(2)中,具体包括:

4. 根据权利要求1所述的面向serverless 机器学习模型训练的动态可伸缩数据共享系统,其特征在于,所述(3)中,具体包括:

5. 根据权利要求1所述的面向serverless 机器学习模型训练的动态可伸缩数据共享系统,其特征在于,所述(34)中,动态分片树结构具体包括:

6. 根据权利要求1所述的面向serverless 机器学习模型训练的动态可伸缩数据共享系统,其特征在于,所述(4)通过数据分片共享装置,根据设...

【专利技术属性】
技术研发人员:曹春马骏徐经纬朱治学
申请(专利权)人:南京大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1