一种深度网络模型存储系统技术方案

技术编号:41510600 阅读:22 留言:0更新日期:2024-05-30 14:49
本发明专利技术提供了一种深度神经网络模型存储系统,涉及深度神经网络领域,由四个模块组成,包括用户模块,模型文件分析模块,模型存储更新模块和细粒度模型存储模块;用户模块接收用户的深度神经网络模型的系统提交,通过模型分析模块和模型存储模块确定提交模型的层结构信息以及新增层,将模型文件存储在细粒度模型存储模块中,实现神经网络模型的存储并可供拉取;本发明专利技术的有益效果是:结合了云模型文件仓库与分布式文件存储的优点,通过存储调度与细粒度神经网络模型文件存储方式,提升了存储系统的存储资源利用效率,并提高了用户的服务体验。

【技术实现步骤摘要】

本专利技术涉及深度神经网络领域,尤其涉及一种深度神经网络模型存储系统。


技术介绍

1、随着数字化、智能化时代的到来,人工智能技术的发展与突破为智能应用需求提供了新的方法路线。其中,深度学习技术,特别是深度神经网络技术,已经成为推动这一方法的关键力量。深度学习是机器学习的一个重要分支,通过构建深度神经网络模型,它可以自动从数据中提取特征和模式,实现高效的数据处理和决策。深度神经网络技术目前已经在多个领域取得了令人瞩目的成就,如图像识别,自然语言处理,智能推荐系统。得益于其强大的数据处理和分析能力,深度学习方法在大幅度提升数据的利用效率的同时,也降低了海量数据的分析难度。因此,深度学习技术不但拥有广泛的应用潜力和探索空间,也极大地加速了信息数字化产业的建设进展。

2、然而,要提供深度学习推理任务,首先需要通过远程对象存储系统(例如,亚马逊s3对象存储服务)从远端的模型仓库中拉取所需的深度学习模型文件。在当前已有的模型文件拉取技术方案中,主要是以不同任务所需的完整模型作为传输单位,如hugging face,model zoo等知名深度学习开放模型仓本文档来自技高网...

【技术保护点】

1.一种深度神经网络模型存储系统,其特征在于,由四个模块组成,包括用户模块,模型文件分析模块,模型存储更新模块和细粒度模型存储模块;

2.如权利要求1所述的一种深度神经网络模型存储系统,其特征在于,所述用户模块通过API实现用户模型的系统提交。

3.如权利要求2所述的一种深度神经网络模型存储系统,其特征在于,神经网络模型层结构包括层种类,模型拓扑结构和模型层张量参数。

4.如权利要求3所述的一种深度神经网络模型存储系统,其特征在于,模型文件分析模块通过打印模型结构信息获取模型文件内具体的层结构信息,使用MD5信息特征提取算法获取各个神经网络层的张量特征...

【技术特征摘要】

1.一种深度神经网络模型存储系统,其特征在于,由四个模块组成,包括用户模块,模型文件分析模块,模型存储更新模块和细粒度模型存储模块;

2.如权利要求1所述的一种深度神经网络模型存储系统,其特征在于,所述用户模块通过api实现用户模型的系统提交。

3.如权利要求2所述的一种深度神经网络模型存储系统,其特征在于,神经网络模型层结构包括层种类,模型拓扑结构和模型层张量参数。

4.如权利要求3所述的一种深度神经网络模型存储系统,其特征在于,模型文件分析模块通过打印模型结构信息获取模型文件内具体的层结构信息,使用md5信息特征提取算法获取各个神经网络层的张量特征信息。

5.如权利要求4所述的一种深度神经网络模型存储系统,其特征在于,模型存储更新模块确认模型文件的额外存储需要的具体过程为:通过全局模型存储索引和全局层文件存储索引对系统中已存储的模型文件内神经网络层集群进行感知,对比用户提交模型的各个层张量特征与存储系统中的层文件索...

【专利技术属性】
技术研发人员:曾德泽耿弘民王胜田厉峰李跃鹏
申请(专利权)人:中国地质大学武汉
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1