集成大模型训练与推理的软硬一体机和大模型训练方法技术

技术编号:41642176 阅读:60 留言:0更新日期:2024-06-13 02:35
本发明专利技术提供一种集成大模型训练与推理的软硬一体机和大模型训练方法,提供了强大的本地计算能力,减少对外部云资源的依赖通过AI平台控制单元供用户从模型算法库中选择和组合不同的模型模块以定制个性化模型并对个性化模型进行参数配置,并接收用户发起的模型训练请求,将模型训练请求分解为多个模型训练任务,为模型训练任务添加对应的安全防护逻辑后将所述模型训练任务插入到任务队列中,以及为用户发起的模型推理请求添加对应的安全防护逻辑,通过分解模型训练请求并利用本地软硬一体机和/或其他软硬一体机的计算资源,提升任务执行并行度,从而提升了模型训练的效率,同时通过增添安全防护逻辑,确保在训练和推理过程中的数据安全和隐私。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种集成大模型训练与推理的软硬一体机和大模型训练方法


技术介绍

1、随着人工智能技术的飞速发展,大型ai(artificial intelligence,人工智能)模型在多个行业中展现出巨大潜力。然而,现有的大模型训练和部署通常依赖于中央服务器或云服务,会带来数据传输和网络延迟的问题,导致ai模型训练部署的效率较低,并且目前大型模型具备参数量巨大、计算复杂度高、训练样本海量的特性,在训练大型模型时需要的计算资源也较大,当面临多种大模型的训练请求时难以兼顾多个模型的高效训练。除此之外,ai模型的训练部署需求还可能引发数据安全和隐私保护的担忧。特别是在金融、电信、医疗等行业中,大量敏感数据的处理需求对数据安全提出了更高要求。此外,企业在大模型的全流程开发中面临硬件适配、数据安全审计等技术挑战,这些挑战提高了技术门槛,限制了ai技术的广泛应用。


技术实现思路

1、本专利技术提供一种集成大模型训练与推理的软硬一体机和大模型训练方法,用以解决现有技术中大型模型训练效率较低且存在数据安全本文档来自技高网...

【技术保护点】

1.一种集成大模型训练与推理的软硬一体机,其特征在于,包括:

2.根据权利要求1所述的集成大模型训练与推理的软硬一体机,其特征在于,所述AI平台控制单元还包括:

3.根据权利要求1所述的集成大模型训练与推理的软硬一体机,其特征在于,所述模型算法库还包括:

4.一种基于如权利要求1至3任一项所述集成大模型训练与推理的软硬一体机的大模型训练方法,其特征在于,包括:

5.根据权利要求4所述的大模型训练方法,其特征在于,所述确定所述模型训练请求的资源需求,具体包括:

6.根据权利要求5所述的大模型训练方法,其特征在于,所述训练资源预测模...

【技术特征摘要】

1.一种集成大模型训练与推理的软硬一体机,其特征在于,包括:

2.根据权利要求1所述的集成大模型训练与推理的软硬一体机,其特征在于,所述ai平台控制单元还包括:

3.根据权利要求1所述的集成大模型训练与推理的软硬一体机,其特征在于,所述模型算法库还包括:

4.一种基于如权利要求1至3任一项所述集成大模型训练与推理的软硬一体机的大模型训练方法,其特征在于,包括:

5.根据权利要求4所述的大模型训练方法,其特征在于,所述确定所述模型训练请求的资源需求,具体包括:

6.根据权利要求5所述的大模型训练方法,其特征在于,所述训练资源预测模型是基于循环神经网络和全连接层构建的;其中,所述全连接层的输入与...

【专利技术属性】
技术研发人员:刘维炜纪志强张涛
申请(专利权)人:北京晟世天安科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1