一种加速AI模型部署的方法和设备技术

技术编号:28469657 阅读:23 留言:0更新日期:2021-05-15 21:36
本发明专利技术涉及一种加速AI模型部署的方法和设备,应用于包括多个节点的P2P网络中,该方法包括:在待部署的机器上设置基于P2P算法的传输工具;将机器作为一个新的节点加入到P2P网络中;将待部署的AI模型的数据进行分片,以将数据分为多个数据片;基于Chord算法作分布式协调获取P2P中各节点和各数据片;确定每个数据片的特征码,其中,不同的数据片对应不同的特征码;在Chord环上存储特征码,以基于传输工具通过Chord环上的特征码完成AI模型在机器上的部署。本方案,基于P2P网络以及传输技术,对网络连接里面的多条链路的带宽充分利用,相比传统方式,带宽利用率更高,传输效率更高,传输时间更短,有效提高了AI模型的部署效率。有效提高了AI模型的部署效率。有效提高了AI模型的部署效率。

【技术实现步骤摘要】
一种加速AI模型部署的方法和设备


[0001]本专利技术涉及AI模型部署领域,具体涉及一种加速AI模型部署的方法和设备。

技术介绍

[0002]人工智能(Artificial Intelligence),英文缩写为AI。是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
[0003]在部署AI(Artificial Intelligence,人工智能)模型时,传统的方法一般是使用scp(Secure Copy Protocol,是在Linux系统下进行远程传输文件的工具,用于进行服务器间的数据传输)或者rsync(remote sync,是类unix系统下的数据镜像备份工具)进行批量部署,AI模型越大的情况,由于需要逐个机器分别部署,导致需要每个机器都传输全部的AI模型的数据,而数据的传输需要依次进行,例如传递一个AI模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种加速AI模型部署的方法,其特征在于,应用于包括多个节点的P2P网络中,该方法包括:在待部署的机器上设置基于P2P算法的传输工具;将所述机器作为一个新的节点加入到P2P网络中;将待部署的AI模型的数据进行分片,以将所述数据分为多个数据片;基于Chord算法作分布式协调获取所述P2P中各所述节点和各所述数据片;确定每个所述数据片的特征码,其中,不同的所述数据片对应不同的所述特征码;在Chord环上存储所述特征码,以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。2.根据权利要求1所述的方法,其特征在于,所述将所述机器作为一个新的节点加入到P2P网络中,包括:对所述机器进行鉴权;若鉴权通过,则通过鉴权的所述机器作为一个新的节点加入到P2P网络中。3.根据权利要求2所述的方法,其特征在于,还包括:若鉴权不通过,则基于未通过鉴权的所述机器的信息生成提示信息。4.如权利要求2所述的方法,其特征在于,所述鉴权是使用所述P2P网络中的一个或多个所述节点完成的。5.如权利要求1所述的方法,其特征在于,所述数据片的大小为240KB

280KB之间的任意值。6.如权利要求1所述的方法,其特征在于,所述特征码为hash code。7.如权利要求1所述的方法,其特征在于,完成所述AI模型在所述机器上的部署所需要的时间基于以下公式来确定:的时间基于以下公...

【专利技术属性】
技术研发人员:郭乃洪黄瑞祺杨亚楠陈吉胜
申请(专利权)人:厦门云知芯智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1