【技术实现步骤摘要】
本专利技术属于芯片通信,具体涉及一种实现芯片双模式互联的方法。
技术介绍
1、在人工智能技术,特别是人工智能大模型技术的迅猛发展背景下,对算力的需求呈现出爆发式增长的趋势。通常而言,大模型通常拥有数十亿甚至数千亿个参数,由于大模型的计算量巨大,单个计算单元往往无法满足训练需求,因此,分布式训练技术被广泛应用,将模型训练任务分配到多个计算单元或服务器上进行并行计算。
2、分布式训练是一种将机器学习或深度学习模型训练任务分解成多个子任务,并在多个计算设备上并行地进行训练的方法。这种技术可以充分利用多台计算机的计算资源,提高训练速度,并降低计算成本。在分布式训练中,各个计算单元或服务器之间需要高速的网络连接来传输数据和同步梯度信息,因此,计算单元或服务器之间的互联技术对提高训练速度、降低计算成本有着重要的意义。
3、当前通常采用不同的互联组件和高速网络技术来实现计算单元与计算单元之间,或者服务器与服务器之间的互联,然而,由于当前采用的技术需要额外的交换机和适配器,不仅增加了系统的复杂性和成本,还导致了较高的延迟和使用成
【技术保护点】
1.一种实现芯片双模式互联的方法,其特征在于,包括步骤:
2.根据权利要求1所述的一种实现芯片双模式互联的方法,其特征在于,步骤S1中所述的接口逻辑,具体包括发送链路模块、芯片互联模块、芯片访问模块、接收链路模块和通信网口;
3.根据权利要求1所述的一种实现芯片双模式互联的方法,其特征在于,步骤S2中所述的设置的工作模式,具体地,设置的工作模式包括两种,一种是芯片与芯片进行直接互联的芯片互联模式;另一种是芯片与芯片通过交换机进行互联的服务器互联模式。
4.根据权利要求1所述的一种实现芯片双模式互联的方法,其特征在于,步骤S2中所述的
...【技术特征摘要】
1.一种实现芯片双模式互联的方法,其特征在于,包括步骤:
2.根据权利要求1所述的一种实现芯片双模式互联的方法,其特征在于,步骤s1中所述的接口逻辑,具体包括发送链路模块、芯片互联模块、芯片访问模块、接收链路模块和通信网口;
3.根据权利要求1所述的一种实现芯片双模式互联的方法,其特征在于,步骤s2中所述的设置的工作模式,具体地,设置的工作模...
【专利技术属性】
技术研发人员:于义,欧阳鹏,
申请(专利权)人:北京清微智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。