AI芯片高速传输架构、AI运算板卡及服务器制造技术

本发明专利技术实施例公开了一种AI芯片高速传输架构、AI运算板卡及服务器。该AI芯片高速传输架构利用板间高速连接器和高速差分串行SERDES链路实现了多个AI芯片的双向高速串行互连。本发明专利技术实施例实现了AI运算板卡的硬件算力可灵活配置，极大地提升了AI运算板卡的数据传输可靠性和运算处理性能。

AI chip high-speed transmission architecture, AI arithmetic card and server

The embodiment of the invention discloses a high-speed transmission structure of AI chip, AI operation board card and server. The high-speed transmission architecture of the AI chip realizes the bidirectional high-speed serial interconnection of multiple AI chips by using the high-speed interconnect between the boards and the high-speed differential serial SERDES link. The implementation example of the invention realizes the flexible configuration of the hardware calculation force of the AI operation board, and greatly improves the data transmission reliability and operation processing performance of the AI operation board.

【技术实现步骤摘要】
AI芯片高速传输架构、AI运算板卡及服务器
本专利技术涉及芯片数据传输技术，特别是涉及一种AI芯片高速传输架构、AI运算板卡及服务器。
技术介绍
随着互联网和信息行业的快速发展，各种声音、图像、视频数据均呈井喷式的发展，大数据处理已经逐步取代传统的人工数据处理。通过对大数据的分析和处理，可以对安全管理、身体健康、乃至发现创新等等各方面都带来前所未有的突破。大数据分析和处理所带来的需求引发了人工智能AI芯片的快速发展，而人工智能技术的应用也使得大数据分析处理能力得到再一次飞跃。深度学习技术引发了人工智能应用的高速发展，引领人类由信息时代进入智能时代。深度学习本质是一种机器学习技术，需要强大的硬件计算能力，来完成大规模数据的复杂数据处理和运算。对于如此庞大的数据处理和运算，现有的人工智能解决方案中，采用专用的AI芯片执行深度学习运算，但是即使单个超高性能的AI芯片，其处理能力也远远达不到运算需求。为了满足大规模数据的处理需求，技术人员开始使用多个AI芯片组成计算集群来构建AI运算板卡，从而构成深度学习服务器系统，极大地提升了深度学习的运算处理能力。然而，对于多个AI芯片互连构成的AI运算板卡而言，超高的数据吞吐量对于AI芯片的数据传输带宽带来了重大的挑战，如何提高芯片与芯片之间的传输带宽，同时又保证数据传输的精确可靠性，成为了实现AI芯片互连通信的关键问题。
技术实现思路
为了解决上述问题，根据本专利技术的一个方面，提出一种AI芯片高速传输架构，所述AI芯片高速传输架构包括多个AI芯片和多个高速连接器，所述AI芯片包括两个SERDES接口，相邻的两个AI芯片通过SERDES接口耦接高速连接器实现互连，构成双向串行互连架构；所述AI芯片的两个SERDES接口中的一个用于与上一级AI芯片进行数据通信，另一个用于与下一级AI芯片进行数据通信。在一些实施方式中，所述高速连接器是可插拨的高速信号连接器。在一些实施方式中，所述高速连接器包括EdgeLineCoEdge连接器。在一些实施方式中，所述AI芯片包括ASIC处理芯片。在一些实施方式中，所述AI芯片包括张量处理单元TPU。在一些实施方式中，所述SERDES接口包括上行方向和下行方向的传输通道。在一些实施方式中，所述上行方向和下行方向的传输通道分别包括20路传输通道。在一些实施方式中，所述传输通道的单通道传输速率为10Gbps。根据本专利技术的另一个方面，提出一种AI运算板卡，所述AI运算板卡包括PCIE接口、接口桥接电路以及前述任一实施例所述的AI芯片高速传输架构；所述PCIE接口用于连接主机PCIE插槽，所述接口桥接电路一端耦接所述PCIE接口，另一端通过高速连接器连接至所述AI芯片高速传输架构，用于将PCIE接口转换为与所述AI芯片高速传输架构适配的SERDES接口；还包括分别对所述AI芯片高速传输架构中多个AI芯片进行供电的多个电源管理模块。在一些实施方式中，所述PCIE接口用于将主机CPU发送的待运算数据转发给所述接口桥接电路。在一些实施方式中，所述接口桥接电路用于将主机发送的待运算数据经由SERDES接口发送给所述AI芯片高速传输架构中多个AI芯片进行运算处理。在一些实施方式中，所述接口桥接电路还用于接收所述多个AI芯片返回的运算结果数据，并经由PCIE接口传输给主机CPU。在一些实施方式中，所述接口桥接电路还用于控制所述多个电源管理模块的上电时序。根据本专利技术的另一个方面，还提出一种服务器，该服务器包括：主机，其包括PCIE插槽；以及连接所述主机的PCIE插槽的前述任一实施例所述的AI运算板卡。本专利技术实施例利用板间高速连接器和高速差分串行SERDES链路实现了多个AI芯片串行互连的高信息吞吐量的高速传输架构，并基于该高速传输架构实现了AI运算板卡的硬件算力灵活配置，极大地提升了AI运算板卡的数据传输可靠性和运算处理性能。附图说明图1是根据本专利技术一实施例的AI芯片高速传输架构的结构示意图；图2是根据本专利技术一实施例的AI芯片高速传输架构的通信链路示意图；图3是根据本专利技术一实施例的AI芯片高速传输架构实现的AI运算板卡的结构示意图；图4是根据本专利技术一实施例的服务器的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。图1是根据本专利技术一实施例的AI芯片高速传输架构的结构示意图。如图1所示，所述AI芯片高速传输架构包括多个AI芯片1和多个高速连接器2；所述AI芯片具有两个SERDES接口，相邻的两个AI芯片的SERDES接口通过高速连接器2互连，构成双向串行互连架构，所述两个SERDES接口中的一个用于与上一级AI芯片进行数据通信，另一个用于与下一级AI芯片进行数据通信。在一些实施方式中，所述高速连接器是可插拨的，例如可以采用MOLEX公司的EdgeLineCoEdge连接器。在一些实施方式中，所述AI芯片用于执行AI运算处理，可以采用ASIC处理芯片实现，所述AI运算包括深度学习计算。在一些实施方式中，所述AI芯片可以采用Google公司的张量处理单元(TensorProcessingUnit，简称TPU)来实现。本专利技术实施例中，一方面，由于AI芯片和其它AI芯片之间有大量的数据传输交换，所以AI芯片之间高速传输IP采用串行SERDES架构，采用IEEE10GKR背板传输标准来对信号进行规范。SERDES接口是一种时分多路复用(TDM)、点对点(P2P)的串行通信技术，即在发送端多路低速并行信号被转换成高速差分串行信号，经传输媒体进行传输，而在接收端高速差分串行信号重新转换成低速并行信号，这种点对点的串行通信技术充分利用传输媒体的信道容量，能够减少所需的传输信道和器件引脚数目，提升信号的传输速度，大大降低通信成本。另一方面，相邻的AI芯片通过可插拨的高速连接器实现高速互连，板间高速连接器形成了类似于高速背板结构的互连模式，并且不需要焊接就可实现AI芯片的插拔，这样的配置组合使得每个AI芯片在高速运算处理数据的同时，可以通过高速串行链路进行数据的共享，而且通过菊花链的模式，理论上可以实现AI芯片的无限互连，以满足可定制的算力需求，实现对AI运算板卡的硬件算力的灵活配置。图2是根据本专利技术一实施例的AI芯片高速传输架构的通信链路示意图。如图2所示，AI芯片的两个SERDES接口分别包括40通道的速率为10Gbps的高速差分串行传输链路，所述链路包括上行和下行方向的传输通道，上行和下行方向的传输通道对称设置，即上行和下行方向各包含20通道。所述传输通道的信息吞吐量为40*10Gbps＝400Gbps，上行和下行传输通道各为200Gbps，可满足超高速运算数据的实时传输需求。本专利技术实施例中，由于AI芯片之间是通过板级高速连接器进行互连，所有的10Gbps高速差分信号走线的长度都超过了10inch，板上的过孔、连接器、焊盘这些寄生阻抗不连续造成的反射、信号之间相互串扰带来的噪声，都影响高密度、高速率信号长距离传输的可靠性。本专利技术实施例采用大量的仿真和测试技术进行信号质量评估，确保了此种高速传输互连模式的可靠性。图3是根据本专利技术一实施例的AI芯片高速传输架构实现的AI运算板卡10的结构示意图。如图3所本文档来自技高网...

【技术保护点】
1.一种AI芯片高速传输架构，其特征在于，所述AI芯片高速传输架构包括多个AI芯片和多个高速连接器，所述AI芯片包括两个SERDES接口，相邻的两个AI芯片通过SERDES接口耦接高速连接器实现互连，构成双向串行互连架构；所述AI芯片的两个SERDES接口中的一个用于与上一级AI芯片进行数据通信，另一个用于与下一级AI芯片进行数据通信。

【技术特征摘要】
1.一种AI芯片高速传输架构，其特征在于，所述AI芯片高速传输架构包括多个AI芯片和多个高速连接器，所述AI芯片包括两个SERDES接口，相邻的两个AI芯片通过SERDES接口耦接高速连接器实现互连，构成双向串行互连架构；所述AI芯片的两个SERDES接口中的一个用于与上一级AI芯片进行数据通信，另一个用于与下一级AI芯片进行数据通信。2.根据权利要求1所述的AI芯片高速传输架构，其特征在于，所述高速连接器是可插拨的高速信号连接器。3.根据权利要求2所述的AI芯片高速传输架构，其特征在于，所述高速连接器包括EdgeLineCoEdge连接器。4.根据权利要求1所述的AI芯片高速传输架构，其特征在于，所述AI芯片包括ASIC处理芯片。5.根据权利要求4所述的AI芯片高速传输架构，其特征在于，所述AI芯片包括张量处理单元TPU。6.根据权利要求1所述的AI芯片高速传输架构，其特征在于，所述SERDES接口包括上行方向和下行方向的传输通道。7.根据权利要求6所述的AI芯片高速传输架构，其特征在于，所述上行方向和下行方向的传输通道分别包括20路传输通道。8.根据权利要求7所述的AI芯片高速传输架构，其特征在于，所述传输通道的单通道传输速率为10Gbps。9.一种AI运算板卡，其特征...

【专利技术属性】
技术研发人员：梁思达，范靖，李超，
申请(专利权)人：算丰科技北京有限公司，
类型：发明
国别省市：北京,11