AI训练推理服务器和系统技术方案

本实用新型专利技术实施例涉及人工智能技术领域，公开了一种AI训练推理服务器和系统，其中AI训练推理服务器包括：主板、背板和至少一块AI推理刀片，其中：主板主要由CPU组成，主板和背板连接，用于通过背板下发AI软件算法和数据；背板设置有插槽；AI推理刀片插接于插槽，AI推理刀片主要由至少一块第一可编程芯片组成，每一第一可编程芯片连接至少一块AI芯片；AI推理刀片用于接收AI软件算法和数据，并根据AI软件算法和数据得到计算结果，将计算结果通过背板发送给主板；主板还用于通过背板接收计算结果，并根据计算结果得到推理结果。通过上述方式，本实用新型专利技术实施例能够提高服务器的算力，并减少其功耗和成本。

AI training reasoning server and system

【技术实现步骤摘要】
AI训练推理服务器和系统
本技术实施例涉及人工智能
，具体涉及一种AI训练推理服务器和系统。
技术介绍
AI(ArtificialIntelligence，人工智能)技术是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。通过AI算法可以智能的从视频或图片中识别人脸、声音和文字等信息。AI技术主要由推理、训练、控制和通信等服务器组合而成。在实现本技术实施例的过程中，专利技术人发现：传统的AI算法一般是通过CPU(CentralProcessingUnit，中央处理器)和GPU(GraphicsProcessingUnit，视觉处理器)去计算。但传统CPU和GPU有很多无关的指令，并且没有AI算法专用指令，所以导致传统的AI技术方案的算力低、功耗高和成本高等。因此，目前大部分AI技术的都是通过将算法和数据上传到云端服务器，利用云服务器的超大算力和海量存储等技术，达到AI技术所要求的算力和响应时间。但这种方式存在功耗大、成本高和延迟大等缺点。
技术实现思路
鉴于上述问题，本技术实施例本文档来自技高网...

【技术保护点】
1.一种AI训练推理服务器，其特征在于，包括主板、背板、至少一块AI推理刀片和至少一块AI训练刀片，其中：/n所述主板上设置有CPU，所述主板和所述背板连接；/n所述背板设置有PCIe插槽，所述PCIe插槽之间通过总线连接；所述主板插接于所述PCIe插槽内与所述背板连接；/n所述AI训练刀片插接于所述PCIe插槽，通过总线与所述主板连接；所述AI训练刀片主要由至少一块第二可编程芯片组成，每一所述第二可编程芯片连接至少一块记忆存储芯片；所述AI训练刀片用于接收所述CPU发送的数据，将所述数据进行训练；/n所述AI推理刀片插接于所述PCIe插槽，通过总线与所述主板连接；所述AI推理刀片主要由至少一...

【技术特征摘要】
1.一种AI训练推理服务器，其特征在于，包括主板、背板、至少一块AI推理刀片和至少一块AI训练刀片，其中：
所述主板上设置有CPU，所述主板和所述背板连接；
所述背板设置有PCIe插槽，所述PCIe插槽之间通过总线连接；所述主板插接于所述PCIe插槽内与所述背板连接；
所述AI训练刀片插接于所述PCIe插槽，通过总线与所述主板连接；所述AI训练刀片主要由至少一块第二可编程芯片组成，每一所述第二可编程芯片连接至少一块记忆存储芯片；所述AI训练刀片用于接收所述CPU发送的数据，将所述数据进行训练；
所述AI推理刀片插接于所述PCIe插槽，通过总线与所述主板连接；所述AI推理刀片主要由至少一块第一可编程芯片组成，每一所述第一可编程芯片连接至少一块AI芯片；所述AI推理刀片用于接收训练数据，并根据所述训练数据进行推理；所述主板还用于通过总线接收所述AI训练刀片和所述推理刀片返回的数据，并根据所述数据进行处理。


2.如权利要求1所述的服务器，其特征在于，所述服务器还包括：所述背板为CPCI-Express背板，其具有热拔插功能；所述CPU用于将所述主板配置为主设备，所述第一可编程芯片用于将所述AI推理刀片配置为从设备，所述CPCI-Express背板用于使所述主设备和所述从设备互相通信。


3.如权利要求2所述的服务器，其特征在于，所述主板的数量为至少2个，各所述主板...

【专利技术属性】
技术研发人员：陈敬毅，严华，
申请(专利权)人：深圳市创智中科智能科技有限公司，
类型：新型
国别省市：广东;44