【技术实现步骤摘要】
本公开涉及计算机，具体涉及推理板卡、基于推理板卡的推理方法、设备、介质和产品。
技术介绍
1、目前，在一些人工智能（artificial intelligence，ai）框架中，模型推理通常使用的是推理控制器中默认的推理单元。这在用户输入多个待推理的数据时，只能针对同一个推理单元循环顺序下发推理任务，推理任务的执行效率较低。
技术实现思路
1、有鉴于此，本公开提供了一种推理板卡、基于推理板卡的推理方法、电子设备、计算机可读存储介质和计算机程序产品，可以提高推理任务的执行效率。
2、第一方面，本公开提供了一种推理板卡，所述推理板卡包括：
3、通信接口，用于与主机通信连接；
4、多个表征硬件资源集合的推理单元，其中，至少部分所述推理单元用于并行执行如下操作：
5、通过所述通信接口接收所述主机下发的推理模型和所述推理模型对应的待推理数据；
6、运行接收到的推理模型，对推理模型对应的待推理数据进行推理；
7、其中，在各个所述推...
【技术保护点】
1.一种推理板卡，其特征在于，所述推理板卡包括：
2.根据权利要求1所述的推理板卡，其特征在于，在所述推理模型完成待推理数据的推理并得到推理结果后，所述推理单元还用于通过所述通信接口，将所述推理结果发送给所述主机。
3.一种基于权利要求1或2所述的推理板卡的推理方法，其特征在于，所述方法包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述待推理数据的总数据量和所述推理板卡中允许并行使用的推理单元的第一数量，确定允许并行运行的推理模型的第二数量，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述推理次...
【技术特征摘要】
1.一种推理板卡，其特征在于，所述推理板卡包括：
2.根据权利要求1所述的推理板卡，其特征在于，在所述推理模型完成待推理数据的推理并得到推理结果后，所述推理单元还用于通过所述通信接口，将所述推理结果发送给所述主机。
3.一种基于权利要求1或2所述的推理板卡的推理方法，其特征在于，所述方法包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述待推理数据的总数据量和所述推理板卡中允许并行使用的推理单元的第一数量，确定允许并行运行的推理模型的第二数量，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述推理次数和所述推理板卡中允许并行使用的推理单元的第一数量，确定允许并行运行的推理模型的第二数量，包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述第一数量扩大预设倍数，得到目标数量，包括：
7.根据权利要求4所述的方法，其特征在于，所述根据所述待推理数据的总数据量和所述推理模型单次允许输入的最大数据量，确定所述待推理数据所需的推理次数，包括：
【专利技术属性】
技术研发人员：郑路宽，袁悦，王辰，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。