一种用于测试AI芯片在模型训练和推理表现的系统技术方案

本申请公开了一种用于测试AI芯片在模型训练和推理表现的系统。其通过将所述被测试AI芯片在训练过程中的各种指标，例如内存带宽、计算性能、延迟、吞吐量、能效比和并行处理能力等，输入基于人工智能和深度学习的数据处理和分析算法中进行数据时序分析和交互关联，以此来测试和评估该AI芯片的推理表现能力等级。这样，能够利用动态数据来更为有效和精准地挖掘出AI芯片的隐藏性能模式，从而获得AI芯片在模型训练和推理表现上的更全面的测试结果。

【技术实现步骤摘要】

本申请涉及ai芯片性能测试领域，具体涉及一种用于测试ai芯片在模型训练和推理表现的系统。

技术介绍

1、随着人工智能技术的快速发展，对高性能计算的需求不断增长。深度学习模型在图像识别、自然语言处理、自动驾驶等领域取得了巨大成功，但这些模型对计算资源的需求极高，需要专门的ai芯片来支持其训练和推理过程。ai芯片作为实现这些技术的关键硬件，其性能直接影响到人工智能应用的效率和效果。

2、为了实现最佳的性能，ai芯片需要与软件框架、算法等进行深度集成和优化。因此，需要对ai芯片的性能进行精确的测试和评估。然而，现有的ai芯片测试系统通常是依靠ai芯片的静态指标数据，同时过于依赖特定的基准测试或单一的性能指标，无法全面反映ai芯片在实际应用中的表现。

3、因此，期望一种优化的用于测试ai芯片在模型训练和推理表现的系统。

技术实现思路

1、考虑到以上问题而做出了本申请。本申请的一个目的是提供一种用于测试ai芯片在模型训练和推理表现的系统。

2、本申请的实施例提供了一种用于测试ai芯片本文档来自技高网...

【技术保护点】

1.一种用于测试AI芯片在模型训练和推理表现的系统，其特征在于，包括：分布式数据通信模块，用于管理训练数据的传输和通信；适配模块，用于允许用户根据软硬件配置来调整框架结构；数据加载模块，用于加载和预处理所述训练数据；记录模块，用于记录被测试AI芯片在训练过程中的各种指标；推理表现分析模块，用于基于所述被测试AI芯片在训练过程中的各种指标对所述被测试AI芯片的推理表现进行智能评估。

2.根据权利要求1所述的用于测试AI芯片在模型训练和推理表现的系统，其特征在于，所述推理表现分析模块，包括：芯片测试指标数据采集单元，用于将所述被测试AI芯片在训练过程中的各种指标按照时间维度进行数...

【技术特征摘要】

1.一种用于测试ai芯片在模型训练和推理表现的系统，其特征在于，包括：分布式数据通信模块，用于管理训练数据的传输和通信；适配模块，用于允许用户根据软硬件配置来调整框架结构；数据加载模块，用于加载和预处理所述训练数据；记录模块，用于记录被测试ai芯片在训练过程中的各种指标；推理表现分析模块，用于基于所述被测试ai芯片在训练过程中的各种指标对所述被测试ai芯片的推理表现进行智能评估。

2.根据权利要求1所述的用于测试ai芯片在模型训练和推理表现的系统，其特征在于，所述推理表现分析模块，包括：芯片测试指标数据采集单元，用于将所述被测试ai芯片在训练过程中的各种指标按照时间维度进行数据规整以得到芯片训练指标数据的时间序列；指标数据间关联模式特征提取单元，用于将所述芯片训练指标数据的时间序列中的各个芯片训练指标数据分别通过基于全连接层的嵌入编码器以得到训练指标数据嵌入编码向量的时间序列；训练指标数据时序关联编码单元，用于对所述训练指标数据嵌入编码向量的时间序列进行时序关联编码以得到上下文训练指标时序关联隐含特征向量的序列；训练指标时序特征信息传播汇聚单元，用于将所述上下文训练指标时序关联隐含特征向量的序列输入融入节点突出性的节点间信息传播汇聚网络以得到训练指标时序聚合特征向量；芯片表现能力推理单元，用于基于所述训练指标时序聚合特征向量，确定被测试ai芯片的推理表现能力等级标签。

3.根据权利要求2所述的用于测试ai芯片在模型训练和推理表现的系统，其特征在于，所述训练指标数据时序关联编码单元，用于：将所述训练指标数据嵌入编码向量的时间序列输入基于bi-lstm的训练指标时序关联编码器以得到所述上下文训练指标时序关联隐含特征向量的序列。

4.根据权利要求3所述的用于测试ai芯片在模型训练和推理表现的系统，其特征在于，所述训练指标时序特征信息传播汇聚单元，包括：评分子单元，用于使用评分函数来度量所述上下文训练指标时序关联隐含特征向量的序列中前k-1个上下文训练指标时序关联隐含特征向量的显著因子以得到k-1个训练指标时序关联显著因子；加权聚合子单元，用于以所述k-1个训练指标时序关联显著因子作为权重，计算所述上下文训练指标时序关联隐含特征向量的序列中前k-1个上下文训练指标时序关联隐含特征向量的按位置加权和以聚合所述上下文训练指标时序关联隐含特征向量的序列中前k-1个上下文训练指标时序关联隐含特征向量以得到后部节点集合训练指标时序关联聚合表示向量；线性调制子单元，用于使用预设超参数对所述上下文训练指标时序关联隐含特征向量的序列中第k个上下文训练指标时序关联隐含特征向量进行线性调制以得到调制后第k个上下文训练指标时序关联隐含特征向量；按位置加和子单元，用于计算所述调制后第k个上下文训练指标时序关联隐含特征向量和所述后部节点集合训练指标时序关联聚合表示向量的按位置加和以得到训练指标时序关联全节点聚合表示向量；多层感知子单元，用于将所述训练指标时序关联全节点聚合表示向量输入多层感知机模型以得到所述训练指标时序聚合特征向量。

5.根据权利要求4所述的用于测试ai芯片在模型训练和推理表现的系统，其特征在于，所述评分子单元，包括：矩阵乘积计算...

【专利技术属性】
技术研发人员：黄伟，王骏成，李峰，周兰，邸绍岩，焦奕硕，张乾，傅正涛，张雷，
申请(专利权)人：中国信息通信研究院，
类型：发明
国别省市：