神经网络计算系统与执行神经网络模型的方法技术方案

技术编号:39937114 阅读:15 留言:0更新日期:2024-01-08 22:16
一种神经网络计算系统,包括:处理器,该处理器包括被配置为执行神经网络模型的异构计算设备;存储器,该存储器被配置为缓冲神经网络模型的输入数据和输出数据;存储器控制器,该存储器控制器被配置为控制存储器的数据输入和数据输出;以及系统总线,该系统总线被配置为支持处理器与存储器控制器之间的通信。该处理器:基于神经网络模型的目标端到端执行时间来确定包括在神经网络模型中的每个节点的目标执行时间;基于用于执行每个节点的目标计算设备、每个节点的工作量和每个节点的目标执行时间来控制包括异构计算设备、存储器控制器和系统总线的硬件设备的工作频率,并且通过在工作频率下进行工作来执行神经网络模型。

【技术实现步骤摘要】

本公开的示例实施例涉及神经网络计算系统和执行神经网络模型的方法。


技术介绍

1、近年来,已经积极地对模拟人脑学习能力以处理信息的神经网络进行了研究。使用基于神经网络的操作,可以从诸如语音、图像和视频之类的各种用户数据中准确地识别和区分对象或特定信息。

2、处理器可以包括异构计算设备。异构计算设备可以包括具有高度通用性的中央处理单元(cpu)、针对神经网络计算而优化的神经处理单元(npu)等。为了执行神经网络计算,诸如npu以及cpu之类的计算设备可以一起使用。然而,当使用包括异构计算设备在内的各种硬件设备来执行神经网络计算时,功耗可能增加。


技术实现思路

1、本公开的示例实施例是提供一种神经网络计算系统和执行神经网络模型的方法,其可以允许在目标运行时间内执行神经网络模型并且可以降低硬件设备的功耗。

2、根据本公开的实施例,提供了一种神经网络计算系统。所述神经网络计算系统包括:处理器,所述处理器包括被配置为执行神经网络模型的异构计算设备;存储器,所述存储器被配置为缓冲所述神经网络模型的输本文档来自技高网...

【技术保护点】

1.一种神经网络计算系统,所述神经网络计算系统包括:

2.根据权利要求1所述的神经网络计算系统,其中,所述处理器还被配置为:

3.根据权利要求1所述的神经网络计算系统,其中,所述处理器还被配置为:

4.根据权利要求1所述的神经网络计算系统,其中,所述处理器还被配置为:基于每个节点的算术指令数量、每个节点的存储器指令数量、每个节点的编译器选项、每个节点的所需存储器带宽量、每个节点的输入数据大小以及每个节点的输出数据大小来确定每个节点的所述工作量。

5.根据权利要求4所述的神经网络计算系统,其中,所述处理器还被配置为:通过分析包括在每个节点中的...

【技术特征摘要】

1.一种神经网络计算系统,所述神经网络计算系统包括:

2.根据权利要求1所述的神经网络计算系统,其中,所述处理器还被配置为:

3.根据权利要求1所述的神经网络计算系统,其中,所述处理器还被配置为:

4.根据权利要求1所述的神经网络计算系统,其中,所述处理器还被配置为:基于每个节点的算术指令数量、每个节点的存储器指令数量、每个节点的编译器选项、每个节点的所需存储器带宽量、每个节点的输入数据大小以及每个节点的输出数据大小来确定每个节点的所述工作量。

5.根据权利要求4所述的神经网络计算系统,其中,所述处理器还被配置为:通过分析包括在每个节点中的源代码来确定每个节点的所述算术指令数量和所述存储器指令数量。

6.根据权利要求4所述的神经网络计算系统,其中,所述处理器还被配置为:基于每个节点的所述存储器指令数量、每个节点的所述输入数据大小以及每个节点的所述输出数据大小来确定每个节点的所述所需存储器带宽量。

7.根据权利要求4所述的神经网络计算系统,其中,每个节点的所述工作量包括:每个节点的所述算术指令数量;每个节点的所述存储器指令数量;基于编译器选项确定的每个节点的所述目标计算设备的工作量;基于每个节点的所述所需存储器带宽量、每个节点的所述输入数据大小和每个节点的所述输出数据大小确定的每个节点的存储器访问量。

8.根据权利要求7所述的神经网络计算系统,其中,所述处理器还被配置为:

9.根据权利要求8所述的神经网络计算系统,其中,所述处理器还被配置为:

【专利技术属性】
技术研发人员:金正镐金铉珍曹永赞崔勋
申请(专利权)人:三星电子株式会社
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1