【技术实现步骤摘要】
本公开的示例实施例涉及神经网络计算系统和执行神经网络模型的方法。
技术介绍
1、近年来，已经积极地对模拟人脑学习能力以处理信息的神经网络进行了研究。使用基于神经网络的操作，可以从诸如语音、图像和视频之类的各种用户数据中准确地识别和区分对象或特定信息。
2、处理器可以包括异构计算设备。异构计算设备可以包括具有高度通用性的中央处理单元(cpu)、针对神经网络计算而优化的神经处理单元(npu)等。为了执行神经网络计算，诸如npu以及cpu之类的计算设备可以一起使用。然而，当使用包括异构计算设备在内的各种硬件设备来执行神经网络计算时，功耗可能增加。
技术实现思路
1、本公开的示例实施例是提供一种神经网络计算系统和执行神经网络模型的方法，其可以允许在目标运行时间内执行神经网络模型并且可以降低硬件设备的功耗。
2、根据本公开的实施例，提供了一种神经网络计算系统。所述神经网络计算系统包括：处理器，所述处理器包括被配置为执行神经网络模型的异构计算设备；存储器，所述存储器被配置为缓冲所述神经网络模型的输入数据和输出数据；存储器控制器，所述存储器控制器被配置为控制所述存储器的数据输入和数据输出；以及系统总线，所述系统总线被配置为支持所述处理器与所述存储器控制器之间的通信。所述处理器被配置为：基于所述神经网络模型的目标端到端执行时间来确定包括在所述神经网络模型中的多个节点当中的每个节点的目标执行时间；基于用于执行每个节点的目标计算设备、每个节点的工作量和每个节点的目标执行时间来控
3、根据本公开的实施例，提供了一种神经网络计算系统。所述神经网络计算系统包括：处理器，所述处理器包括被配置为执行神经网络模型的异构计算设备；存储器，所述存储器被配置为缓冲所述神经网络模型的输入数据和输出数据；存储器控制器，所述存储器控制器被配置为控制所述存储器的数据输入和数据输出；以及系统总线，所述系统总线被配置为支持所述处理器与所述存储器控制器之间的通信。所述处理器包括：前馈控制部分，所述前馈控制部分被配置为基于所述神经网络模型的目标端到端执行时间的输入和独立于所述神经网络模型的执行结果的静态分析数据的输入来确定包括所述异构计算设备、所述存储器和所述存储器控制器的硬件设备的工作频率；神经网络模型执行部分，所述神经网络模型执行部分被配置为根据所确定的工作频率来控制所述硬件设备，执行所述神经网络模型，并且输出所述神经网络模型的实际端到端执行时间；以及反馈控制部分，所述反馈控制部分被配置为基于取决于所述神经网络模型的包括所述实际端到端执行时间的执行结果的动态分析数据来调整所述硬件设备的工作频率。
4、根据本公开的实施例，提供了一种执行神经网络模型的方法。所述方法包括：基于神经网络模型的执行被触发来估计包括在所述神经网络模型中的多个节点当中的每个节点的工作量；基于所述神经网络模型的目标端到端执行时间来确定所述多个节点中的每个节点的目标执行时间；基于每个节点的目标计算设备、每个节点的工作量以及每个节点的目标执行时间来控制用于执行所述神经网络模型的多个异构计算设备中的每一者的工作频率；使用根据所述多个异构计算设备中的每一者的所控制的工作频率进行工作的所述多个异构计算设备来执行所述神经网络模型；以及基于所述神经网络模型的实际端到端执行时间来调整用于执行所述神经网络模型的所述多个异构计算设备中的每一者的工作频率。
本文档来自技高网...【技术保护点】
1.一种神经网络计算系统，所述神经网络计算系统包括：
2.根据权利要求1所述的神经网络计算系统，其中，所述处理器还被配置为：
3.根据权利要求1所述的神经网络计算系统，其中，所述处理器还被配置为：
4.根据权利要求1所述的神经网络计算系统，其中，所述处理器还被配置为：基于每个节点的算术指令数量、每个节点的存储器指令数量、每个节点的编译器选项、每个节点的所需存储器带宽量、每个节点的输入数据大小以及每个节点的输出数据大小来确定每个节点的所述工作量。
5.根据权利要求4所述的神经网络计算系统，其中，所述处理器还被配置为：通过分析包括在每个节点中的源代码来确定每个节点的所述算术指令数量和所述存储器指令数量。
6.根据权利要求4所述的神经网络计算系统，其中，所述处理器还被配置为：基于每个节点的所述存储器指令数量、每个节点的所述输入数据大小以及每个节点的所述输出数据大小来确定每个节点的所述所需存储器带宽量。
7.根据权利要求4所述的神经网络计算系统，其中，每个节点的所述工作量包括：每个节点的所述算术指令数量；每个节点的所
8.根据权利要求7所述的神经网络计算系统，其中，所述处理器还被配置为：
9.根据权利要求8所述的神经网络计算系统，其中，所述处理器还被配置为：
10.根据权利要求1所述的神经网络计算系统，其中，所述异构计算设备包括中央处理单元、神经处理单元、图形处理单元、数字信号处理器和加速器。
11.根据权利要求1所述的神经网络计算系统，其中，所述处理器还被配置为通过应用编程接口接收所述神经网络模型的所述目标端到端执行时间作为输入。
12.一种神经网络计算系统，所述神经网络计算系统包括：
13.根据权利要求12所述的神经网络计算系统，其中，所述反馈控制部分还被配置为：
14.根据权利要求13所述的神经网络计算系统，其中，所述反馈控制部分还被配置为：基于所述神经网络模型在所述硬件设备的使用率当中所占用的使用率降低，来将所述硬件设备中的每一者的工作频率调整成提高。
15.根据权利要求13所述的神经网络计算系统，
16.根据权利要求12所述的神经网络计算系统，其中，所述反馈控制部分还被配置为：
17.根据权利要求12所述的神经网络计算系统，其中，所述前馈控制部分还被配置为：
18.根据权利要求17所述的神经网络计算系统，其中，所述前馈控制部分还被配置为从所述硬件设备的工作频率当中确定每个节点的所述目标执行时间被满足且功耗被最小化的工作频率，作为所述硬件设备中的每一者的工作频率。
19.根据权利要求12所述的神经网络计算系统，其中，所述神经网络模型执行部分还被配置为：当所述神经网络模型的执行被完成时，释放所述硬件设备的工作频率。
20.一种执行神经网络模型的方法，所述方法包括：
...【技术特征摘要】
1.一种神经网络计算系统，所述神经网络计算系统包括：
2.根据权利要求1所述的神经网络计算系统，其中，所述处理器还被配置为：
3.根据权利要求1所述的神经网络计算系统，其中，所述处理器还被配置为：
4.根据权利要求1所述的神经网络计算系统，其中，所述处理器还被配置为：基于每个节点的算术指令数量、每个节点的存储器指令数量、每个节点的编译器选项、每个节点的所需存储器带宽量、每个节点的输入数据大小以及每个节点的输出数据大小来确定每个节点的所述工作量。
5.根据权利要求4所述的神经网络计算系统，其中，所述处理器还被配置为：通过分析包括在每个节点中的源代码来确定每个节点的所述算术指令数量和所述存储器指令数量。
6.根据权利要求4所述的神经网络计算系统，其中，所述处理器还被配置为：基于每个节点的所述存储器指令数量、每个节点的所述输入数据大小以及每个节点的所述输出数据大小来确定每个节点的所述所需存储器带宽量。
7.根据权利要求4所述的神经网络计算系统，其中，每个节点的所述工作量包括：每个节点的所述算术指令数量；每个节点的所述存储器指令数量；基于编译器选项确定的每个节点的所述目标计算设备的工作量；基于每个节点的所述所需存储器带宽量、每个节点的所述输入数据大小和每个节点的所述输出数据大小确定的每个节点的存储器访问量。
8.根据权利要求7所述的神经网络计算系统，其中，所述处理器还被配置为：
9.根据权利要求8所述的神经网络计算系统，其中，所述处理器还被配置为：
【专利技术属性】
技术研发人员：金正镐，金铉珍，曹永赞，崔勋，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。