应用于神经网络的内存申请方法、装置及设备制造方法及图纸

本申请提供一种应用于神经网络的内存申请方法、装置及设备，该设备包括：存储器和处理器；其中存储器用于存储处理器可执行指令，处理器用于调用存储器中的程序指令执行应用于神经网络的内存申请方法。本申请提供的应用于神经网络的内存申请方法、装置及设备，优化了内存碎片，有效避免了内存空间的浪费。有效避免了内存空间的浪费。有效避免了内存空间的浪费。

【技术实现步骤摘要】
应用于神经网络的内存申请方法、装置及设备


[0001]本申请涉及神经网络
，尤其涉及一种应用于神经网络的内存申请方法、装置及设备。

技术介绍

[0002]神经网络是一种通过调整系统内部大量节点之间相互连接的关系，而实现信息处理的数学模型。神经网络在训练或推理计算的过程中，需要申请大量的内存以存放运行数据。
[0003]目前，常见的内存申请方法为，当目标任务当前运行需要内存时，则向内存管理器发送内存申请指令，以使内存管理器为目标任务分配当前所需内存，并使用内存缓存机制将申请到的内存保留下来，以在目标任务本次运行过程中反复使用。
[0004]但是，随着目标任务的运行，目标任务会不断产生新的内存需求，当目标任务产生的新的内存需求大小，大于内存缓存机制保留下来的内存中未被使用的内存大小时，目标任务会重新向内存管理器申请新的内存，也就是说，此前内存缓存机制保留下来的内存中未被使用的内存则无法被利用，从而形成内存碎片，造成内存空间的浪费。

技术实现思路

[0005]本申请提供一种应用于神经网络的内存申请方法、装置及设备，用以优化内存碎片，避免内存空间的浪费。
[0006]第一方面，本申请实施例提供一种应用于神经网络的内存申请方法，包括：
[0007]接收目标任务发送的第一内存申请请求；其中，所述第一内存申请请求包括目标任务当前运行所需的内存大小；
[0008]根据所述目标任务当前运行所需的内存大小，判断所述目标任务的内存需求等级；其中，所述内存需求等级包括低级、中级以及高级；
[0009]根据所述目标任务的内存需求等级，确定待申请的内存大小；其中，不同的内存需求等级对应不同的待申请的内存大小；
[0010]向内存管理器发送第二内存申请请求，以使所述内存管理器为所述目标任务分配与所述待申请的内存大小相一致的内存；其中，所述第二内存申请请求包括待申请的内存大小。
[0011]第二方面，本申请实施例提供一种应用于神经网络的内存申请装置，包括：
[0012]接收模块，用于接收目标任务发送的第一内存申请请求；其中，所述第一内存申请请求包括目标任务当前运行所需的内存大小；
[0013]判断模块，用于根据所述目标任务当前运行所需的内存大小，判断所述目标任务的内存需求等级；其中，所述内存需求等级包括低级、中级以及高级；
[0014]确定模块，用于根据所述目标任务的内存需求等级，确定待申请的内存大小；其中，不同的内存需求等级对应不同的待申请的内存大小；
[0015]发送模块，用于向内存管理器发送第二内存申请请求，以使所述内存管理器为所述目标任务分配与所述待申请的内存大小相一致的内存；其中，所述第二内存申请请求包括待申请的内存大小。
[0016]第三方面，本申请实施例提供一种处理器，以及与所述处理器通信连接的存储器；
[0017]所述存储器存储计算机执行指令；
[0018]所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的方法。
[0019]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
[0020]第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。
[0021]本申请提供一种应用于神经网络的内存申请方法、装置及设备，接收目标任务发送的第一内存申请请求，其中，第一内存申请请求包括目标任务当前运行所需的内存大小，根据目标任务当前运行所需的内存大小，判断目标任务的内存需求等级，进而确定待申请的内存大小，向内存管理器发送第二内存申请请求，以使内存管理器为目标任务分配与待申请的内存大小相一致的内存。也就是说，本申请根据目标任务当前运行所需的内存大小，判断目标任务的内存需求等级，进而确定相应的需求等级所需的内存大小，也即待申请的内存大小，并向内存管理器申请该相应的需求等级所需的内存大小的内存，从而无需目标任务在运行过程中多次申请内存，进而优化了内存碎片，有效避免了内存空间的浪费。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0023]图1为本申请实施例提供的一种系统架构的示意图；
[0024]图2为本申请实施例提供的应用于神经网络的内存申请方法的流程图；
[0025]图3为本申请实施例提供的应用于神经网络的内存申请方法的流程图；
[0026]图4为本申请实施例提供的应用于神经网络的内存申请装置的结构示意图；
[0027]图5为本申请的电子设备的结构示意图。
[0028]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0029]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与本申请的一些方面相一致的装置和方法的例子。
[0030]神经网络在计算过程中，需要申请大量的内存以存放运行数据。目前，常见的内存
申请方法为，当目标任务当前运行需要内存时，则向内存管理器发送内存申请指令，以使内存管理器为目标任务分配当前所需内存，并使用内存缓存机制将申请到的内存保留下来，以在目标任务本次运行过程中反复使用，也即可以在目标任务本次运行过程中低延时地响应目标任务的内存需求。
[0031]但是，随着目标任务的运行，目标任务会不断产生新的内存需求，当目标任务产生的新的内存需求大小，小于等于内存缓存机制保留下来的内存中未被使用的内存大小时，内存缓存机制保留下来的内存可以成功响应该新的内存需求，然而，当目标任务产生的新的内存需求大小，大于内存缓存机制保留下来的内存中未被使用的内存大小时，目标任务会重新向内存管理器申请新的内存，也就是说，此前内存缓存机制保留下来的内存中未被使用的内存则无法被利用，从而形成内存碎片，造成内存空间的浪费。
[0032]本申请提供的应用于神经网络的内存申请方法、装置及设备，旨在解决现有技术的如上技术问题。
[0033]下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
[0034]图1为本申请实施例提供的一种系统架构的示意图，如图1所示，该图1所示的系统架构具体可以包括目标任务1、服务器2以及内存管理器3，其中服务器2中设置有内存申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于神经网络的内存申请方法，其特征在于，包括：接收目标任务发送的第一内存申请请求；其中，所述第一内存申请请求包括目标任务当前运行所需的内存大小；根据所述目标任务当前运行所需的内存大小，判断所述目标任务的内存需求等级；其中，所述内存需求等级包括低级、中级以及高级；根据所述目标任务的内存需求等级，确定待申请的内存大小；其中，不同的内存需求等级对应不同的待申请的内存大小；向内存管理器发送第二内存申请请求，以使所述内存管理器为所述目标任务分配与所述待申请的内存大小相一致的内存；其中，所述第二内存申请请求包括待申请的内存大小。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标任务当前运行所需的内存大小，判断所述目标任务的内存需求等级，包括：判断所述目标任务当前运行所需的内存大小是否小于预设的第一阈值；其中，所述预设的第一阈值由所述目标任务在整个运行过程中预计所需内存大小的分布情况确定；若所述目标任务当前运行所需的内存大小小于预设的第一阈值，则判断所述目标任务的内存需求等级为低级。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标任务当前运行所需的内存大小，判断所述目标任务的内存需求等级，还包括：若所述目标任务当前运行所需的内存大小不小于预设的第一阈值，则查找所述目标任务所在设备的内存管理器，并获取所述设备当前未被使用的内存大小；根据所述目标任务当前运行所需的内存大小以及所述设备当前未被使用的内存大小，判断所述目标任务的内存需求等级。4.根据权利要求3所述的方法，其特征在于，所述根据所述目标任务当前运行所需的内存大小以及所述设备当前未被使用的内存大小，判断所述目标任务的内存需求等级，包括：判断所述目标任务当前运行所需的内存大小与所述设备当前未被使用的内存大小的比值，是否小于预设的第二阈值；若是，则判断所述目标任务的内存需求等级为中级；若否，则判断所述目标任务的内存需求等级为高级。5.根据权利要求4所述的方法，其特征在于，所述根据所述目标任务的内存需求等级，确定待申请的内存大小，包括：若所述目标任务的内存需求等级为低级，则确定待申请的内存大小为第一内存大小；其中，所述第一内存大小大于等于预设的第一阈值；若所述目标任务的内存需求等级...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：寒武纪昆山信息科技有限公司，
类型：发明
国别省市：