内存管理方法、装置、芯片、电子设备及可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种内存管理方法、装置、芯片、电子设备及可读存储介质，能够提高内存利用率和指令处理速度。方法包括：通过内存状态检测模块，检测至少一组内存单元对应的至少一个内存单元状态；内存单元状态表征内存单元是否处于激活状态；根据至少一个内存单元状态，从接收到的至少一条内存操作指令中确定出第一优先级的内存操作指令与第二优先级的内存操作指令；访问第一优先级的内存操作指令对应的内存单元，并且，激活第二优先级的内存操作指令对应的内存单元。作指令对应的内存单元。作指令对应的内存单元。

【技术实现步骤摘要】
内存管理方法、装置、芯片、电子设备及可读存储介质


[0001]本专利技术涉及存储
，尤其涉及一种内存管理方法、装置、芯片、电子设备及可读存储介质。

技术介绍

[0002]目前，人工智能处理器等非传统处理器会将多条内存访问指令发送到内存管理单元，通过内存管理单元进行内存访问。然而，目前内存管理单元的内存访问方式规划不合理，导致内存访问等待时间较长，从而降低了内存利用率和指令处理速度。

技术实现思路

[0003]本专利技术实施例期望提供一种内存管理方法、装置、芯片、电子设备及可读存储介质，能够提高内存利用率和指令处理速度。
[0004]本专利技术的技术方案是这样实现的：第一方面，本专利技术实施例提供一种内存管理方法，包括：通过内存状态检测模块，检测至少一组内存单元对应的至少一个内存单元状态；内存单元状态表征内存单元是否处于激活状态；根据所述至少一个内存单元状态，从接收到的至少一条内存操作指令中确定出第一优先级的内存操作指令与第二优先级的内存操作指令；访问所述第一优先级的内存操作指令对应的内存单元，并且，激活所述第二优先级的内存操作指令对应的内存单元。
[0005]第二方面，本专利技术实施例提供一种内存管理装置，包括：检测单元，用于通过内存状态检测模块，检测至少一组内存单元对应的至少一个内存单元状态；内存单元状态表征内存单元是否处于激活状态；确定单元，用于根据所述至少一个内存单元状态，从接收到的至少一条内存操作指令中确定出第一优先级的内存操作指令与第二优先级的内存操作指令；处理单元，用于访问所述第一优先级的内存操作指令对应的内存单元，并且，激活所述第二优先级的内存操作指令对应的内存单元。
[0006]第三方面，本专利技术实施例提供一种芯片，包括：存储器与处理器；所述存储器，用于存储可执行指令；所述处理器，用于在执行所述存储器中存储的可执行指令时，实现本专利技术实施提供的内存管理方法。
[0007]第四方面，本专利技术实施例提供一种电子设备，存储器与处理器；所述存储器，用于存储可执行指令；所述处理器，用于在执行所述存储器中存储的可执行指令时，实现本专利技术实施例提供的内存管理方法。
[0008]第五方面，本专利技术实施例提供一种可读存储介质，存储有可执行指令，用于引起处
理器执行时，实现本专利技术实施例提供的内存管理方法。
[0009]第六方面，本专利技术实施例提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现本专利技术实施例提供的内存管理方法。
[0010]本专利技术实施例提供了一种内存管理方法、装置、芯片、电子设备及可读存储介质，通过内存状态检测模块检测至少一组内存单元对应的至少一个内存单元状态，从而可以提前获知各个内存单元是否处于激活状态，这样，在接收到至少一条内存操作指令的情况下，可以根据至少一个内存单元状态，对内存操作指令进行优先级区分，确定出第一优先级的内存操作指令与第二优先级的内存操作指令。在执行第一优先级的内存操作指令对激活状态的内存单元进行访问时，可以同步对第二优先级的内存操作指令对应的内存单元进行激活，这样，在后续执行第二优先级的内存操作指令时，对应的内存单元已经是激活状态，可以直接访问，从而减少了内存激活的等待时间，提高了内存利用率与指令处理速度。
附图说明
[0011]图1为人工智能处理器的内存访问特点示意图；图2为目前的内存管理方法的流程示意图；图3为目前的内存管理方法的执行效果示意图；图4为本专利技术实施例提供的内存管理方法的可选的流程示意图一；图5为本专利技术实施例提供的内存管理方法的可选的流程示意图二；图6为本专利技术实施例提供的内存管理方法的可选的流程示意图三；图7为本专利技术实施例提供的一种内存管理单元中各个模块与内存操作模块的交互流程示意图；图8为本专利技术实施例提供的内存管理方法的执行效果示意图；图9为本专利技术实施例提供的一种内存管理装置的可选的结构示意图；图10为本专利技术实施例提供的一种芯片的可选的结构示意图。
具体实施方式
[0012]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，所描述的实施例不应视为对本专利技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0013]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0014]在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本专利技术实施例能够以除了在这里图示或描述的以外的顺序实施。
[0015]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本专利技术实施例的目的，不是旨在限制本专利技术。
[0016]目前，一些非传统处理器，如人工智能（Artificial Intelligence，AI）处理器对内存（memory）的访问方式和传统处理器有很大不同。例如，AI处理器对内存访问的特点是多数数据访问没有相关性，可以乱序处理，而且多条内存访问指令会预先发送到内存管理单元。如果沿用传统内存访问方式对上述多条内存访问指令一条条顺序处理，则内存利用率较低。如图1所示，先执行内存访问指令A，以从内存中读取数据；进而根据读取的数据执行计算指令A；接着执行内存访问指令B，以从内存中读取数据；进而根据读取的数据执行计算指令B。如此，内存管理单元和AI处理器中的计算单元串行处理，导致内存访问不连续，从而降低了内存利用率与指令处理速度。
[0017]为了解决内存利用率低的问题，目前的一种内存管理方法是在图形处理器（Graphics Processing Unit，GPU）中加入张量内存加速器（Tensor Memory Accelerator，TMA），用以解决计算单元和内存管理单元的并行问题。如图2所示，处理器中运行有线程1、线程2与线程3，在线程1通过内存管理单元完成数据拷贝，开始运行数据计算和进程管理时，线程2可以开始通过内存管理单元发起内存访问进行数据拷贝；在线程2完成数据拷贝，开始运行数据计算和进程管理时，线程3可以开始通过内存管理单元发起内存访问进行数据拷贝。如此，将数据计算和数据访问分离，可以实现不同线程或指令之间的并行处理。然而，虽然图2中的内存管理单元可以连续发起内存访问，但是实际在物理内存侧，内存访问对应的存储单元并没有被激活，还需要先进行存储单元的激活才能访问。如图3所示，内存管理单元下发针对内存中不同存储单元（也即内存单元），如存储单元1与存储单元2的一系列读指令或写指令，而读指令或写指令访问内存时，需要先激活对应的存储单元才能进行相应的读操作或写操作，这样会导致在内存的访问中有很长一段时间需要等待激活，无法进行数据读写。以动态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内存管理方法，其特征在于，包括：通过内存状态检测模块，检测至少一组内存单元对应的至少一个内存单元状态；内存单元状态表征内存单元是否处于激活状态；根据所述至少一个内存单元状态，从接收到的至少一条内存操作指令中确定出第一优先级的内存操作指令与第二优先级的内存操作指令；访问所述第一优先级的内存操作指令对应的内存单元，并且，激活所述第二优先级的内存操作指令对应的内存单元。2.根据权利要求1所述的方法，其特征在于，所述至少一组内存单元中每组内存单元包括至少一个内存单元；所述至少一个内存单元状态包括：至少一组内存单元中每组内存单元的每个内存单元对应的内存单元状态；所述根据所述至少一个内存单元状态，从接收到的至少一条内存操作指令中确定出第一优先级的内存操作指令与第二优先级的内存操作指令，包括：对于所述至少一条内存操作指令中的每条内存操作指令，在所述每条内存操作指令对应的内存单元的内存单元状态为激活状态的情况下，将该内存操作指令确定为所述第一优先级的内存操作指令；在所述每条内存操作指令对应的内存单元的内存单元状态为未激活状态的情况下，将该内存操作指令确定为所述第二优先级的内存操作指令。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：通过所述内存状态检测模块，将所述至少一个内存单元状态发送至内存状态更新模块；通过所述内存状态更新模块，根据所述至少一个内存单元状态，对历史记录的至少一个内存单元状态进行更新。4.根据权利要求3所述的方法，其特征在于，所述根据所述至少一个内存单元状态，从接收到的至少一条内存操作指令中确定出第一优先级的内存操作指令与第二优先级的内存操作指令之前，所述方法还包括：通过内存控制模块，从所述内存状态更新模块中读取所述至少一个内存单元状态。5.根据权利要求1、2、或4中任一项所述的方法，其特征在于，所述激活所述第二优先级的内存操作指令对应的内存单元，包括：通过内存控...

【专利技术属性】
技术研发人员：周华民，
申请(专利权)人：上海芯高峰微电子有限公司，
类型：发明
国别省市：