存取张量数据的方法和装置制造方法及图纸

公开了一种存取张量数据的方法和装置。该方法包括：确定第一存储器的第一行地址；将第一存储器中的第一行地址处的数据项复制到第一缓冲存储器的第一缓存行中；将第一缓冲存储器的第一缓存行中的每个第一数据项移动到第二缓冲存储器的至少第一缓存行中的相应位置处；以及将第二缓冲存储器的第一缓存行中的数据项存储到第二存储器中的对应的目标位置处。通过根据本公开的实施例的方法和装置，能够提高人工智能芯片内部的数据存取效率，从而提高人工智能芯片的性能。

Methods and devices for accessing tensor data

【技术实现步骤摘要】
存取张量数据的方法和装置
本公开总体上涉及人工智能的
，并且具体地涉及一种存取张量数据的方法和装置。
技术介绍
已经设计出各种人工智能芯片(AI芯片)，专门用于处理人工智能应用中的大量计算任务。随着人工智能技术的应用领域的不断扩展，对人工智能芯片的性能方面的要求也越来越高。存储性能(包括数据的存取次数、带宽等)始终是人工智能芯片的性能的主要瓶颈之一，并且始终期望能够进一步改善人工智能芯片的数据流设计，使得人工智能芯片能够更高效率地存取数据。
技术实现思路
根据本公开的一个方面，提供了一种存取张量数据的方法。该方法可以包括：确定第一存储器的第一行地址，其中，期望从张量数据的逻辑结构中存取的至少一个第一数据项存储在第一存储器的第一行地址处；将第一存储器中的第一行地址处的数据项复制到第一缓冲存储器的第一缓存行中；将第一缓冲存储器的第一缓存行中的每个第一数据项移动到第二缓冲存储器的至少第一缓存行中的相应位置处，其中，每个第一数据项在第二缓冲存储器的至少第一缓存行中的相应位置可以取决于在第二存储器中分配给该第一数本文档来自技高网...

【技术保护点】
1.一种存取张量数据的方法，包括：/n确定第一存储器的第一行地址，期望从所述张量数据的逻辑结构中存取的至少一个第一数据项存储在所述第一存储器的第一行地址处；/n将所述第一存储器中的第一行地址处的数据项复制到第一缓冲存储器的第一缓存行中；/n将所述第一缓冲存储器的第一缓存行中的每个第一数据项移动到第二缓冲存储器的至少第一缓存行中的相应位置处，每个第一数据项在所述第二缓冲存储器的至少第一缓存行中的相应位置取决于在第二存储器中分配给该第一数据项的目标位置；以及/n将所述第二缓冲存储器的第一缓存行中的数据项存储到所述第二存储器中的对应的目标位置处。/n

【技术特征摘要】
1.一种存取张量数据的方法，包括：
确定第一存储器的第一行地址，期望从所述张量数据的逻辑结构中存取的至少一个第一数据项存储在所述第一存储器的第一行地址处；
将所述第一存储器中的第一行地址处的数据项复制到第一缓冲存储器的第一缓存行中；
将所述第一缓冲存储器的第一缓存行中的每个第一数据项移动到第二缓冲存储器的至少第一缓存行中的相应位置处，每个第一数据项在所述第二缓冲存储器的至少第一缓存行中的相应位置取决于在第二存储器中分配给该第一数据项的目标位置；以及
将所述第二缓冲存储器的第一缓存行中的数据项存储到所述第二存储器中的对应的目标位置处。


2.根据权利要求1所述的方法，还包括：
在所述第二缓冲存储器的第二缓存行包括至少一个第一数据项的情况下，将所述第二缓冲存储器的第二缓存行中的每个第一数据项存储到所述第二存储器中的对应的目标位置处，其中，在所述第一存储器中，所述第二缓冲存储器的第二缓存行中的每个第一数据项位于所述第二缓冲存储器的第一缓存行中的每个第一数据项之后。


3.根据权利要求1所述的方法，还包括：
确定所述第一存储器的第二行地址，期望从所述逻辑结构中存取的至少一个第二数据项存储在所述第一存储器的第二行地址处；
将所述第一存储器中的第二行地址处的数据项复制到所述第一缓冲存储器的第二缓存行中；
将所述第一缓冲存储器的第二缓存行中的每个第二数据项移动到所述第二缓冲存储器的至少第二缓存行中的相应位置处，每个第二数据项在所述第二缓冲存储器的至少第二缓存行中的相应位置取决于在所述第二存储器中分配给该第二数据项的目标位置；以及
将所述第二缓冲存储器的第二缓存行中的数据项存储到所述第二存储器中的对应的目标位置处。


4.根据权利要求3所述的方法，还包括：
在所述第二缓冲存储器的第一缓存行包括至少一个第二数据项的情况下，将所述第二缓冲存储器的第一缓存行中的每个第二数据项存储到所述第二存储器...

【专利技术属性】
技术研发人员：孙晨，王振江，陈亮，凌坤，
申请(专利权)人：地平线上海人工智能技术有限公司，
类型：发明
国别省市：上海;31