【技术实现步骤摘要】
本公开涉及人工智能、更具体地涉及一种用于处理张量数据的方法、用于处理张量数据的装置、电子设备与存储介质。
技术介绍
1、目前，人工智能芯片正在飞速发展，并已广泛应用于各个领域。例如，在计算机视觉（cv）领域，人工智能能够执行图像分类、目标检测、语义分割等任务。而在自然语言处理（nlp）领域，人工智能可实现机器翻译、文本分类、情感分析等功能。特别是大语言模型的提出，极大地优化了这些任务的执行效果。
2、无论是在计算机视觉领域还是在自然语言处理领域，搭载大语言模型的人工智能芯片都需要处理高分辨率图像或超长文本和语音数据。然而，大语言模型中的注意力机制通常依赖特定算子来实现。这些算子的运行效率在很大程度上受到人工智能芯片中gpu内存设计特点的影响。通常来讲，不论如何更改人工智能芯片的布局，其最终都会对张量（tensor）在内存中的排布进行限制。而张量在内存中的排布的任何限制都可能导致将人工智能在处理大分辨率图像或超长文本和语音数据时，算子（尤其是实现注意力机制的算子）的性能下降。
3、具体而言，在计算机视觉场景中，处理...
【技术保护点】
1.一种用于处理张量数据的方法，包括：
2. 如权利要求1所述的方法，其中，所述调整所述张量数据的形状包括：
3. 如权利要求2所述的方法，其中，所述基于所述调整倍数，将所述内存中排布的所述张量数据，按照数据块的粒度加载至计算单元中进行计算包括：
4. 如权利要求3所述的方法，其中所述张量数据为查询张量，所述基于所述调整倍数和所述子张量在第二轴上的数据长度，确定待计算的数据块在所述内存中的位置还包括：
5.如权利要求4所述的方法，所述基于所述待计算的数据块在所述内存中的位置，将所述数据块加载至计算单元中进行计算还包括：<...
【技术特征摘要】
1.一种用于处理张量数据的方法，包括：
2. 如权利要求1所述的方法，其中，所述调整所述张量数据的形状包括：
3. 如权利要求2所述的方法，其中，所述基于所述调整倍数，将所述内存中排布的所述张量数据，按照数据块的粒度加载至计算单元中进行计算包括：
4. 如权利要求3所述的方法，其中所述张量数据为查询张量，所述基于所述调整倍数和所述子张量在第二轴上的数据长度，确定待计算的数据块在所述内存中的位置还包括：
5.如权利要求4所述的方法，所述基于所述待计算的数据块在所述内存中的位置，将所述数据块加载至计算单元中进行计算还包括：
6.如权利要求3所述的方法，其中所述张量数据为键张量或值张量，所述基于所述调整倍数和所述子张量在第二轴上的数据长度，确...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：北京壁仞科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。