一种AI计算阵列分布式缓存的方法、系统、设备及介质技术方案

本发明专利技术公开了一种AI计算阵列分布式缓存的方法、系统、设备和存储介质，方法包括以下步骤：将计算阵列中用于缓存的计算单元按照顺序连接以形成环状结构；响应于接收到缓存请求，判断缓存请求是读请求还是写请求；响应于缓存请求是写请求，将待写入的数据根据计算单元的缓存大小划分成多行，并按照顺序依次将每行数据写入环状结构中对应的计算单元；以及响应于缓存请求是读请求，将读请求按照环状结构的顺序从当前计算单元发送到目标计算单元。本发明专利技术提出的AI计算阵列分布式缓存的方法、系统、设备及介质通过环状结构的计算单元缓存读写请求，只需要按照顺序分发即可，在简化操作的情况下保持比较好的效率。

A method, system, device and medium of AI computing array distributed cache

【技术实现步骤摘要】
一种AI计算阵列分布式缓存的方法、系统、设备及介质
本专利技术涉及缓存领域，更具体地，特别是指一种AI计算阵列分布式缓存的方法、系统、计算机设备及可读介质。
技术介绍
AI计算阵列，在目前绝大部分的AI芯片中都有应用，最出名的可能就是NVIDIA的GPU(用上千个CUDA核心搭建阵列)和Google的TPU(数个由128*128的矩阵单元构成TensorCore)。但应用的方式都有所区别，大体可分为两类，一种是类似CUDA，每一个计算核心都是一个独立的可编程的小系统，可以提供强大的计算能力和灵活性，缺点就是能效比不占优势，而且软件栈会非常复杂；另一种是类似TensorCore，用矩阵计算单元构成阵列，每个矩阵单元只完成某一个特定的功能，由整个矩阵的控制器来分配任务和控制数据流，这样可以实现最高的能效比，但是矩阵的组成和规模一旦确定，芯片的适用场景基本就确定了。虽然可以通过控制器的调度来实现对更多场景的适配，但是往往会出现资源浪费，效率肯定会降低，缺乏灵活性。在以控制器调度分配计算任务，由计算单元完成专用计算的芯片架构下，整个计算功能模块本文档来自技高网...

【技术保护点】
1.一种AI计算阵列分布式缓存的方法，其特征在于，包括以下步骤：/n将所述计算阵列中用于缓存的计算单元按照顺序连接以形成环状结构；/n响应于接收到缓存请求，判断所述缓存请求是读请求还是写请求；/n响应于所述缓存请求是写请求，将待写入的数据根据计算单元的缓存大小划分成多行，并按照顺序依次将每行数据写入所述环状结构中对应的计算单元；以及/n响应于所述缓存请求是读请求，将所述读请求按照所述环状结构的顺序从当前计算单元发送到目标计算单元。/n

【技术特征摘要】
1.一种AI计算阵列分布式缓存的方法，其特征在于，包括以下步骤：
将所述计算阵列中用于缓存的计算单元按照顺序连接以形成环状结构；
响应于接收到缓存请求，判断所述缓存请求是读请求还是写请求；
响应于所述缓存请求是写请求，将待写入的数据根据计算单元的缓存大小划分成多行，并按照顺序依次将每行数据写入所述环状结构中对应的计算单元；以及
响应于所述缓存请求是读请求，将所述读请求按照所述环状结构的顺序从当前计算单元发送到目标计算单元。


2.根据权利要求1所述的方法，其特征在于，所述将待写入的数据根据计算单元的缓存大小划分成多行包括：
将每行的数据的宽度设置为单个计算单元能够缓存的最大宽度。


3.根据权利要求2所述的方法，其特征在于，所述按照顺序依次将每行数据写入所述环状结构中对应的计算单元包括：
将首行数据写入当前计算单元；以及
将下一行的数据写入下一个计算单元。


4.根据权利要求1所述的方法，其特征在于，所述将所述读请求按照所述环状结构的顺序从当前计算单元发送到目标计算单元包括：
基于所述读请求确定缓存的起始位置和结束位置；以及
将所述读请求从当前计算单元发送到所述起始位置。


5.根据权利要求4所述的方法，其特征在于，所述将所述读请求按照所述环状结构的顺序从当前计算单元发送到目标计算单元还包括：
判断所述读请求是否到达所述结束位置；以及
响应于所述读请求未到达所述结束位置，将所述读请求继续向下一个计算单元传...

【专利技术属性】
技术研发人员：李拓，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32