【技术实现步骤摘要】
AI深度学习数据处理方法及系统
本专利技术属于人工智能
,涉及一种数据处理系统,尤其涉及一种AI深度学习数据处理方法及系统。
技术介绍
AI(人工智能,ArtificialIntelligence)处理器需要SRAM来暂存模型参数、输入数据以及运算中间值来确保数据存取的速度。随着AI的精准度越高、应用越广,模型参数随着增加,芯片所需的内存的大小也随之增加。图3为一般AI运算数据存取,将DRAM中AI处理器可用的区域分割为16区(N),输入数据与模型参数存放于DRAM第0~1区(I),当SRAM空间大小足够时,AI处理器把数据从DRAM第0~1区搬到SRAM中,AI运算结果存到DRAM第12区(J)。在芯片内存不足的情况下,需要将运算中间值先存到外部内存,等需要该运算中间值时再读回内存继续运算,此做法需要耗费更多的时间在数据的存取上,让计算效率大幅下降。有鉴于此,如今迫切需要设计一种新的AI深度学习的数据处理方式,以便克服现有数据处理方式存在的上述至少部分缺陷。
技术实现思路
...
【技术保护点】
1.一种AI深度学习数据处理方法,其特征在于,所述数据处理方法包括:/n步骤S1、DRAM中的AI处理器可用空间分成n个区块,AI处理器从DRAM中的第i区块读取AI运算输入数据及数据模型参数;/n步骤S2、分析数据模型参数需求,当数据模型参数需求的暂存空间大于SRAM空间时,将AI运算拆分为m个AI子运算;/n步骤S3、为各AI子运算的输出结果分配对应的DRAM区块;/n步骤S4、分别执行各AI子运算;执行各AI子运算中,AI处理器将各区块数据搬运至SRAM中,AI处理器对AI子运算对应的数据进行处理;处理结束后,AI处理器把结果输出到各自被分配的DRAM区块;/n步骤S ...
【技术特征摘要】
1.一种AI深度学习数据处理方法,其特征在于,所述数据处理方法包括:
步骤S1、DRAM中的AI处理器可用空间分成n个区块,AI处理器从DRAM中的第i区块读取AI运算输入数据及数据模型参数;
步骤S2、分析数据模型参数需求,当数据模型参数需求的暂存空间大于SRAM空间时,将AI运算拆分为m个AI子运算;
步骤S3、为各AI子运算的输出结果分配对应的DRAM区块;
步骤S4、分别执行各AI子运算;执行各AI子运算中,AI处理器将各区块数据搬运至SRAM中,AI处理器对AI子运算对应的数据进行处理;处理结束后,AI处理器把结果输出到各自被分配的DRAM区块;
步骤S5、把拆分的各AI子运算的输出结果串接到DRAM的第j区块。
2.根据权利要求1所述的AI深度学习数据处理方法,其特征在于:
所述步骤S2中,当数据模型参数需求的暂存空间大于SRAM空间时,将AI运算以输出通道为基准拆分为m个AI子运算。
3.根据权利要求1所述的AI深度学习数据处理方法,其特征在于:
所述步骤S4中,处理结束后,AI处理器把结果按运算顺序输出到各自被分配的DRAM区块。
4.根据权利要求1所述的AI深度学习数据处理方法,其特征在于:
所述步骤S5中,把拆分的各AI子运算的输出结果利用连接层串接到DRAM的第j区块。
5.根据权利要求1所述的AI深度学习数据处理方法,其特征在于:
所述步骤S2中,当数据模型参数需求的暂存空间小于等于SRAM空间时,将AI运算后的结果输出到DRAM中的第j区块,不再执行步骤S3至步骤S5。
6.一种AI深度学习数据处理系统,其特征在于,所述数据处理系统包括:
DRAM,其中AI处理...
【专利技术属性】
技术研发人员:萧文远,萧名群,连育广,
申请(专利权)人:博流智能科技南京有限公司,
类型:发明
国别省市:江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。