用于卷积神经网络的图块化格式制造技术

本发明专利技术涉及用于卷积神经网络的图块化格式。公开了用于在实现卷积神经网络时将数据转换为图块化格式的系统、装置和方法。一种系统至少包括存储器、高速缓存、处理器和多个计算单元。存储器以线性格式存储第一缓冲器和第二缓冲器，其中第一缓冲器存储卷积滤波器数据，而第二缓冲器存储图像数据。处理器将第一和第二缓冲器分别从线性格式转换为图块化格式的第三和第四缓冲器。多个计算单元将来自存储器中的第三和第四缓冲器的图块化格式数据加载到高速缓存，然后对图块化格式化数据执行卷积滤波器运算。系统基于卷积滤波器运算的结果生成第一数据集的分类。

【技术实现步骤摘要】
用于卷积神经网络的图块化格式
本专利技术总体上涉及计算机领域，具体涉及用于卷积神经网络的图块化格式。
技术介绍
在并行处理单元中执行卷积滤波器运算涉及从存储器加载大量数据，这导致高存储器带宽利用率。加载滤波器和输入数据元素通常需要计算偏移量以便步进通过以线性格式存储在存储器中的数据元素。然而，这对于每个加载指令需要复杂的公式来计算用于以正确顺序移动通过数据集的元素的偏移量以执行卷积滤波器运算。如本文所使用的，术语“线性格式”被定义为这样的格式，其中连续数据集元素以顺序方式存储在相邻存储器位置中，直至到达存储器的物理行或列的末尾。用于存储数据集元素的线性格式的示例包括行主序和列主序。在行主序格式中，数据集行的连续元素在存储器中彼此相邻。在列主序格式中，数据集列的连续元素在存储器中彼此相邻。以线性格式处理数据集元素导致存储器带宽和计算单元处理资源的低效使用。
技术实现思路
本专利技术的一些方面可以阐述如下:1.一种系统，其可以包括：存储器，其以线性格式存储第一缓冲器和第二缓冲器，其中所述第一缓冲器存储卷积滤波器数本文档来自技高网...

【技术保护点】
1.一种系统，其包括：/n存储器，其以线性格式存储第一缓冲器和第二缓冲器，其中所述第一缓冲器存储卷积滤波器数据，而所述第二缓冲器存储图像数据；/n高速缓存；/n处理器，其被配置为：/n将所述第一缓冲器中的所述卷积滤波器数据从所述线性格式转换为图块化格式并存储在第三缓冲器中；以及/n将所述第二缓冲器中的所述图像数据从所述线性格式转换为所述图块化格式并存储在第四缓冲器中；和/n多个计算单元，其中，所述多个计算单元被配置为：/n将所述第三缓冲器和所述第四缓冲器的数据元素从所述存储器加载到所述高速缓存中；以及/n对所述第三缓冲器和所述第四缓冲器的所述数据元素执行卷积滤波器运算，以生成所述图块化格式的结...

【技术特征摘要】
1.一种系统，其包括：
存储器，其以线性格式存储第一缓冲器和第二缓冲器，其中所述第一缓冲器存储卷积滤波器数据，而所述第二缓冲器存储图像数据；
高速缓存；
处理器，其被配置为：
将所述第一缓冲器中的所述卷积滤波器数据从所述线性格式转换为图块化格式并存储在第三缓冲器中；以及
将所述第二缓冲器中的所述图像数据从所述线性格式转换为所述图块化格式并存储在第四缓冲器中；和
多个计算单元，其中，所述多个计算单元被配置为：
将所述第三缓冲器和所述第四缓冲器的数据元素从所述存储器加载到所述高速缓存中；以及
对所述第三缓冲器和所述第四缓冲器的所述数据元素执行卷积滤波器运算，以生成所述图块化格式的结果；
其中，所述系统被配置为基于来自所述卷积滤波器运算的结果实现第一数据集的分类。


2.根据权利要求1所述的系统，其中所述高速缓存包括多个信道，其中所述多个计算单元被配置为在单个时钟周期内将来自所述第三缓冲器的卷积滤波器数据元素并行地加载在所述多个信道上。


3.根据权利要求1所述的系统，其中所述高速缓存包括多个信道，其中所述多个计算单元被配置为在单个时钟周期内将来自所述第四缓冲器的图像数据元素并行地加载在所述多个信道上。


4.根据权利要求1所述的系统，其中，将所述第一缓冲器从所述线性格式转换为处于所述图块化格式的所述第三缓冲器包括：
从所述存储器中的所述第一缓冲器的顺序位置读取值；以及
步进通过所述第三缓冲器，其中步幅等于第一数量的输入信道和第二数量的卷积滤波器的总和，同时将所述值写入所述第三缓冲器。


5.根据权利要求1所述的系统，其中，将所述第二缓冲器从所述线性格式转换为处于所述图块化格式的所述第四缓冲器包括：
从所述存储器中的所述第二缓冲器的顺序位置读取值；以及
步进通过所述第四缓冲器，其中步幅等于多个像素信道，同时将所述值写入所述第四缓冲器。


6.根据权利要求1所述的系统，其中所述卷积滤波器数据包括多个卷积滤波器，其中所述多个卷积滤波器中的每个卷积滤波器具有三行和三列。


7.根据权利要求1所述的系统，其中在执行机器学习引擎应用程序期间实现所述第一数据集的所述分类。


8.一种方法，其包括：
通过存储器以线性格式存储第一缓冲器和第二缓冲器，其中所述第一缓冲器存储卷积滤波器数据，而所述第二缓冲器存储图像数据；
通过处理器将所述第一缓冲器中的所述卷积滤波器数据从所述线性格式转换为图块化格式并存储在第三缓冲器中；
通过处理器将所述第二缓冲器中的所述图像数据从所述线性格式转换为所述图块化格式并存储在第四缓冲器中；
通过多个计算单元将所述第三缓冲器和所述第四缓冲器的数据元素从所述存储器加载到高速缓存中；
通过多个计算单元对所述第三缓冲器和所述第四缓冲器的所述数据元素执行卷积滤波器运算，以生成所述图块化格式的结果；以及
基于来自所述卷积滤波器运算的结果实现第一数据集的分类。


9.根据权利要求8所述的方法，其中所述高速缓存包括多个信道，并且其中所述方法还包括通过所述多个计算单元在单个时钟周期内将来自所述第三缓冲器的卷积滤波器...

【专利技术属性】
技术研发人员：张松，刘健谈，张华，余敏，
申请(专利权)人：超威半导体公司，
类型：发明
国别省市：美国;US